Definovat, co je cílem evaluace, na jaké otázky chceme znát odpověď, kolik času evaluaci chceme věnovat a tudíž, jaký má mít rozsah, je naprosto klíčové pro následnou tvorbu evaluačního designu/plánu. Důležité je do této diskuze zapojit všechny relevantní členy realizačního týmu a partnery projektu.
1. Ujasněte si, co chcete evaluovat
Evaluace může být zaměřena na projekt, skupinu projektů, veřejný program či opatření, určitou oblast politiky (např. aktivní politika zaměstnanosti), politickou strategii, organizaci, partnerskou síť apod. Hned v úvodu je proto užitečné si formulovat:
- zdůvodnění, tj. na co a proč se bude evaluace soustředit (co evaluace přinese realizátorovi, partnerům, veřejné správě, cílové skupině apod.)
- rozsah evaluace, tj. rozpočet a další zdroje určené na evaluaci
- roli partnerů a dalších aktérů při evaluaci
- kontext evaluace, tj. geografické, politické, sociální a ekonomické a institucionální souvislosti projektu a evaluované oblasti
- možné změny, které mohou zasáhnout do vývoje projektu a jeho evaluace
Výstup: Popis zaměření evaluace
2. Zpracujte teorii změny
Při plánování evaluace je (nejen) pro budoucí evaluátory velmi užitečné, aby řídicí články projektu a evaluace měly zformulovánu jeho teorii změny. Taková teorie podrobně vysvětluje, jakým způsobem projektové aktivity přispějí k dosažení plánovaných cílů, výsledků a efektů projektu. Vedle teorie změny si můžeme na podobném principu zpracovat také „logický model“, „teorii programu“, „záměr outcome mappingu“ aj.
Teorie změny by měla být připravována již ve fázi plánování projektu/programu, ale v praxi je zatím obvyklé, že je formulována až při plánování jeho evaluace. Vedle evaluace je výborným nástrojem monitoringu projektu. Pokud je zpracována dobře (a pokud je kvalitní také projekt/program) je skvělým pomocníkem pro stanovení evaluačních otázek, monitorovacích indikátorů, identifikaci oblastí, kde bude třeba sbírat evaluační data, stanovení priorit jejich sběru a zpracování základní struktury analýzy dat a reportování evaluačních zjištění.
Formulaci teorie změny věnujeme samostatný článek.
Výstup: Teorie změny
3. Identifikujte hlavní příjemce evaluace
Evaluace projektu plní většinou několik funkcí, tj. slouží více příjemcům. Proto je důležité si v procesu jejího plánování potřeby těchto příjemců identifikovat a rozhodovat o rozsahu, zaměření a cílech evaluace s ohledem na optimalizaci využití jejích výsledků.
Příjemcem evaluace (především dopadové evaluace) nejsou obvykle samotní evaluovaní účastníci projektu. Jsou to konkrétní osoby v konkrétních organizacích (zpravidla veřejného sektoru), které mohou evaluační zjištění využít pro prosazení změn v oblasti intervence. S vidinou této perspektivy by měl být celý evaluační proces nastavován. Potřeby příjemců lze nejlépe zjistit přímo od nich na společném jednání.
Zde Vám pomůžeme s identifikací hlavních příjemců evaluace.
Výstup: Seznam hlavních příjemců evaluace
4. Formulujte evaluační otázky
Hlavním smyslem evaluace je hledat a nabízet odpovědi na ryze evaluační otázky. Prakticky to znamená pouze nezjišťovat, jakých výsledků příslušný projekt dosáhl (deskriptivní otázka), ale jak jsou tyto výsledky kvalitní vzhledem k potřebám cílové skupiny a/nebo možnostem projektu (evaluační otázka). Dle zvoleného typu evaluace patří mezi evaluační otázky také zjišťování kauzality, tedy zjišťování, zda lze tyto výsledky skutečně připsat intervenci projektu nebo za nimi stojí jiné vnější faktory.
Každá evaluace projektu by se měla skládat z poměrně malého okruhu tzv. klíčových evaluačních otázek. Jedná se o otevřené otázky obecného charakteru, jejichž počet by neměl přesáhnout hodnotu 9. Jednotlivé obecnější otázky je posléze možné a žádoucí specifikovat několika konkrétními evaluačními otázkami zohledňujícími např. stanovená evaluační kritéria. Klíčové otázky by měly vždy reflektovat potřeby příjemců evaluace.
Při formulaci otázek se můžete inspirovat následující tabulkou, která obsahuje otázky typické pro určitý typ evaluace.
[table id=s2 /]
(Owen & Rogers, 1999, citováno podle betterevaluation.org)
Uvedené typy evaluací mají kumulativní charakter. To znamená, že bez analýzy potřeb nenastavíme kvalitní intervenční design, pro dopadovou evaluaci potřebujeme znát výsledky procesní evaluace a ekonomická evaluace vychází ze závěrů evaluace dopadové.
Výběr otázek se bude kromě typu evaluace odvíjet také od vstupních znalostí – viz následující tabulka.
[table id=s3 /]
(Owen & Rogers, 1999, citováno podle betterevaluation.org)
Zde najdete příklady klíčových evaluačních otázek
Výstup: Soubor interně schválených klíčových evaluačních otázek
5. Stanovte časový rámec evaluace
Monitoring a evaluace projektu jsou sice odlišné aktivity, avšak úzce provázané. Obecně platí, že, zjištění z monitoringu a evaluace využíváme v jiných fázích projektu, s odlišnou periodicitou a za jiným účelem. Obě aktivity jsou však klíčové pro kvalitní projektové řízení a rozhodování o dalším postupu. Je vcelku zbytečné monitorovat vývoj projektu bez jakékoli reflexe (evaluace), a opačně, vzhledem k časové nárazovosti většiny evaluací, nemohou sami o sobě adekvátně reflektovat procesní stránku projektu a poskytovat užitečnou zpětnou vazbu manažerovi v jeho průběhu. Při promýšlení časového rámce evaluace by proto mělo být zohledněno propojení obou aktivit.
Rozhodnutí o časovém určení počátku i konce evaluace by mělo být postaveno na cílech evaluace, pro jaká rozhodování jsou evaluační zjištění třeba a kdy budou tato rozhodnutí probíhat. Nejen v ČR se zpravidla praktikuje kombinace průběžné evaluace s evaluací závěrečnou. Dle učebnicových doporučení by průběžná evaluace měla být provedena co nejdříve od startu projektu, aby mohla včas odhalit a upozornit na případné problémy implementačního procesu. Fakt, že se tak v ČR, alespoň v projektech ESF zaměřených na zaměstnanost a sociální oblast, neděje a průběžná evaluace bývá realizována cca ve dvou třetinách délky projektu, je dán všeobecným zpožděním intervenční fáze těchto projektů.
Závěrečná evaluace může být směřována na poslední měsíce projektu, pokud mají její výsledky sloužit k rozhodování o pokračování projektu/programu/intervence. Ovšem může být dokončena až s určitým odstupem od konce projektu, pokud jej jejím cílem odhalit dlouhodobější efekty intervence a/nebo udržitelnost jejích výsledků.
Výstup: Časový rámec evaluace
6. Rozhodněte o způsobu evaluace: interní, externí nebo smíšená
Kdo bude reálně provádět evaluaci je třeba určovat s ohledem na kritéria jako je její rozsah, význam, profesionální nároky a časové a finanční možnosti projektu nebo zadavatele evaluace.
Interní evaluaci provádí samotná organizace realizující daný program a obvykle se zaměřuje na průběžné sledování a vyhodnocování ukazatelů vybraných aspektů programu (monitoring). Taková evaluace slouží především k poskytování užitečné zpětné vazby o kritických funkcích programu a jedná se tedy o nástroj efektivního řízení, který umožňuje managementu a dalším klíčovým aktérům reagovat nejen na akutní, ale i potenciální problémy. Pokud evaluaci provádí přímo oddělení zodpovědné za realizaci programu, mluvíme o sebe-evaluaci. Výhodou je velký vhled do fungování programu a obvykle nižší náklady na její provádění (avšak pro malé organizace může být naopak výhodnější nasmlouvat externího evaluátora, než udržovat kvalitní tým evaluátorů uvnitř organizace). Nevýhodou interní evaluace může být horší metodologická připravenost hodnotícího týmu a přílišná svázanost s programem (nedostatek odstupu).
Oproti tomu externí evaluaci provádí tým mimo samotnou organizaci, který by měl mít jak dostatečný odstup, tak kompetence. V ideálním případě také postupuje při hodnocení dostatečně nezávisle a profesionálně, podle standardů platných v daném oboru (viz etický kodex České evaluační společnosti). Nevýhodou je pochopitelně menší obeznámenost s programem. Externí evaluace může také vyvolat obrannou až odmítavou reakci zaměstnanců organizace. Výsledky potom nemusí být aktéry akceptovány je obtížné přenést získané znalosti do praxe.
Aby se nevýhody obou přístupů minimalizovaly, obvykle jsou v určité míře kombinovány oba přístupy, tj. průběžný monitoring a vyhodnocení se provádí interně a externě se provádí jednorázové důkladné vyhodnocení dosavadního průběhu fungování programu. Externí evaluátor může být zapojován standardně, nebo v případech, kdy existují pochybnosti o integritě prováděných činností (provoz programu, poskytování služeb apod.), popř. jde o součást komplexní evaluace.
Kdy vybrat externího evaluátora?
Usnadnit rozhodování může manažerům evaluace následující tabulka, která porovnává základní parametry spojené s působením interního a externího evaluátora.
[table id=s4 /]
Obecně doporučujeme najmout externího evaluátora, pokud:
- rozsah a/nebo komplexnost evaluace vyžaduje odborné znalosti a dovednosti, které interně chybí;
- se jedná o důležitý nebo politicky citlivý projekt/program a klíčovým kritériem je nestrannost evaluačních zjištění;
- interní evaluátoři se nemohou evaluaci věnovat v potřebném rozsahu nebo časovém úseku.
Externí evaluátoři jsou obvykle jednotlivci – freelanceři, výzkumné instituce nebo evaluační a konzultační firmy.
Ať již bude evaluaci provádět tým externích nebo interních evaluátorů, je pro manažera evaluace/projektu velmi důležité formálně domluvit, kdo bude tento tým vést a bude mít za provedení evaluace hlavní zodpovědnost.
Neméně významné je přijetí faktu, že manažer projektu a celý realizační tým budou do evaluačního procesu zapojeni i v případě, že ji zabezpečuje externí evaluátor. Nejsou pouze příjemcem evaluačních zjištění, ale také se spolupodílejí na sběru evaluačních dat – zajišťují přístup k projektové dokumentaci a monitoringu, informují evaluátora o projektu a jeho vývoji, jsou k dispozici pro případné evaluační rozhovory nebo podporují zapojení účastníků, partnerů a dalších klíčových aktérů projektu do evaluace.
Ačkoliv se na první pohled může zdát výběr externího evaluátora jako finančně nákladnější varianta, opak bývá pravdou. Proto je před rozhodnutím dobré pečlivě zvážit celkovou časovou a kapacitní náročnost práce vzhledem k záběru evaluace.
7. Ujasněte si požadavky na evaluátora (kvality evaluátora)
Jednotlivé typy evaluace kladou specifické požadavky na osobnostní a odborné kvality evaluátora, jeho technické vybavení a míru odstupu od projektu a jeho týmu. V následující tabulce nabízíme základní přehled „kvalit“ evaluátora vzhledem k hlavnímu účelu evaluace.
[table id=s5 /]
Na úrovni evaluátorů jednotlivců lze obecně manažerům evaluace doporučit, aby hledali člověka:
- se znalostí kvantitativních a/nebo kvalitativních výzkumných metod
- s evaluačními zkušenostmi a dobrými referencemi
- schopného rychle proniknout do problematiky projektu/programu a jeho cílů
- dobře komunikačně vybaveného
- důvěryhodného a předem nezaujatého
- aktivního a flexibilního
- schopného řešit problémy
Širší evaluační tým nebo najatá firma/organizace by pak rozhodně měla disponovat:
- pokročilými znalostmi kvantitativních a kvalitativních výzkumných metod
- multidisciplinárním personálním obsazením
- zkušenostmi s evaluací a výzkumem ve stejné nebo podobné oblasti jakou řeší projekt
- pokročilými komunikačními dovednostmi a schopnostmi řešit problémy
- zájmem o problematiku, aktivním přístupem a flexibilitou
- dobrými referencemi a důvěryhodností
Výstup: Přehled požadavků na evaluátora/evaluační tým
8. Identifikujte a zajistěte zdroje na evaluaci
Posledním krokem této fáze je zpracování kvalifikovaného ohradu všech zdrojů, které budou pro provedení evaluace potřeba a rovněž jejich zajištění.
Pokud mluvíme o potřebných zdrojích, myslíme tím především:
- existující informace a data
- finanční prostředky na zajištění evaluátora/evaluačního týmu a dalších nákladů spojených s evaluačními úkoly (technické a materiální vybavení, cestování apod.)
- časové a odborné kapacity manažera evaluace, projektového týmu, partnerů a dalších účastníků projektu, širší odborné komunity, řídicího evaluačního týmu apod.
Při zpracovávání odhadu rozpočtu evaluace, do které bude zapojen externí evaluátor, lze postupovat několika způsoby:
- Uvolnit na realizaci evaluace cca 5 až 10 % rozpočtu projektu/programu
- Zpracovat kvalifikovaný odhad člověkodní potřebný na evaluaci a tento počet vynásobit obvyklou denní sazbou externích evaluátorů – optimální řešení zpravidla při jednoduchých a rozsahem malých evaluací projektů
- Řídit se průměrnými rozpočty evaluací obdobného rozsahu a zaměření
- Zpracovat draft evaluačního designu/plánu a poté udělat rozpočet se zahrnutím nákladů na sběr a analýzu dat a časové dotace na komunikaci, evaluační aktivity, prezentaci výsledků apod.
Výstup: Odhad rozpočtu a ostatních nákladů evaluace