Stanovení záběru evaluace

Definovat, co je cílem evaluace, na jaké otázky chceme znát odpověď, kolik času evaluaci chceme věnovat a tudíž, jaký má mít rozsah, je naprosto klíčové pro následnou tvorbu evaluačního designu/plánu. Důležité je do této diskuze zapojit všechny relevantní členy realizačního týmu a partnery projektu.

1. Ujasněte si, co chcete evaluovat

Evaluace může být zaměřena na projekt, skupinu projektů, veřejný program či opatření, určitou oblast politiky (např. aktivní politika zaměstnanosti), politickou strategii, organizaci, partnerskou síť apod. Hned v úvodu je proto užitečné si formulovat:

  • zdůvodnění, tj. na co a proč se bude evaluace soustředit (co evaluace přinese realizátorovi, partnerům, veřejné správě, cílové skupině apod.)
  • rozsah evaluace, tj. rozpočet a další zdroje určené na evaluaci
  • roli partnerů a dalších aktérů při evaluaci
  • kontext evaluace, tj. geografické, politické, sociální a ekonomické a institucionální souvislosti projektu a evaluované oblasti
  • možné změny, které mohou zasáhnout do vývoje projektu a jeho evaluace

Výstup: Popis zaměření evaluace

2. Zpracujte teorii změny

Při plánování evaluace je (nejen) pro budoucí evaluátory velmi užitečné, aby řídicí články projektu a evaluace měly zformulovánu jeho teorii změny. Taková teorie podrobně vysvětluje, jakým způsobem projektové aktivity přispějí k dosažení plánovaných cílů, výsledků a efektů projektu. Vedle teorie změny si můžeme na podobném principu zpracovat také „logický model“, „teorii programu“, „záměr outcome mappingu“ aj.

Teorie změny by měla být připravována již ve fázi plánování projektu/programu, ale v praxi je zatím obvyklé, že je formulována až při plánování jeho evaluace. Vedle evaluace je výborným nástrojem monitoringu projektu. Pokud je zpracována dobře (a pokud je kvalitní také projekt/program) je skvělým pomocníkem pro stanovení evaluačních otázek, monitorovacích indikátorů, identifikaci oblastí, kde bude třeba sbírat evaluační data, stanovení priorit jejich sběru a zpracování základní struktury analýzy dat a reportování evaluačních zjištění.

Formulaci teorie změny věnujeme samostatný článek.

Výstup: Teorie změny

3. Identifikujte hlavní příjemce evaluace

Evaluace projektu plní většinou několik funkcí, tj. slouží více příjemcům. Proto je důležité si v procesu jejího plánování potřeby těchto příjemců identifikovat a rozhodovat o rozsahu, zaměření a cílech evaluace s ohledem na optimalizaci využití jejích výsledků.

Příjemcem evaluace (především dopadové evaluace) nejsou obvykle samotní evaluovaní účastníci projektu. Jsou to konkrétní osoby v konkrétních organizacích (zpravidla veřejného sektoru), které mohou evaluační zjištění využít pro prosazení změn v oblasti intervence. S vidinou této perspektivy by měl být celý evaluační proces nastavován. Potřeby příjemců lze nejlépe zjistit přímo od nich na společném jednání.

Zde Vám pomůžeme s identifikací hlavních příjemců evaluace.

Výstup: Seznam hlavních příjemců evaluace

4. Formulujte evaluační otázky

Hlavním smyslem evaluace je hledat a nabízet odpovědi na ryze evaluační otázky. Prakticky to znamená pouze nezjišťovat, jakých výsledků příslušný projekt dosáhl (deskriptivní otázka), ale jak jsou tyto výsledky kvalitní vzhledem k potřebám cílové skupiny a/nebo možnostem projektu (evaluační otázka). Dle zvoleného typu evaluace patří mezi evaluační otázky také zjišťování kauzality, tedy zjišťování, zda lze tyto výsledky skutečně připsat intervenci projektu nebo za nimi stojí jiné vnější faktory.

Každá evaluace projektu by se měla skládat z poměrně malého okruhu tzv. klíčových evaluačních otázek. Jedná se o otevřené otázky obecného charakteru, jejichž počet by neměl přesáhnout hodnotu 9. Jednotlivé obecnější otázky je posléze možné a žádoucí specifikovat několika konkrétními evaluačními otázkami zohledňujícími např. stanovená evaluační kritéria. Klíčové otázky by měly vždy reflektovat potřeby příjemců evaluace.

Při formulaci otázek se můžete inspirovat následující tabulkou, která obsahuje otázky typické pro určitý typ evaluace.

Evaluační otázky podle typů evaluace

Typ evaluaceTypy otázek
Analýza potřebCo je třeba udělat? Jaké zatím nesaturované potřeby byly identifikovány?
Intervenční designJak co nejlépe naplánovat příslušnou intervenci (její aktivity)?
MonitoringJak program/projekt běží dle monitorovacích ukazatelů?
Procesní evaluaceBěží program/projekt dle původního harmonogramu? Co se v projektu děje?
Dopadová evaluaceJaké výsledky má program/projekt? Jaké aktivity fungují, na jakou cílovou skupinu a za jakých podmínek?
Ekonomická evaluaceByla intervence nákladově efektivní? Jaký je poměr nákladů vůči efektům projektu/programu?

(Owen & Rogers, 1999, citováno podle betterevaluation.org)

Uvedené typy evaluací mají kumulativní charakter. To znamená, že bez analýzy potřeb nenastavíme kvalitní intervenční design, pro dopadovou evaluaci potřebujeme znát výsledky procesní evaluace a ekonomická evaluace vychází ze závěrů evaluace dopadové.

Výběr otázek se bude kromě typu evaluace odvíjet také od vstupních znalostí – viz následující tabulka.

Evaluační otázky podle vstupních znalostí

Pokud ...Chceme ...
…víme, co funguje, a proč.…zjistit, zda byly dodrženy postupy/procesy, na nichž závisí úspěch intervence.
…nevíme, zda zvolený projekt/program bude fungovat.…zjistit, zda teorie programu/projektu platí, tj., zda zvolené postupy/procesy vedou k plánovaným výsledkům a efektům.
… nevíme, jaká intervence by mohla fungovat.…využít analýzy potřeb a terénního výzkumu a výsledky sdílet s klíčovými aktéry a experty.
…nevíme, jaký nejlepší způsob implementace zvolit.…dokumentovat procesní stránku s ohledem na kontext implementace, její výsledky a ekonomickou efektivitu.

(Owen & Rogers, 1999, citováno podle betterevaluation.org)

Zde najdete příklady klíčových evaluačních otázek

Výstup: Soubor interně schválených klíčových evaluačních otázek

5. Stanovte časový rámec evaluace

Monitoring a evaluace projektu jsou sice odlišné aktivity, avšak úzce provázané. Obecně platí, že, zjištění z monitoringu a evaluace využíváme v jiných fázích projektu, s odlišnou periodicitou a za jiným účelem. Obě aktivity jsou však klíčové pro kvalitní projektové řízení a rozhodování o dalším postupu. Je vcelku zbytečné monitorovat vývoj projektu bez jakékoli reflexe (evaluace), a opačně, vzhledem k časové nárazovosti většiny evaluací, nemohou sami o sobě adekvátně reflektovat procesní stránku projektu a poskytovat užitečnou zpětnou vazbu manažerovi v jeho průběhu. Při promýšlení časového rámce evaluace by proto mělo být zohledněno propojení obou aktivit.

Rozhodnutí o časovém určení počátku i konce evaluace by mělo být postaveno na cílech evaluace, pro jaká rozhodování jsou evaluační zjištění třeba a kdy budou tato rozhodnutí probíhat. Nejen v ČR se zpravidla praktikuje kombinace průběžné evaluace s evaluací závěrečnou. Dle učebnicových doporučení by průběžná evaluace měla být provedena co nejdříve od startu projektu, aby mohla včas odhalit a upozornit na případné problémy implementačního procesu. Fakt, že se tak v ČR, alespoň v projektech ESF zaměřených na zaměstnanost a sociální oblast, neděje a průběžná evaluace bývá realizována cca ve dvou třetinách délky projektu, je dán všeobecným zpožděním intervenční fáze těchto projektů.

Závěrečná evaluace může být směřována na poslední měsíce projektu, pokud mají její výsledky sloužit k rozhodování o pokračování projektu/programu/intervence. Ovšem může být dokončena až s určitým odstupem od konce projektu, pokud jej jejím cílem odhalit dlouhodobější efekty intervence a/nebo udržitelnost jejích výsledků.

Výstup: Časový rámec evaluace

6. Rozhodněte o způsobu evaluace: interní, externí nebo smíšená

Kdo bude reálně provádět evaluaci je třeba určovat s ohledem na kritéria jako je její rozsah, význam, profesionální nároky a časové a finanční možnosti projektu nebo zadavatele evaluace.

Interní evaluaci provádí samotná organizace realizující daný program a obvykle se zaměřuje na průběžné sledování a vyhodnocování ukazatelů vybraných aspektů programu (monitoring). Taková evaluace slouží především k poskytování užitečné zpětné vazby o kritických funkcích programu a jedná se tedy o nástroj efektivního řízení, který umožňuje managementu a dalším klíčovým aktérům reagovat nejen na akutní, ale i potenciální problémy. Pokud evaluaci provádí přímo oddělení zodpovědné za realizaci programu, mluvíme o sebe-evaluaci. Výhodou je velký vhled do fungování programu a obvykle nižší náklady na její provádění (avšak pro malé organizace může být naopak výhodnější nasmlouvat externího evaluátora, než udržovat kvalitní tým evaluátorů uvnitř organizace). Nevýhodou interní evaluace může být horší metodologická připravenost hodnotícího týmu a přílišná svázanost s programem (nedostatek odstupu).

Oproti tomu externí evaluaci provádí tým mimo samotnou organizaci, který by měl mít jak dostatečný odstup, tak kompetence. V ideálním případě také postupuje při hodnocení dostatečně nezávisle a profesionálně, podle standardů platných v daném oboru (viz etický kodex České evaluační společnosti). Nevýhodou je pochopitelně menší obeznámenost s programem. Externí evaluace může také vyvolat obrannou až odmítavou reakci zaměstnanců organizace. Výsledky potom nemusí být aktéry akceptovány je obtížné přenést získané znalosti do praxe.

Aby se nevýhody obou přístupů minimalizovaly, obvykle jsou v určité míře kombinovány oba přístupy, tj. průběžný monitoring a vyhodnocení se provádí interně a externě se provádí jednorázové důkladné vyhodnocení dosavadního průběhu fungování programu. Externí evaluátor může být zapojován standardně, nebo v případech, kdy existují pochybnosti o integritě prováděných činností (provoz programu, poskytování služeb apod.), popř. jde o součást komplexní evaluace.

Kdy vybrat externího evaluátora?

Usnadnit rozhodování může manažerům evaluace následující tabulka, která porovnává základní parametry spojené s působením interního a externího evaluátora.

Výhody a nevýhody interního a externího evaluátora

OblastiInterní evaluátorExterní evaluátor
PerspektivaVíce obeznámen s projektovým týmem, problematikou a problémy projektu a datovými zdroji. Přináší čerstvý pohled na projekt, širší zkušenosti a nezaujatost.
Znalosti a dovednostiVíce obeznámen s kontextem tvorby projektu, větší vhled do problematiky projektu.Většinou bohatší evaluační znalosti a dovednosti, ale bez potřebného porozumění problematice projektu.
Získávání dat a informacíVětšinou přijímaný uvnitř projektového týmu jako „náš člověk“, který nepředstavuje hrozbu, což otevírá dveře k získání většího množství i sebekritických dat a informací.Vnímaný spíše intruzivně jako „hrozba“, což často komplikuje získávání úplných informací a dat.
DůvěryhodnostVnímán jako zaujatý, a tudíž důvěryhodnost jeho závěrů je považována obecně za nižší.Vnímán jako objektivní, stojící mimo struktury projektu, a tudíž je důvěryhodnost jeho zjištění vyšší a jejich využití pravděpodobnější
Nákladnost / zdrojeMůže časově zahltit interní kapacity, které jsou vždy omezené, zvláště pokud mají na starosti i jiné úkoly/agendy.Může být pro manažera projektu/evaluace časově nákladnější zejména po stránce výběru a koordinaci průběhu evaluace; finančně nákladnější externí evaluace zpravidla nebývají,
Role v projektuNeměl by být vnímán jako nestranný mediátor řešení problémů, ale jako někdo, kdo má v projektu svůj úkol/agendu.Může sloužit jako nestranný arbitr napříč všemi účastníky projektu.
Využití evaluačních zjištěníVíce příležitostí k dalšímu využití evaluačních zjištění.Smlouva mu zpravidla končí odevzdáním závěrečné evaluační zprávy, což limituje možnost dále ovlivňovat využití výsledků evaluace.

Obecně doporučujeme najmout externího evaluátora, pokud:

  • rozsah a/nebo komplexnost evaluace vyžaduje odborné znalosti a dovednosti, které interně chybí;
  • se jedná o důležitý nebo politicky citlivý projekt/program a klíčovým kritériem je nestrannost evaluačních zjištění;
  • interní evaluátoři se nemohou evaluaci věnovat v potřebném rozsahu nebo časovém úseku.

Externí evaluátoři jsou obvykle jednotlivci – freelanceři, výzkumné instituce nebo evaluační a konzultační firmy.

Ať již bude evaluaci provádět tým externích nebo interních evaluátorů, je pro manažera evaluace/projektu velmi důležité formálně domluvit, kdo bude tento tým vést a bude mít za provedení evaluace hlavní zodpovědnost.

Neméně významné je přijetí faktu, že manažer projektu a celý realizační tým budou do evaluačního procesu zapojeni i v případě, že ji zabezpečuje externí evaluátor. Nejsou pouze příjemcem evaluačních zjištění, ale také se spolupodílejí na sběru evaluačních dat – zajišťují přístup k projektové dokumentaci a monitoringu, informují evaluátora o projektu a jeho vývoji, jsou k dispozici pro případné evaluační rozhovory nebo podporují zapojení účastníků, partnerů a dalších klíčových aktérů projektu do evaluace.

Ačkoliv se na první pohled může zdát výběr externího evaluátora jako finančně nákladnější varianta, opak bývá pravdou. Proto je před rozhodnutím dobré pečlivě zvážit celkovou časovou a kapacitní náročnost práce vzhledem k záběru evaluace.

7. Ujasněte si požadavky na evaluátora (kvality evaluátora)

Jednotlivé typy evaluace kladou specifické požadavky na osobnostní a odborné kvality evaluátora, jeho technické vybavení a míru odstupu od projektu a jeho týmu. V následující tabulce nabízíme základní přehled „kvalit“ evaluátora vzhledem k hlavnímu účelu evaluace.

Kvality evaluátora vzhledem k účelu evaluace

Hlavní účel evaluaceKvality evaluátora
Odpovědně posoudit účelnost a efektivitu projektu/programuNezávislost a důvěryhodnost jako klíčové kvality, pokročilá znalost kvantitativních a kvalitativních metod, dlouhodobější výzkumná a evaluační zkušenost
Podporovat procesy průběžného učení se a zlepšování projektu/programuSchopnost konstruktivní reflexe, odborné znalosti, dovednosti a zkušenosti z oblasti vzdělávání dospělých, znalost a aktivní využívání procesů učící se organizace, schopnost facilitace, znalost kvantitativních a kvalitativních metod
Podporovat vytváření inovačních projektů/programů založených na znalosti toho, co se v praxi osvědčuje a fungujeSilný lídr, ale také týmový hráč, pokročilé analytické schopnosti

Na úrovni evaluátorů jednotlivců lze obecně manažerům evaluace doporučit, aby hledali člověka:

  • se znalostí kvantitativních a/nebo kvalitativních výzkumných metod
  • s evaluačními zkušenostmi a dobrými referencemi
  • schopného rychle proniknout do problematiky projektu/programu a jeho cílů
  • dobře komunikačně vybaveného
  • důvěryhodného a předem nezaujatého
  • aktivního a flexibilního
  • schopného řešit problémy

Širší evaluační tým nebo najatá firma/organizace by pak rozhodně měla disponovat:

  • pokročilými znalostmi kvantitativních a kvalitativních výzkumných metod
  • multidisciplinárním personálním obsazením
  • zkušenostmi s evaluací a výzkumem ve stejné nebo podobné oblasti jakou řeší projekt
  • pokročilými komunikačními dovednostmi a schopnostmi řešit problémy
  • zájmem o problematiku, aktivním přístupem a flexibilitou
  • dobrými referencemi a důvěryhodností

Výstup: Přehled požadavků na evaluátora/evaluační tým

8. Identifikujte a zajistěte zdroje na evaluaci

Posledním krokem této fáze je zpracování kvalifikovaného ohradu všech zdrojů, které budou pro provedení evaluace potřeba a rovněž jejich zajištění.

Pokud mluvíme o potřebných zdrojích, myslíme tím především:

  • existující informace a data
  • finanční prostředky na zajištění evaluátora/evaluačního týmu a dalších nákladů spojených s evaluačními úkoly (technické a materiální vybavení, cestování apod.)
  • časové a odborné kapacity manažera evaluace, projektového týmu, partnerů a dalších účastníků projektu, širší odborné komunity, řídicího evaluačního týmu apod.

Při zpracovávání odhadu rozpočtu evaluace, do které bude zapojen externí evaluátor, lze postupovat několika způsoby:

  1. Uvolnit na realizaci evaluace cca 5 až 10 % rozpočtu projektu/programu
  2. Zpracovat kvalifikovaný odhad člověkodní potřebný na evaluaci a tento počet vynásobit obvyklou denní sazbou externích evaluátorů – optimální řešení zpravidla při jednoduchých a rozsahem malých evaluací projektů
  3. Řídit se průměrnými rozpočty evaluací obdobného rozsahu a zaměření
  4. Zpracovat draft evaluačního designu/plánu a poté udělat rozpočet se zahrnutím nákladů na sběr a analýzu dat a časové dotace na komunikaci, evaluační aktivity, prezentaci výsledků apod.

Výstup: Odhad rozpočtu a ostatních nákladů evaluace

Reference:

Owen, J. M., & Rogers, P. J. (1999). Program evaluation: forms and approaches (International ed). London ; Thousand Oaks: Sage Publications.
Scroll to Top