Jakmile je evaluátor součástí projektového týmu, otevírá se pro manažery prostor pro (znovu)zvážení evaluačního přístupu. Fakticky také začíná příprava evaluačního designu. Evaluační design specifikuje postup evaluace a metody sběru a analýzy dat pomocí nichž evaluátor postupně získá odpovědi na klíčové evaluační otázky z kroku 2.
Pro výběr celkového evaluačního přístupu a metod je klíčová spolupráce mezi evaluátorem a projektovým manažerem, resp. celým realizačním týmem.
Dobře vybraný evaluátor disponuje teoretickými i metodologickými znalostmi, ty je však potřeba doplnit o praktickou znalost věcných a organizačních stránek plánované intervence, zainteresovaných aktérů a celkového kontextu, ve kterém realizace probíhá.
V této části se soustředíme právě na aspekty, které by měly být zváženy, aby se nestalo, že evaluátor navrhne sice metodologicky robustní evaluační design, který se zhroutí při prvním střetu s realitou projektu. Tak jako v předchozích krocích čerpáme především z podkladů kolaborativní webové stránky betterevaluation.org, které jsme upravili a doplnili o další zdroje a naše zkušenosti.
Jaké aspekty tedy ovlivňují výběr evaluačního designu? Jsou to především:
- Načasování evaluace
- Komplexita intervence a charakter dopadu
- Výpovědní hodnota evaluace a typ evaluačních otázek
- Způsob řízení projektu, dostupné zdroje a širší kontext
Načasování evaluace
V ideálním případě se design evaluace formuluje ještě před samotným začátkem projektu. Nicméně realita je často taková, že projektová žádost obsahuje pouze velmi obecně popsanou aktivitu hodnocení intervence a evaluátor je přizván až v průběhu realizace. V některých případech může být dokonce zcela záměrně přizván již po skončení intervence, aby provedl její vyhodnocení ex-post. Následující tabulka shrnuje důsledky načasování evaluace pro design procesní a dopadové evaluace.
[table id=s6 /]
Komplexita intervence a charakter dopadu
Intervence se mohou výrazně lišit podle míry jejich standardizace. Může se jednat o intervenci s podrobně předepsaným způsobem provedení (metodikou), který má být implementován ve všech případech stejným způsobem (např. ve všech školách nebo u všech poskytovatelů dané služby). U takových intervencí se obvykle předpokládá, že budou fungovat pro všechny stejně, mají relativně jednoduchou teorii změny a případné nezamýšlené důsledky lze předem určit. Na druhém konci spektra jsou intervence, které musí být velmi flexibilní a upravovat své aktivity podle průběžně zjišťovaných a ověřovaných potřeb cílové populace. Součástí takových intervencí je i zjišťování za jakých podmínek a pro koho jsou účinné a jaké případné nezamýšlené důsledky mohou vyvolat. Následující tabulky shrnují tyto různé aspekty komplexity intervencí a důsledků pro designování evaluace.
[table id=s7 /]
[table id=s8 /]
[table id=s9 /]
[table id=s10 /]
Výpovědní hodnota evaluace a typ evaluačních otázek
Každý (dobrý) evaluátor se bude snažit navrhnout takový design evaluace, aby měl co nejvyšší vypovídací hodnotu a poskytoval vysoce validní poznatky.
Úkolem projektového manažera však je, aby jasně specifikoval, jakou výpovědní hodnotu od evaluace očekává.
Je nutné dojít ke shodě, jaké poznatky budou dostatečné a zároveň užitečné při daném rozpočtu (viz dále). Habicht, Victora a Vaughan (1999) rozlišují tři hlavní stupně výpovědní hodnoty poznatků získaných při evaluaci:
- přiměřenost (adequacy) – vyjadřuje pouze míru naplnění určitého kritéria (např. počet zařízení poskytujících určitou službu, počet klientů apod.). Souvislost s realizovanou politikou není předmětem zkoumání, tj. nemůže být prokázána. Jedná se v zásadě o monitoring určených indikátorů a jejich vyhodnocení ve smyslu dosažení stanovených kritérií.
- věrohodnost (plausibility) – hodnoceno je přispění intervence a je požadována alespoň určitá míra jistoty, že případné dopady nejsou způsobeny vnějšími, s intervencí nesouvisejícími, vlivy. Např. na základě srovnání změn v kontrolní a intervenční skupině (bez náhodného přiřazení) lze získat relativně věrohodné závěry ohledně příspěvku intervence. Míra věrohodnosti je závislá na použitém výzkumném designu, velikosti vzorku, průběhu evaluace a dalších faktorech.
- pravděpodobnost (probability) – požadujeme vyčíslení pravděpodobnosti, s jakou můžeme usuzovat, že případné dopady jsou způsobené intervencí, a ne jinými vlivy. Takovou výpovědní hodnotu má např. experiment, při kterém máme plnou kontrolu nad podmínkami intervence a proběhlo náhodné přiřazení jednotek do kontrolní a experimentální skupiny.
Výpovědní hodnotu také ovlivňují další skutečnosti spojené s měřením dopadů.
[table id=s11 /]
V kroku 2 jsme definovaly různé evaluační otázky podle typů evaluace. Pro výběr evaluačního designu je však také důležité znát samotný typ otázky.
[table id=s12 /]
Evaluační otázky v praxi často obsahují více typů podotázek najednou, což samozřejmě ovlivňuje výsledný evaluační design. Např. hlavní evaluační otázka „Jak byl projekt nebo program efektivní?“ se může rozpadnout do několika specifických podotázek:
- K jakým změnám došlo v průběhu projektu u cílové skupiny? (deskriptivní)
- Do jaké míry k těmto změnám přispěla intervence projektu? (kauzální)
- Jak významné jsou tyto změny vzhledem k cílům projektu? (hodnotící)
Způsob řízení projektu, dostupné zdroje a širší kontext
Při evaluacích často narážíme na to, jak se původní, v projektové žádosti vycizelované, vymezení programu a cílů projektu stává po schválení projektu předmětem diskusí v realizačním týmu („Co jsme tím vlastně mysleli?“ nebo „Opravdu jsme slíbili, že splníme takový cíl?“).
Průběžná úprava cílů projektu je bežnou realitou, se kterou musí evaluátor počítat. V lepším případě dochází k úpravám kvůli změněným potřebám cílové populace, někdy však z důvodů spojených se špatným nastavením projektu (nejasné potřeby/zadání, nepromyšlená intervence, tlak na kvantifikaci indikátorů apod.). Zvláště intervence, kde je větší počet zainteresovaných aktérů, jsou průběžně upravovány, jejich cíle přehodnocovány a mění se také vynakládané zdroje, nemluvě o změnách vnějšího prostředí. Každá takováto změna, zvláště v případě série nesystematických zásahů, přináší možnost zpochybnění předpokládaného vztahu mezi vstupy a výstupy a tím i celé evaluace. Následující tabulky shrnují tyto aspekty a důsledky pro volbu evaluačního designu.
[table id=s14 /]
Dostupné finanční prostředky pro evaluaci hrají naprosto zásadní roli při výběru evaluačního designu. Zejména zvažte, zda budete zapojovat externí subjekty pro realizaci evaluace nebo případně jako oponenty evaluace prováděné interně. Náklady může snížit zapojení interních pracovníků na realizaci dílčích aktivit (typicky sběr dat). Také vezměte v úvahu časové možnosti účastníků projektu – cílové skupiny, partnerů a dalších klíčových aktérů. V neposlední řadě ověřte dostupnost, kvalitu a množství již existujících dat, které můžete pro evaluaci s minimálními náklady využít.
Pokud finanční a personální náklady zamýšleného evaluačního designu převyšují možnosti projektu, je nutné jej zjednodušit. Zde je několik příkladů, jak v takovém případě postupovat.
[table id=s15 /]
Ve svém evaluačním designu vždy zohledněte případná omezení časového charakteru, možné předsudky účastníků projektu vůči evaluaci, dostupnost existujících dat, geografickou a faktickou dostupnost respondentů, konfliktní zájmy aktérů projektu nebo programu apod.
Reference
Habicht, J.-P., Victora, C. G., & Vaughan, J. P. (1999). Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. International Journal of Epidemiology, 28(1), 10–18.