Výběr evaluačního přístupu a metod

Jakmile je evaluátor součástí projektového týmu, otevírá se pro manažery prostor pro (znovu)zvážení evaluačního přístupu. Fakticky také začíná příprava evaluačního designu. Evaluační design specifikuje postup evaluace a metody sběru a analýzy dat pomocí nichž evaluátor postupně získá odpovědi na klíčové evaluační otázky z kroku 2.

Pro výběr celkového evaluačního přístupu a metod je klíčová spolupráce mezi evaluátorem a projektovým manažerem, resp. celým realizačním týmem.

Dobře vybraný evaluátor disponuje teoretickými i metodologickými znalostmi, ty je však potřeba doplnit o praktickou znalost věcných a organizačních stránek plánované intervence, zainteresovaných aktérů a celkového kontextu, ve kterém realizace probíhá.

V této části se soustředíme právě na aspekty, které by měly být zváženy, aby se nestalo, že evaluátor navrhne sice metodologicky robustní evaluační design, který se zhroutí při prvním střetu s realitou projektu. Tak jako v předchozích krocích čerpáme především z podkladů kolaborativní webové stránky betterevaluation.org, které jsme upravili a doplnili o další zdroje a naše zkušenosti.

Jaké aspekty tedy ovlivňují výběr evaluačního designu? Jsou to především:

  1. Načasování evaluace
  2. Komplexita intervence a charakter dopadu
  3. Výpovědní hodnota evaluace a typ evaluačních otázek
  4. Způsob řízení projektu, dostupné zdroje a širší kontext

Načasování evaluace

V ideálním případě se design evaluace formuluje ještě před samotným začátkem projektu. Nicméně realita je často taková, že projektová žádost obsahuje pouze velmi obecně popsanou aktivitu hodnocení intervence a evaluátor je přizván až v průběhu realizace. V některých případech může být dokonce zcela záměrně přizván již po skončení intervence, aby provedl její vyhodnocení ex-post. Následující tabulka shrnuje důsledky načasování evaluace pro design procesní a dopadové evaluace.

Fáze projektu/programuEvaluační potenciálDůsledky pro evaluační design
Zatím nezačalDostatek času na sběr dat
Možnost začít sbírat data od počátku implementace – a znát tak výchozí situaci
Design dopadové evaluace může mít charakter (kvazi)experimentu s využitím kontrolní skupiny. Sběr dat může probíhat prostřednictvím informačního systému projektu, což šetří náklady a zvyšuje pokrytí evaluace. Celkově může být sběr dat postaven robustně a s vysokou vypovídací hodnotou.

Procesní evaluace může mít komplexní charakter a lze uvažovat o zapojení realizačního týmu (např. outcome mapping).
Přibližně v poloviněNeznalost výchozí situace (pokud projektový tým tato data nemá k dispozici)
Možnost identifikovat silná a slabá místa projektu
Design dopadové evaluace by měl obsahovat postup, jak zpětně konstruovat výchozí situaci cílové skupiny, aby bylo možné posoudit změny, které svou intervencí vyvolal. Je možné zvážit průběžné vyhodnocení dopadů u skupin, kde již intervence skočila.

Procesní evaluace by měla využít načasování evaluace a na základě identifikace silných a slabších míst projektu nabízet užitečnou zpětnou vazbu pro zlepšování intervence.
Blíží se k závěru, popř. už je ukončenNeznalost výchozí situace (pokud projektový tým tato data nemá k dispozici)
Některé/všechny výsledky či bezprostřední dopady projektu už jsou zřejmé
Nelze sledovat implementační proces
Design dopadové evaluace by měl obsahovat postup, jak zpětně konstruovat výchozí situaci cílové skupiny, aby bylo možné posoudit změny, které svou intervencí vyvolal. Výhodou je dostupnost dat o výsledcích a okamžitých dopadech projektu.

Možnosti procesní evaluace jsou omezené, nicméně je možné alespoň zpětně vyhodnotit nastavení intervence, zasažení cílové populace apod. pomocí existujících administrativních dat nebo rozhovorů s realizátory apod. Výsledky mohou sloužit ke zlepšení dalšího běhu projektu nebo při přípravě podobných intervencí.

Komplexita intervence a charakter dopadu

Intervence se mohou výrazně lišit podle míry jejich standardizace. Může se jednat o intervenci s podrobně předepsaným způsobem provedení (metodikou), který má být implementován ve všech případech stejným způsobem (např. ve všech školách nebo u všech poskytovatelů dané služby). U takových intervencí se obvykle předpokládá, že budou fungovat pro všechny stejně, mají relativně jednoduchou teorii změny a případné nezamýšlené důsledky lze předem určit. Na druhém konci spektra jsou intervence, které musí být velmi flexibilní a upravovat své aktivity podle průběžně zjišťovaných a ověřovaných potřeb cílové populace. Součástí takových intervencí je i zjišťování za jakých podmínek a pro koho jsou účinné a jaké případné nezamýšlené důsledky mohou vyvolat. Následující tabulky shrnují tyto různé aspekty komplexity intervencí a důsledků pro designování evaluace.

Flexibilita implementačního postupuDůsledky pro evaluační design
Několik variant aktivit a postupu stanovených předem – výběr dle aktuální potřebyHodnocení kvality implementačního procesu by mělo být v designu postaveno na porovnávání s „best practice“ pro danou typovou situaci.
Žádné varianty aktivit a postupu předem nestanoveny – obsah a postup se tvoří dle vyvíjejících se potřeb cílové skupinyHodnocení kvality implementačního procesu by mělo být v designu postaveno na zjištění citlivosti k potřebám a flexibility při reakci na jejich změny.
Podmínky fungování intervenceDůsledky pro evaluační design
Intervence je sama o sobě dostatečná pro řešení problému. Předpokládá se, že funguje za všech podmínek a pro všechny.Základní otázka by měla znít: Funguje tato intervence? Pro ověřování dopadu je vhodné aplikovat kontrafaktuální metody.
Intervence funguje pouze za určitých, ale známých podmínek.Základní otázka by měla znít: Pro koho, za jakých podmínek a jakým způsobem intervence funguje? Kontrafaktuální metody je vhodné použít v případě, že známe dobře všechny podmínky a okolnosti, za jakých intervence probíhá. Je vhodné kombinovat s dalšími metodami (viz např. realistická evaluace).
Intervence funguje pouze za určitých, ale zatím neznámých podmínekZákladní otázka by měla znít: Pro koho, za jakých podmínek a jakým způsobem intervence funguje? Použití kontrafaktuálních metod je v tomto případě spíše nevhodné. Vhodnější je zařadit přístupy evaluace vedené teorií změny a metody odkrývající kauzální mechanismy (např. kvalitativní komparativní analýza - QCA).
Charakter změny, kterou má intervence vyvolatDůsledky pro evaluační design
Jednoduchý vztah – akce a reakce. Předvídatelná změna.Design může načasovat měření změny na předem známou vhodnou dobu (např. 6 měsíců po ukončení intervence). Na základě předchozích zjištění lze dopady podloženě extrapolovat.
Komplikovaný vztah mezi proměnnými projektu – potřeba odborně porozumět vztahu a provést predikciNačasování měření změny by mělo vycházet z doporučení relevantních aktérů (expertů).
Náhle vznikající a měnící se vztahy, příčiny a faktory a nepředvídatelné změny. Vztahy lze pochopit až zpětně.Design musí umožnit vícenásobné měření změny, jelikož ji nelze předem predikovat.
Nezamýšlené efektyDůsledky pro evaluační design
Očekáváné nezamýšlené důsledkyDesign musí při identifikaci těchto efektů vycházet z předchozích výzkumů a zkušeností a zaměřit se na ně při sběru dat. Je vhodné konzultovat s odborníky způsoby identifikace a měření nezamýšlených efektů.
Nepředvídatelné (zjistitelné až při implementaci)Design pro sběr dat by měl být dostatečně robustní, aby zachytil co nejvíce předem neznámých nezamýšlených efektů (viz např. bezcílná evaluace).

Výpovědní hodnota evaluace a typ evaluačních otázek

Každý (dobrý) evaluátor se bude snažit navrhnout takový design evaluace, aby měl co nejvyšší vypovídací hodnotu a poskytoval vysoce validní poznatky.

Úkolem projektového manažera však je, aby jasně specifikoval, jakou výpovědní hodnotu od evaluace očekává.

Je nutné dojít ke shodě, jaké poznatky budou dostatečné a zároveň užitečné při daném rozpočtu (viz dále). Habicht, Victora a Vaughan (1999) rozlišují tři hlavní stupně výpovědní hodnoty poznatků získaných při evaluaci:

  • přiměřenost (adequacy) – vyjadřuje pouze míru naplnění určitého kritéria (např. počet zařízení poskytujících určitou službu, počet klientů apod.). Souvislost s realizovanou politikou není předmětem zkoumání, tj. nemůže být prokázána. Jedná se v zásadě o monitoring určených indikátorů a jejich vyhodnocení ve smyslu dosažení stanovených kritérií.
  • věrohodnost (plausibility) – hodnoceno je přispění intervence a je požadována alespoň určitá míra jistoty, že případné dopady nejsou způsobeny vnějšími, s intervencí nesouvisejícími, vlivy. Např. na základě srovnání změn v kontrolní a intervenční skupině (bez náhodného přiřazení) lze získat relativně věrohodné závěry ohledně příspěvku intervence. Míra věrohodnosti je závislá na použitém výzkumném designu, velikosti vzorku, průběhu evaluace a dalších faktorech.
  • pravděpodobnost (probability) – požadujeme vyčíslení pravděpodobnosti, s jakou můžeme usuzovat, že případné dopady jsou způsobené intervencí, a ne jinými vlivy. Takovou výpovědní hodnotu má např. experiment, při kterém máme plnou kontrolu nad podmínkami intervence a proběhlo náhodné přiřazení jednotek do kontrolní a experimentální skupiny.

Výpovědní hodnotu také ovlivňují další skutečnosti spojené s měřením dopadů.

Možné komplikace měřeníDůsledky pro evaluační design
Některé efekty intervence se projeví až s delším časovým odstupem od intervencePokud nelze sledovat dlouhodobé dopady, měl by se design zaměřit na sledování bezprostředních dopadů a využít jiných zdrojů poznatků k predikci pravděpodobných dlouhodobých efektů intervence.
Nemožnost přímo sledovat implementaci intervenceProcesní evaluaci lze založit alespoň na vzdáleném sběru dat – např. prostřednictvím rozhovorů s klíčovými informanty nebo pomocí sekundárních dat.
Nemožnost sledovat výsledky a efekty intervence (např. v citlivých nebo soukromých oblastech života).Design dopadové evaluace by měl být postaven na sběru dat prostřednictvím rozhovorů s klíčovými informanty, technik neobtěžující účastníky nebo technik sběru citlivých dat (např. vedení deníku nebo anonymní dotazníkové šetření).

kroku 2 jsme definovaly různé evaluační otázky podle typů evaluace. Pro výběr evaluačního designu je však také důležité znát samotný typ otázky.

Typ evaluační otázkyPříkladDůsledky pro evaluační design
Deskriptivní (popisná)Jaké aktivity byly v projektu realizovány?Design by měl specifikovat, jaká data jsou k dispozici, jaká data je třeba sebrat, jakou metodou a jak tato data analyzovat. Měl by také respektovat pravidlo úspornosti, tj. maximálního využití již existujících dat.
Kauzální (příčinná)Jaké faktory a opatření přispěly k výsledkům projektu?Design by měl obsahovat zdůvodnění výběru metod sběru a analýzy dat, které mohou odkrývat kauzální vztahy. Tedy zda a pro jaký typ otázky je vhodné použít experiment, kvazi-experiment, kvalitativní komparativní analýzu (QCA), evaluaci vedenou teorií projektu nebo process tracing apod.
HodnotícíV jakých aspektech a pro jakou skupinu byl projekt úspěšný a přínosný?Design by měl obsahovat popis vybrané metody, pomocí které bude evaluátor na tento typ otázky hledat odpověď. Měl by také formulovat jasná kritéria, podle kterých bude jednotlivé aspekty projektu hodnotit.
DoporučujícíCo by měl projekt změnit, aby naplnil své cíle, zvýšil svou účinnost nebo vyřešil problémy, kterým čelí?Design by měl vždy obsahovat nějakou doporučující otázku. Měl by přinášet příjemcům evaluace ex-ante, průběžná, závěrečná nebo ex-post doporučení (dle záběru evaluace) na zlepšení, úpravy, řešení problémů apod.

Evaluační otázky v praxi často obsahují více typů podotázek najednou, což samozřejmě ovlivňuje výsledný evaluační design. Např. hlavní evaluační otázka „Jak byl projekt nebo program efektivní?“  se může rozpadnout do několika specifických podotázek:

  • K jakým změnám došlo v průběhu projektu u cílové skupiny? (deskriptivní)
  • Do jaké míry k těmto změnám přispěla intervence projektu? (kauzální)
  • Jak významné jsou tyto změny vzhledem k cílům projektu? (hodnotící)

 

Způsob řízení projektu, dostupné zdroje a širší kontext

Při evaluacích často narážíme na to, jak se původní, v projektové žádosti vycizelované, vymezení programu a cílů projektu stává po schválení projektu předmětem diskusí v realizačním týmu („Co jsme tím vlastně mysleli?“ nebo „Opravdu jsme slíbili, že splníme takový cíl?“).

Průběžná úprava cílů projektu je bežnou realitou, se kterou musí evaluátor počítat. V lepším případě dochází k úpravám kvůli změněným potřebám cílové populace, někdy však z důvodů spojených se špatným nastavením projektu (nejasné potřeby/zadání, nepromyšlená intervence, tlak na kvantifikaci indikátorů apod.). Zvláště intervence, kde je větší počet zainteresovaných aktérů, jsou průběžně upravovány, jejich cíle přehodnocovány a mění se také vynakládané zdroje, nemluvě o změnách vnějšího prostředí. Každá takováto změna, zvláště v případě série nesystematických zásahů, přináší možnost zpochybnění předpokládaného vztahu mezi vstupy a výstupy a tím i celé evaluace. Následující tabulky shrnují tyto aspekty a důsledky pro volbu evaluačního designu.

Cíle aktérů intervenceDůsledky pro evaluační design
Všichni aktéři projektu sdílí společné cíleV designu mohou být zamýšlené dopady identifikovány hned od počátku.
Aktéři projektu mají odlišné cíleDesign musí reflektovat potřebu sbírat data pro několik odlišných, ale žádoucích změn.
Původně nastavené cíle se v průběhu projektu mohou změnitDesign dopadové evaluace musí být dostatečně flexibilní, aby byl schopen zachytit všechny relevantní průběžné výsledky a dopady (nelze např. doporučit tradiční experimentální design).

Dostupné finanční prostředky pro evaluaci hrají naprosto zásadní roli při výběru evaluačního designu. Zejména zvažte, zda budete zapojovat externí subjekty pro realizaci evaluace nebo případně jako oponenty evaluace prováděné interně. Náklady může snížit zapojení interních pracovníků na realizaci dílčích aktivit (typicky sběr dat). Také vezměte v úvahu časové možnosti účastníků projektu – cílové skupiny, partnerů a dalších klíčových aktérů. V neposlední řadě ověřte dostupnost, kvalitu a množství již existujících dat, které můžete pro evaluaci s minimálními náklady využít.

Pokud finanční a personální náklady zamýšleného evaluačního designu převyšují možnosti projektu, je nutné jej zjednodušit. Zde je několik příkladů, jak v takovém případě postupovat.

Způsob snížení nákladůMožné důsledkyŘízení rizika
Snížení počtu klíčových evaluačních otázekEvaluace pak nemusí zohlednit potřeby všech jejích příjemců.Pečlivě zvážit prioritní cíle evaluace.
Snížení velikosti výběrového vzorkuVýsledky mohou být méně přesné (např. větší statistická chyba) a snižuje se jejich vypovídací schopnost. Zajistit takové snížení vzorku, které významně nesníží přesnost výsledků.
Širší využití existujících datSekundární data mohou pokrývat potřeby evaluace pouze částečně, mohou být nespolehlivá (nemáme pod kontrolou operacionalizaci a sběr) apod.Ověřit dostupnost, relevanci a kvalitu existujících dat.
Sběr dat v režii projektového týmuMůže vést ke snížení kvality sbíraných dat a přílišnému zatížení realizačního týmu.Prověřit ochotu, schopnost a časové možnosti projektových pracovníků.
Snížení periodicity sběru datMožnost snížení přesnosti výsledků.Ověřit, jaké snížení periodicity sběru dat bude pro zachycení vývoje projektu dostatečné.

Ve svém evaluačním designu vždy zohledněte případná omezení časového charakteru, možné předsudky účastníků projektu vůči evaluaci, dostupnost existujících dat, geografickou a faktickou dostupnost respondentů, konfliktní zájmy aktérů projektu nebo programu apod.

Reference

Habicht, J.-P., Victora, C. G., & Vaughan, J. P. (1999). Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. International Journal of Epidemiology, 28(1), 10–18.

Scroll to Top