Rubriky
Plánování a řízení

Pojďme se pobavit o interní evaluaci

Text vznikl pro blog České evaluační společnosti.

Dovolte mi začít tento příspěvek osobním příběhem. Tématem evaluací se zabývám od roku 2005, kdy jsme spolu s kolegou Arnoštem Veselým připravovali knihu Analýza a tvorba veřejných politik: Přístupy, metody a praxe. Jednou z kapitol byla i evaluace, která mě natolik „chytla“, že jsem se jí začal hlouběji věnovat a od roku 2009 také vyučovat na Fakultě sociálních věd Univerzity Karlovy. Stále tedy šlo o akademickou záležitost a dodnes si vzpomínám na tehdejší rozhovor s Vláďou Kváčou, pozdějším prezidentem České evaluační společnosti (ČES). Snad se tehdejší členové neurazí, ale považoval jsem ČES za „spolek zoufalců“ bez větší možnosti evaluace ovlivňovat. Jak hluboce jsem se mýlil dokazuje mj. můj vstup do společnosti v roce 2013 a také působení ve Správní radě v letech 2018 až 2019. Někdy v té době můj čistě akademický zájem postupně přerostl v praktikování evaluace a v duchu hesla practice what you preach jsem se stal evaluátorem na volné noze. Touto oklikou se dostávám k tématu, o kterém chci psát. Tím je „území nikoho“ mezi čistě interní a čistě externí evaluací, které můžeme pozorovat v programové evaluaci nejen v České republice. Zatímco obě tyto krajní polohy evaluátorského řemesla jsou v literatuře dobře popsány, v zóně mezi nimi se podle mé zkušenosti nachází celá řada odstínů, které jsou málo prozkoumané nebo úplně přehlížené. A je to právě tato šedá zóna, kde evaluační volnonožci často působí, spolu např. s interními evaluátory v organizacích veřejné správy. Rád bych tyto odstíny alespoň lehce nasvítil a rozproudil o nich diskusi, která by mohla posunout kvalitu evaluací u nás zase o malý kousek vpřed.

Co je to interní evaluace a kdo jí provádí?

Manažeři považují evaluaci za příliš cennou, aby byla ponechána vně organizace … a za příliš nebezpečnou, aby nad ní neměli kontrolu. (House, cit. podle Baron (2011)

Trochu těžkopádná až odtažitá, ale často citovaná definice interní evaluace pochází z pera Volkova a Barona (2011). Ti ji pojímají jako komplexní a na kontextu závislý systém procesů a zdrojů uvnitř organizace uskutečňující a podporující evaluační aktivity za účelem získávání spolehlivého a praktického vědění. Výsledky interní evaluace jsou využívány pro rozhodování, posouzení a zlepšování programů/politik, podporují učení v organizaci a ovlivňují způsoby přijímání rozhodnutí. V praxi se jedná o systematický sběr a analýzu spolehlivých dat o výkonu organizace/projektu a interpretaci výsledků, která usnadňuje rozhodovací procesy. Přestože probíhá v prostředí ovlivněném různými zájmy a emocemi, snaží se o nestrannost a empirickou racionalitu. Zároveň je orientovaná na využití poznatků a doporučení v praxi, tj. aktivně ovlivňuje chování organizace a jejích pracovníků.

Typicky se můžeme setkat se třemi hlavními modely organizačního uspořádání interní evaluace (Mathison, 2005):

  • oddělený – organizace disponuje relativně nezávislou evaluační jednotkou. Její nezávislost pramení ze skutečnosti, že se zodpovídá nejvyššímu vedení organizace, nikoliv realizátorům konkrétních programů, projektů apod.
  • vnořený – interní evaluátor je součástí realizačního týmu hodnoceného projektu. Může jít o samostatnou pozici nebo může zastávat více rolí v týmu (typicky evaluátor a manažer).
  • hybridní / smíšený – evaluace je v organizaci zajišťována kombinací interních a externích evaluátorů.

Co tedy definuje interního evaluátora a jak se liší od evaluátora externího? Stake nabízí metaforu kuchaře a strávníka, kdy ochutnání polévky kuchařem v průběhu přípravy představuje formativní interní evaluaci (Christie et al., 2004). Oproti tomu ochutnání polévky zákazníkem představuje sumativní externí evaluaci. Tato metafora poměrně přesně vystihuje dvě hlavní dělící linie, které podle různých autorů definují interní evaluaci.

První vychází ze vztahu k organizaci – pokud je v ní zaměstnán, jedná se o evaluátora interního. Naopak, externí evaluátor nemá v organizaci stálý pracovní poměr – evaluaci pro ni realizuje např. na dohodu nebo formou zakázky. Zde se však již dostáváme do problémů s přesným vymezením hranice. Můžeme za interního evaluátora skutečně považovat někoho, kdo pracuje v organizaci dočasně na DPČ nebo DPP (tj. není v pracovním poměru a nevykonává tak práci „závislou na zaměstnavateli“)? S tímto způsobem kontraktování se totiž setkávám poměrně často u projektů financovaných z ESIF, neboť dovoluje oběma stranám vysokou flexibilitu a respektuje časově omezený rámec projektu. Popřípadě může být evaluátor u organizace de iure zaměstnaný, ale de facto jde o pracovníka, kterého na omezenou dobu poskytla např. externí firma v rámci evaluační zakázky. V obou případech může jít o čistě pragmatické řešení možných komplikací spojených s financováním/realizací evaluačních aktivit projektu, popř. formální naplnění podmínky evaluace. Nelze ale očekávat, že takový interní evaluátor sdílí hodnoty, zájmy a cíle organizace a míra otevřenosti pracovníků organizace bude nižší. Vždy se budou ptát, k jakým datům takového evaluátora pustit a do jaké míry s ním mluvit o problémech projektu apod. Přidaná hodnota takové interní evaluace je zákonitě menší a spíše formální. Z naší zkušenosti v evaluuj.cz se organizace, které to s evaluací myslí skutečně vážně, dříve či později učiní interního evaluátora stálým členem týmu organizace. Konkrétní projekt tak může sloužit jako ověření možností vzájemné spolupráce a přínosu daného evaluátora pro organizaci. Takovým vývojem prošla například moje žena Markéta, která začala v organizaci Elixír do škol jako evaluátorka na vyhodnocení dopadů vybraných aktivit a nyní pracuje jako stabilní členka týmu s možností navrhovat změny k lepšímu fungování celé organizce.

Druhá dělící linie, na které se autoři již tolik neshodnou, je typ evaluace, který interní, resp. externí evaluátor vykonává. Podle Scrivena může interní evaluátor provádět formativní i sumativní evaluaci (Scriven, 1991). Naopak Mathison (2011) zdůrazňuje, že interní evaluace je prakticky vždy formativní, protože z povahy věci má především podporovat rozhodování a šíření znalostí v organizaci. S tím souvisí i charakteristiky interní evaluace jako jsou odpovědnost vůči organizaci samotné (responsibility), zaměření na problémy manažerů a obecně zaměstnanců organizace a jejích klientů (nikoliv tvůrců politik, donorů apod.) a odpovědnost interního evaluátora vedení organizace (accountability; oproti externímu evaluátorovi, který je odpovědný zadavateli evaluace, resp. tomu, kdo program financuje apod.). Interní evaluátor tak především (Love in Mathison, 2005):

  • reaguje na konkrétní potřeby zaměstnanců / programů (participace);
  • poskytuje důležité a včasné informace manažerům v organizaci (podporuje informované rozhodování, nenahrazuje jej);
  • umožňuje lepší porozumění teorii programu a praxi;
  • formuluje na faktech založená doporučení, popř. i konkrétní akční plány;
  • dohlíží na implementaci doporučení.

Role interního evaluátora

Z uvedeného pohledu je pro obhájení a provedení pozitivní změny v organizaci klíčový blízký vztah mezi interním evaluátorem a dalšími zaměstnanci organizace. Jak podotýká Sonnichsen (2000), interní evaluace je v zásadě proces vytváření vzájemného porozumění (sense-making), kdy jednotliví zaměstnanci rozumí odlišným perspektivám ostatních (ne nutně je také přijímají). Zároveň má tento proces poskytovat nestranné a empiricky podložené závěry, které umožní zmírnit subjektivní zkreslení a na emocích založené představy o fungování a efektivitě programů. Jaké jsou tedy konkrétní role interních evaluátorů?

Volkov a Baron (2011) vytvořili přehled rolí interního evaluátora podle citovanosti v odborné literatuře:

  • agent změny (change agent): nebojí se klást obtížné otázky, zastává se slabších, otevírá těžká témata;
  • vzdělavatel ostatních v oblasti evaluací (educator about evaluation): vysvětluje možnosti a limity evaluace; Jak asi potvrdí kolegové z evaluačních jednotek na ministerstvech, samotný fakt, že se organizace rozhodne zřídit evaluační oddělení ještě neznamená, že její management také evaluacím rozumí v praktické rovině.
  • praktik budování evaluačních kapacit (ECB practitioner): posiluje a udržuje efektivní evaluační praxi; Snaží se zajistit, aby se evaluace pro organizaci stala nezbytnou strukturální součástí její činnosti; využívá evaluační zjištění, stává se učící se organizací atd.;
  • poradce managementu (decision-making supporter): přispívá ke zlepšení programů a procesů; Taková role vyžaduje změnu z neutrálního postoje (spojeného s obvykle požadovanou maximální objektivitou evaluátora) k aktivnímu zapojení do rozhodovacích procesů.
  • konzultant (consultant): navrhuje evaluační procesy a sběr informací, které mají pozitivní efekt na organizaci a její aktivity;
  • výzkumník / analytik (researcher/technician/analyst): realizuje aplikovaný výzkum podporující rozvoj organizace a učení;
  • advokát (advocate): pomáhá programům a organizaci uspět (nikoliv za cenu manipulací a podvodů); Zajímá se o a je odpovědný za využití výsledků evaluace; zde se objevuje překryv s agentem změny;
  • pomocník organizačního učení (organizational learning supporter): tato role se víceméně překrývá s ostatními.

Čím by naopak interní evaluátor být rozhodně neměl? Podle Loveho (Mathison, 2005) to není špión managementu nebo whistleblower. Zatímco s prvním se dá jistě souhlasit, ohledně role whistlerblowera si už tak jistý nejsem. Tato otázka je jistě na delší debatu (např. formou Evalcafé nebo příspěvku na blogu ČES), nicméně zastávám názor, že po vyčerpání všech interních možností, jak napravit případné nelegitimní, neetické nebo dokonce nezákonné praktiky uvnitř organizace, je evaluátor oprávněn, resp. povinen na ně upozornit.

Průvodce evaluátora (2020) zmiňuje ještě roli tlumočníka mezi organizací poptávající externí evaluaci a jejím dodavatelem. Ten totiž nemá dostatečné znalosti o dané organizaci a jejím fungování, což může vést k řadě nedorozumění (např. nepochopení zadání evaluace, nerealistická očekávání klienta apod.). Úkolem „tlumočníka“ je proto zajistit vzájemnou komunikaci a zároveň kontrolovat plnění zakázky (včetně metodologické kvality). Zde je nutné zdůraznit, že naplnění této role předpokládá vzdělaného a zkušeného interního evaluátora, který již nějakou dobu pro danou organizaci pracuje. To je podle mých zkušeností praxi evaluací projektů ESIF dosti vzdálené. Interní evaluátoři mají často relativně nízké povědomí o evaluaci a/nebo mají kontrakt pouze na dobu trvání projektu. Jejich znalost vnitřních procesů a organizačního kontextu je tak alespoň na počátku (kdy se určuje zadání evaluace) stejně omezená, jako u externího dodavatele.

Znovu se tak, tentokrát z jiné strany, dostáváme ke slabému místu současné praxe interní evaluace. Problém nespočívá ani tak v právní formě, jako v omezených možnostech opravdu naplňovat funkci a cíle interní evaluace. Ty se v takto definované spolupráci soustředí především na sledování a hodnocení fungování projektu, nikoliv celé organizace. Využití výsledků interní evaluace pro vzájemné učení se a úpravy rozhodovacích procesů organizace jsou pak ve srovnání s trvalým působením dosti omezené.

Pokud je interní evaluátor zaměstnán pouze „na projekt“ a po jeho skončení odchází, ztrácí organizace mnoho výhod spojených s jeho působením: znalost prostředí a lidí v organizaci, evaluační pohled na interní procesy a nabízené programy/služby/produkty, vybudované vztahy a vzájemná důvěra atd. Lze proto jednoznačně doporučit všem subjektům, které v rámci své činnosti usilují o změnu chování lidí či jejich prostředí (ať už jsou financované z veřejných zdrojů nebo soukromými dárci), aby také z provozních prostředků podpořily a stabilizovaly pozici vlastního interního evaluátora. Takový trend můžeme ostatně pozorovat v zahraničí, minimálně v oblastech s dlouhodobou tradicí interní evaluace (např. školství).

Podobně problematická může být externí evaluace, kdy pro nadace/donory a organizace samotné může nastat schizofrenní situace z opačné strany. Požadují od externího evaluátora čerstvý a nestranný pohled na intervence, ale postupně se vyvine dlouhodobá spolupráce na pravidelné bázi, která je pro obě strany výhodná („proč opravovat něco, co funguje“?). To však s sebou nese etická rizika (Yang & Shen, 2006) a je otázka, do jaké míry je takový evaluátor ještě externí a nestranný. To je však téma na samostatný příspěvek.

V tomto ohledu je zajímavý postřeh Christie a kol. (2004), kteří poukazují na smazávání hranice mezi přístupy k evaluaci. Interní evaluátoři působící delší dobu v určité organizaci tak mohou lépe využívat kvantitativní metody typické pro externí/sumativní typ evaluace, zatímco externí evaluátoři pod vlivem na teorii zaměřených přístupů začínají více používat kvalitativní, na proces zaměřené metody, bez kterých by jen těžko mohli porozumět intervenci.

Závěrem: kam směřuje interní evaluace a co to znamená pro ČES

Na závěr bych rád vysvětlil, co interní evaluace není, a popsal trendy v této oblasti, včetně možné role ČES. Interní evaluace rozhodně neznamená pouhou replikaci tradičních evaluačních přístupů uvnitř organizace (Volkov, 2011), vyžaduje naopak jejich efektivní přizpůsobení a přerámování. Jejím cílem také není zachovat status quo dosavadních programů/projektů, vnitřních procesů a způsobů rozhodování. Úkolem interních evaluátorů je spíše zpochybňovat a empiricky testovat existující předpoklady o fungování programů a konfrontovat zakořeněné způsoby práce v organizaci. Není proto divu, že se setkávají s nepřijetím až odporem tam, kde organizace o růst a sebereflexi fakticky nestojí. Odpor organizací samozřejmě může vycházet také ze špatné zkušenosti s předešlými (interními) evaluacemi a evaluátory. Takovými, kteří nepovažují za důležité uplatňovat citlivý přístup, flexibilitu a kreativitu na straně jedné, a poskytovat důvěryhodné a užitečné informace na straně druhé. Interní evaluace v sobě totiž propojuje vědu s dostatečným vhledem a managementem (Sonnichsen, 2000).

Interní evaluace také automaticky neznamená zkreslená evaluace. I interní evaluace může být nestranná (záměrně se vyhýbám termínu objektivní) a důvěryhodná. Velká část zodpovědnosti v tomto ohledu leží na samotném evaluátorovi a jeho integritě. Nicméně ČES by měla tímto směrem evaluátory vzdělávat (nabízet strategie a zkušenosti, jak s tlaky na zkreslování výsledků pracovat) a v případě potřeby také chránit (např. pomocí etické komise a dohledem na standardní provádění evaluací). Jako klíčové se jeví také zvyšování povědomí o evaluacích mimo evaluační komunitu. Uvedená definice interní evaluace a role samotných evaluátorů jsou natolik široké, že se může jednat o pracovníky, kteří sami sebe za interního evaluátora nepovažují. To platí zvlášť v malých organizacích, kde se na evaluaci více či méně podílí většina projektového týmu, aniž by tento proces interní evaluací označovali. Právě zde je potenciál pro další růst ČES, který může být navíc vzájemně velmi obohacující.

Jelikož do jisté míry dochází ke sbližování obou typů evaluace, dává smysl uvažovat nad způsoby spolupráce mezi interním a externím evaluátorem. Zatím typicky v rámci hybridního modelu interní evaluátor „sbírá data“ a externí je poté vyhodnocuje, popř. interní evaluátor provádí komplexní evaluaci „pod dohledem“ evaluátora externího (který ještě případně zpracuje meta-evaluaci apod.). Toto tradiční rozdělení rolí ovšem příliš nepodporuje opravdovou vzájemnou spolupráci ve smyslu společného vytváření evaluačních poznatků. Christe a kol. (2004) proto navrhují model spolupráce, v němž se interní i externí evaluátor od počátku společně podílí na plánování, designování, provádění a reportování výsledků evaluace. Ostatně Scriven doporučuje uvažovat o kontinuu, nikoliv dichotomii interní – externí.

Druhý, často opomíjený přínos interní evaluace spočívá v přesunu autority od centrální úrovně k místní, tj. to, co se anglicky nazývá empowerment. Ať už se jedná o oblast školství (místo „objektivních“ srovnávacích testů lepší porozumění fungování školy v daném kontextu) nebo ESIF (od příliš nefungující kontroly nakládání s prostředky k podpoře smysluplných aktivit a hodnocení jejich významu pro danou cílovou populaci a širší komunitu). To neznamená preferování jednoho typu evaluace před druhým, zvlášť v situaci, kdy realizátoři intervencí (jemně řečeno) nemají externí evaluaci zrovna v lásce a nikdo z aktérů příliš nevěří výsledkům evaluace interní. Nacházíme se spíše ve stavu hledání rovnováhy mezi oběma typy evaluace a porozumění jejich účelu a role. V této souvislosti Nevo (2001) vyzývá zastánce externí evaluace z vyšších úrovní veřejné správy k tomu, aby si upřímně odpověděli na otázku, zda opravdu věří výsledkům, jež jim externí evaluátoři předkládají (a já dodávám otázku, nakolik jsou pro ně tyto výsledky užitečné)? Stejně tak by však měli realizátoři respektovat právo vyšší úrovně poskytující zdroje na jejich programy a klientů jejich služeb na nestrannou a rigorózní externí evaluaci.

Výše naznačenou spolupráci a prolnutí interní evaluace s externí si ostatně vynutí i nastupující trendy, mezi které patří rozvoj elektronických databází a informačních systémů, způsoby skladování různých typů dat a získávání poznatků z nich nebo nové způsoby komunikace (i v reálném čase, jak vidíme nyní v době pandemie COVID-19). Podle Loveho (Mathison, 2005) se proto (nejen) interní evaluace posouvají:

  • od evaluace všeho (wall to wall) k více zaměřené a hluboké evaluaci konkrétních oblastí (hot-spots);
  • od velkých databází k menším na úrovni programu, popř. distribuovaným sítím s rychlým přístupem k informacím → strategické využití informací i rychlé reakce na měnící se podmínky;
  • od psaných zpráv k novým formátům reportování → poskytování informací, kdy jsou potřeba a v uživatelsky vhodné formě;
  • k těsnější spolupráci s manažery, zaměstnanci a klienty → jasně formulované výsledky a měření jejich dosahování (value for money).

Důležitost interní evaluace ve světě stoupá (Mathison, 2011) a představuje potenciálně velmi užitečnou formu (sebe)hodnocení organizace, která umožňuje zlepšovat kvalitu, efektivitu a efektivnost poskytovaných služeb či produktů. Zájemcům o pozici interního evaluátora, popř. již praktikujícím evaluátorům nabízí Baron (2011) hlavní klíče k úspěchu:

  • zůstat věrni evaluaci – nenechte jiné povinnosti a role upozadit evaluátora;
  • hledat rovnováhu mezi rozvojem vašich organizačních (manažerských) a evaluačních dovedností;
  • udržovat nezbytné evaluační kompetence (viz také standardy ČES);
  • zaměřit se na provádění evaluací a jejich relevanci, tj. snažit se vidět jak stromy, tak les.

Rozšíření interní evaluace také představuje jeden ze způsobů, jak zvyšovat evaluační kapacity (které jsou v České republice stále dosti omezené). Bylo by proto skvělé, pokud by se evaluační komunitě a její profesní organizaci podařilo na výše uvedené trendy reagovat a přitáhnout k evaluacím další zájemce. To se může dařit skrze aktivity jako jsou Evalcafé zaměřené na sdílení zkušeností s novými metodami a nástroji organizačního učení a také nabídkou vzdělávání specificky pro interní evaluátory (Evaluační minimum je především o dopadové evaluaci).

Poděkování: Děkuji mé ženě Markétě za konstruktivní připomínky k textu a sdílení jejích bohatých zkušeností na pozici interní evaluátorky. Bez jejího přispění by text zůstal více či méně nesourodými poznámkami a postřehy. Veškeré chyby a omyly padají výhradně na moji hlavu. Pokud na ně narazíte, popř. vás některá z myšlenek zaujme, dejte mi prosím vědět do komentáře nebo na e-mail martin@evaluuj.cz.

Reference

Baron, M. E. (2011). Designing internal evaluation for a small organization with limited resources. New Directions for Evaluation, 2011(132), 87–99. https://doi.org/10.1002/ev.398

Christie, C. A., Ross, R. M., & Klein, B. M. (2004). Moving toward collaboration by creating a participatory internal-external evaluation team: A case study. Studies in Educational Evaluation, 30(2), 125–134. https://doi.org/10.1016/j.stueduc.2004.06.002

Mathison, S. (Ed.). (2005). Encyclopedia of evaluation. Sage.

Mathison, S. (2011). Internal evaluation, historically speaking. New Directions for Evaluation, 2011(132), 13–23. https://doi.org/10.1002/ev.393

Nevo, D. (2001). School evaluation: Internal or external? Studies in Educational Evaluation, 27(2), 95–106. https://doi.org/10.1016/S0191-491X(01)00016-5

Scriven, M. (1991). Evaluation thesaurus (4th ed). Sage Publications.

Sonnichsen, R. C. (2000). High impact internal evaluation: A practitioner’s guide to evaluating and consulting inside organizations. SAGE Publications, Ltd. http://site.ebrary.com/id/10833354

Volkov, B. B. (2011). Beyond being an evaluator: The multiplicity of roles of the internal evaluator. New Directions for Evaluation, 2011(132), 25–42. https://doi.org/10.1002/ev.394

Volkov, B. B., & Baron, M. E. (2011). Issues in internal evaluation: Implications for practice, training, and research. New Directions for Evaluation, 2011(132), 101–111. https://doi.org/10.1002/ev.399

Yang, H., & Shen, J. (2006). When Is an External Evaluator No Longer External? Reflections on Some Ethical Issues. American Journal of Evaluation, 27(3), 378–382. https://doi.org/10.1177/1098214006290501

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *