Jak (ne)nastavovat outcome mapping

Co to vlastně outcome mapping (OM) je? Jedná se o evaluační nástroj, který na bázi systémového přístupu hodnotí programy a projekty usilující o behaviorální změnu uvnitř malých i větších většinou heterogenních sociálních celků. Umožňuje identifikovat, formulovat, ověřit výsledky intervence a její smysl. V České republice jsou zkušenosti s tímto evaluačním nástrojem minimální a odborná veřejnost se s ním teprve seznamuje (viz například prezentace Vladimíra Sodomky na konferenci České evaluační společnosti). Nicméně v současné době probíhá pilotní ověřování uplatnitelnosti OM v oblasti sociálně-inovačních projektů a rádi bychom se podělili o získané zkušenosti. Postupně budeme na evaluuj.cz nabízet teoretické informace o samotné metodě a přizpůsobené nástroje v českém jazyce (šablony, pracovní sešity, návody apod.). Na blogu potom chceme sdílet naše postřehy z praktického nasazení OM v konkrétních evaluačních projektech. A kde jinde začít, než u přípravné fáze nasazení OM?

Postřeh #1: K úspěšné aplikaci OM v žádném případě nestačí, že metodu zná evaluátor sám. Aby mohl OM přinášet užitečnou zpětnou vazbu, musí se s jeho funkcemi a mechanismem detailně obeznámit celý projektový tým. Pouze pokud jednotliví členové týmu pochopí a přijmou logiku OM, může se stát smysluplnou a nedílnou součástí procesu realizace!

Manuály na provádění OM zdůrazňují, že k rozhodnutí o jeho nasazení v projektu by mělo dojít až po společném informačním workshopu, kde evaluátor všechny seznámí s jeho hlavními aspekty, předpoklady a výhodami i nevýhodami (ano, žádná metoda není dokonalá a nemá smysl toto zamlčovat). Druhé, časově náročnější setkání týmu a evaluátora (cca 1 až dva pracovní dny) se musí uskutečnit nad zpracováním záměru projektu dle osnovy OM. Tyto dva kroky zajistí, že projektový manažer i jeho tým plně chápou přínosy, ale i nároky OM a přijmou celý evaluační proces jako součást věcného řízení projektu.

Je to ale opravdu tak zásadní? A co se stane, když se tato fáze přeskočí nebo odloží „na později“? Například z důvodu „časové tísně“, nebo prostě proto, že byl evaluátor přizván až v pokročilé fázi projektu?  To jsme si vyzkoušeli v jednom z našich projektů, kde jsme zpracovali evaluační plán pouze na základě projektové žádosti bez zásadnější účasti realizátora. Vedle zmíněné časové tísně stály za odkladem také obavy realizačního týmu z evaluace jako něčeho málo uchopitelného, složitého, realizátory ohrožujícího … a zároveň formálně povinného. S realizačním týmem jsme se sešli až na workshopu, na kterém se nastavovaly monitorovací priority, nástroje monitoringu a způsoby sběru, analýzy a reflexe dat.

A výsledek? Průběh workshopu byl oproti doporučením a našim očekáváním velmi krátký a probíhal vlastně hladce. Nikdo z týmu nad prioritami nepolemizoval, nikdo nepřišel s vlastní představou monitoringu. V místnosti byla cítit formální vstřícnost a hlavně vděčnost za iniciativu a aktivní přístup evaluátora. Reálně však dominoval zájem na minimalizaci nákladů na sběr evaluačních a monitorovacích dat. Zcela chyběla kritická diskuse a soustředěné promýšlení smyslu a vlastního využití různých typů dat nejen pro evaluaci, ale především pro řízení a prezentaci projektu.

Bez zapojení realizátorů to nejde

To vše nakonec vedlo k rozhodnutí, že se provede pouze minimalistická varianta OM. Terénní sběr dat se bude týkat pouze cílových skupin projektu. Data k vývoji žebříku pokroku ostatních aktérů (viz šablonu v pdf) a také k reflexi vývoje inovačního řešení a podpůrných aktivit a procesů budou sbírána a reflektována face-to-face na pravidelných čtvrtletních monitorovacích setkáních evaluátora a členů projektu. Moderovat tato setkání bude sám evaluátor. Bylo očividné, že evaluace je pro realizační tým stále spíše přítěží a formalitou. S tím se samozřejmě setkávají evaluátoři často a někdy je těžké přesvědčit členy týmu o opaku. Jenže zatímco v případě tradičních (kvantitativních, kontrafaktuálních) metod dopadové evaluace nemusí realizátor pro evaluaci zrovna „hořet“, OM je metodou participativní, která se bez adekvátního zapojení všech neobejde.

Vzali jsme si z této lekce jasné ponaučení. Šetřit čas projektového týmu a urychlit přípravné fáze OM se rozhodně nevyplácí. Za nějaký čas uvidíme, jestli je možné vše napravit při vlastním monitorovacím procesu a realizátory pro OM dodatečně nadchnout. Zda počáteční rozpaky, formalismus a „odevzdanost evaluátorovi“ vystřídá nárůst zájmu, uvědomění si benefitů OM a vtažení realizačního týmu do evaluace. Neoddiskutovatelnou výhodou OM je nejenom to, že odhaluje nedostatky, slabá místa a případná chybná rozhodnutí. Zároveň umožňuje lidem kontinuální a nenásilné učení se. Podporuje kreativitu při identifikaci potřeb a řešení problémů cílových skupin a dalších významných aktérů projektu.

Markéta