Úmrtnost (attrition)

Úmrtnost (dropout / attrition / sample loss) je jev, který může významně ohrozit validitu evaluace a to jak, z hlediska pravdivosti závěrů o efektech intervence (vnitřní validita), tak možnosti jejich zobecnění (vnější validita). Menší počet účastníků obecně znamená menší statistickou sílu, u experimentů může však vést až k porušení předpokladu náhodnosti rozdělení do skupin a obecně k systematickému zkreslení výsledků dopadové evaluace.

Úmrtnost přináší také další praktické a provozní problémy. Zvyšuje administrativní zátěž realizačního týmu a obtížněji se sledují náklady na intervenci. U některých typů intervencí (např. skupinové terapie) může docházet k demoralizaci ostatních účastníků intervence a personálu samotného, narušení sociálních vazeb a vzájemné solidarity mezi klienty apod. Jednotlivé odchody se mohou kumulovat a iniciovat tak následné vlny odchodů.

V ideálním scénáři evaluace všichni účastníci přihlášení do studie naprosto přesně dodržují pokyny, dokončí „léčbu“ a spolupracují s evaluátory ještě dlouho po skončení intervence pro odhad jejích dlouhodobých efektů. Nicméně v realitě dochází k tomu, že větší či menší část účastníků ze studie odstoupí, popř. s realizačním týmem nebo evaluátorem vůbec nespolupracuje.

Obecné příčiny úmrtnosti se velmi těžko se odhalují. Úmrtnost je asociována s celou řadou faktorů a evaluátoři mohou její míru ovlivnit pouze v omezené míře. Tyto faktory mohou být specifické pro danou skupinu či intervenci, ale zdá se, že alespoň některé mají obecnou povahu a jsou spojené nejen se samotnými účastníky, ale také výzkumníky/evaluátory a kontextem, ve kterém výzkum/evaluace probíhá.

Závažnost úmrtnosti z hlediska validity výsledků studie je dána relativní velikostí úmrtnosti a mírou vzájemné odlišnosti „odpadlíků“ a těch, kteří ve studii pokračují. Ohledně velikosti se v medicínském výzkumu ustálilo přibližné pravidlo, kdy je při úmrtnosti menší než 5 % považováno vychýlení výsledků za nízké. Naopak více jak 20% úmrtnost je považována za vysoké riziko pro interní validitu a některé časopisy takové studie odmítají publikovat. V případě sociálních intervencí může být akceptovatelná horní hranice vyšší a přijatelná míra úmrtnosti se může lišit pro úmrtnost jednotlivých skupin a jejich kombinaci.

Základním předpokladem pro sledování úmrtnosti je správné nastavení monitoringu účastníků studie ve všech jejích skupinách, větvích, místech realizace apod. To předpokládá důsledné vedení evidence o proběhlých kontaktech mezi personálem a (potenciálními) účastníky, průběžné sledování stavu a pravidelné vyhodnocování dat získaných z realizovaných šetření. Užitečné je, pokud evaluační design umožňuje sledovat jednotlivé účastníky v celém jejím průběhu, popř. i po skončení. To však není vždy možné, např. z etických či technických důvodů.

Úmrtnosti můžeme předcházet již v rámci teoretické přípravy evaluace, kdy obvykle provádíme literatury o dané intervenci. Do přehledu je vhodné zahrnout otázku, jaké faktory mohou vést k úmrtnosti u dané cílové skupiny a typu intervence. To nám umožní již do designu studie začlenit odpovídající opatření pro snižování úmrtnosti včetně dostatečných prostředků na jejich implementaci. Tradičním nástrojem pro udržení účastníků ve studii je poskytování finanční odměny za účast, ať již formou hotovosti či dárkových šeků apod. Pokud to je možné, lze předcházet úbytku kontrolní skupiny také poskytnutím služby, kterou daná organizace provozuje a zároveň nemá prokazatelný vliv na sledovanou proměnnou. V případě větších intervencí je vhodné vyvinout kompletní rámec/protokol pro udržení účastníků ve studii (retention framework/protocol).

Úmrtnost je nutné vždy reportovat v evaluační zprávě a analyticky vyhodnotit. Pro reportování lze využít např. postupy skupiny CONSORT (Consolidated Standards of Reporting Trials), která poskytuje doporučení právě s ohledem na zlepšení kvality experimentálních studií. Nicméně šablonu pro reporting úmrtnosti lze po úpravě využít i v případě kvazi-experimentálních studií.

V evaluacích se prosadilo několik způsobů práce s úmrtností, které lze s jistou mírou zjednodušení rozdělit na dvě skupiny: 1) analýza podle původního (léčebného) záměru (intention to treat) zahrnující všechny účastníky bez ohledu na to, zda intervenci dokončili a 2) analýza pouze těch účastníků, kteří prokazatelně dodrželi protokol intervence (per protocol). Ve druhém případě mluvíme o průměrném efektu intervence pro ty, kteří obdrželi „léčbu“ (average treatment on treated), resp. „poslušné účastníky“ (compliers) studie (local average treatment effect – LATE). Pokud to intervence a sebraná data umožňují, je vhodné reportovat výsledky obou typů analýzy, popř. i výsledky srovnání odpadlíků z intervenční skupiny s těmi, kteří prošli celou intervencí (treatment-received).

V principu by však primární analýza měla pracovat se všemi účastníky a teprve sekundárně s těmi, kteří prošli celou intervencí. Odhad dopadu intervence založený pouze na osobách, které prošly celou intervencí, nutně vede k jeho zkreslení v závislosti na velikosti úmrtnosti. Na druhou stranu, zahrnutí i těch osob z intervenční skupiny, kteří odstoupili v průběhu intervence nebo dokonce na jejím začátku, vypovídá více než o dopadu intervence pro určitou skupinu o jejich ochotě danou intervenci přijmout.

Zdroje pro další studium:

  • Foster, E. M., Fang, G. Y., & Conduct Problems Prevention Research Group. (2004). Alternative Methods for Handling Attrition: An Illustration Using Data from the Fast Track Evaluation. Evaluation Review, 28(5), 434–464. https://doi.org/10.1177/0193841X04264662
  • Little, R. J. A., & Rubin, D. B. (2002). Statistical Analysis with Missing Data: Little/Statistical Analysis with Missing Data. John Wiley & Sons, Inc. https://doi.org/10.1002/9781119013563