Vi skal have færre og bedre evalueringer

En typisk iagttagelse i evalueringsforskning er, at evaluering ikke bliver brugt – eller i hvert fald ikke bruges så meget og så instrumentelt, som det kunne ønskes.

En anden iagttagelse er, at evalueringer kan blive anvendt på mange andre – positive såvel som negative – måder end de tilsigtede, og at viden fra evalueringer på indirekte og diffus vis trænger ind i og bliver en del af den beholdning af viden og erfaringer, som praktikere og politikere orienterer sig i, og som giver anledning til ikke nødvendigvis radikale, men inkrementelle ændringer i daglig praksis.

Disse iagttagelser kan vi nikke genkendende til i vores arbejde med evaluering på velfærdsområderne. Her oplever vi, at ældre evalueringsrapporter, som er udarbejdet i forbindelse med andre projekter, bidrager med ideer, problemforståelser og løsningsforståelser hos personer og instanser, der ikke har været involveret i projekterne. Det er eksempelvis sket i forbindelse med reformarbejdet omkring Børnene Først.

Mange evalueringsprocesser ikke er så rationelle endda

I en rationel evalueringsproces definerer en politisk-administrativ beslutningstager sine målsætninger og vidensbehov. Det kan for eksempel være lovgivernes behov for viden om, hvorvidt en vedtagen politik rent faktisk har de tilsigtede effekter.

Det kan også være forvaltningens behov for mere detaljeret viden om organisering, ledelse, implementering og omkostnings- og produktivitetsmæssige aspekter af en indsats. Endelig kan det være fagprofessionelles behov for at udvikle og udbygge deres faglige vidensbase.

Problemet er, at mange evalueringsprocesser ikke er så rationelle endda, og at helt afgørende spørgsmål ikke afklares.

Det er spørgsmål som: Hvem skal bruge evalueringen, til hvad og hvornår? Har projektet eller indsatsen akkumuleret nok implementeringserfaring til, at der kan uddrages nogen form for læring, og/eller at der kan spores en effekt? Er det muligt at få adgang til relevante data? Adresserer evalueringen de spørgsmål, som er relevante for centrale beslutningstagere?

Husk ydmyghed og kritisk refleksion

Selv hvis evalueringen har været besluttet i lang tid, er det fornuftigt at vende tilbage til spørgsmålene, når evalueringen skal sættes i gang. Ydmyghed og kritisk refleksion er helt centralt for det at have en evalueringsfaglighed. Det betyder, at vi, der gennemfører eller rådgiver om evaluering, skal være gode til at rådgive om, hvornår det giver mening eller ikke at gennemføre en given type evaluering.

Evaluering kræver kompetencer, tid og penge. Hvis forudsætningerne ikke er tilstede, skal evaluator være bedre til at argumentere og forklare, hvorfor en given evaluering ikke kan lade sig gøre. Årsagerne kan være mange, for eksempel manglende adgang til relevante data, for kort tidsplan, manglende muligheder for sammenligning eller for få penge i forhold til evalueringens ønskede omfang.

Det er klart, at det er lettere sagt end gjort. Det kan naturligvis være svært for den, der lever af at evaluere at melde tilbage til sin kunde og forklare, at en analyse af den konkrete evalueringssituation viser, at det er bedre at bruge pengene på eksempelvis en bedre implementering af indsatsen frem for en evaluering.

Men det kan og skal vi som evaluatorer kunne gøre, for ligesom mennesker uden kendskab til husbyggeri allierer sig med en byggesagkyndig, der kender til detaljerne og faldgruberne, inden de kaster sig ud i at bygge et nyt hus eller en større ombygning, skal eksperter i evaluering også være med til at sikre, at de rette forhold er på plads til at gennemføre en evaluering. Her har evaluering lighed med hammeren i hånden, som kan forvolde ulykker for den ukyndige.

Urealistiske forventninger og utilstrækkelige rammevilkår

Men ansvaret går begge veje. Både evaluator og opdragsgiver har et ansvar for, at evalueringen har det bedste udgangspunkt og optimale betingelser for anvendelse. Det kræver stærke evalueringsfaglige kompetencer hos begge parter.