Mange gode forsøg – men hvad virker?

Målet med frikommuneforsøget er at udvikle nye og bedre måder at gøre tingene på, så kommunerne udnytter ressourcerne optimalt, og borgerne får den bedst mulige service for pengene. Men når mange forskellige forsøg sættes i gang på det samme område på én gang, kan det være vanskeligt at skelne de enkelte forsøgs effekter fra hinanden. Der er derfor behov for at skabe en systematisk og videnskabelig vurdering af effekterne.

Lær af frikommuneforsøget i 1980’erne

Der blev gennemført en række frikommuneforsøg i de nordiske lande i 1980’erne, og det var meget forskelligt, i hvor høj grad landene gennemførte systematiske evalueringer af disse frikommuneforsøg. For eksempel gjorde Norge det i langt højere grad end Danmark.

Da loven om frikommuneforsøg blev vedtaget i Danmark i 1980’erne, rejste tre opposi-tionspartier ellers krav om, at der skulle foretages en uafhængig evaluering. Men den daværende indenrigsminister afviste angiveligt forslaget, fordi hun helt grundlæggende tvivlede på, at forskningen ville kunne bidrage med en viden, der ville være relevant for hendes område.

Andre hensyn har muligvis været, at en evaluering ville koste penge, og at den kunne risikere at bringe analyseresultater frem, der gik imod ministerens interesse (Albæk 1994). Der blev således kun i meget begrænset omfang gennemført evalueringer, der gik på tværs af flere kommuner. I forbindelse med frikommuneforsøgene i Danmark nu – små 30 år senere – skal vi passe på, at historien ikke gentager sig.

Faldgruber i evalueringen

I ansøgningerne om frikommuneforsøg kræves det, at de enkelte kommuner skitserer evalueringen af deres forsøg. Det betyder, at kommunerne har lavet individuelle evalueringsdesign for deres projekter. Styrken ved den model er, at det sikres, at der kommer en intern evalueringsproces, hvor der samles erfaringer op i den organisation, der gennemfører forsøgene. Der er imidlertid også nogle svagheder ved ikke at gennemføre mere koordinerede evalueringer.

For det første vil den enkeltstående evaluering sjældent kunne sige noget reelt om effekterne af forsøgene. Det skyldes, at en god effektmåling kræver, at der er en kontrolgruppe. Ellers er det nemlig meget muligt, at målingen af effekten bliver misvisende. Det kan for eksempel skyldes, at forsøgsdeltagerne opfører sig anderledes, simpelthen fordi de er en del af et forsøg. Det er det, der inden for medicin kaldes placebo-effekten. I en kommunal sammenhæng kan der fx være tale om, at virkningen i højere grad skyldes de ildsjæle, der har båret forsøget igennem, end de interventioner, der er iværksat i forbindelse med forsøget.

Det betyder også, at den effekt, man har fundet, ikke vil kunne overføres til andre kommuner. Enkeltstående evalueringer af indsatser i de enkelte kommuner vil sjældent blive udformet, så der er en systematisk kontrolgruppe, fordi afgrænsningen går på, at man skal evaluere den enkelte kommunes forsøg, men det er ikke umuligt.

For det andet ligger det i frikommuneforsøgene, at der igangsættes mange forskellige forsøg i samme organisation samtidigt. For eksempel har kommunerne forslag til en række forsøg, der iværksættes i samme jobcenter samtidigt. Det betyder, at det bliver vanskeligt at vurdere, hvad det er, der virker – og evt. hvad der ikke virker. Det bliver simpelthen vanskeligt at vise isolerede effekter af de forskellige interventioner, der sættes i gang.

Endelig er det et problem, hvis forsøgsdeltagerne ikke er repræsentative. Hvis de ikke er det, vil det være vanskeligt at generalisere fra effekten af en indsats i en enkelt kommune til en vurdering af, om den samme effekt vil gøre sig gældende generelt i landets kommuner. Det er et problem, som vil være vanskeligt at komme udenom, fordi borgerne i forskellige geografiske områder har forskellige karakteristika. For eksempel varierer deres muligheder for at komme i beskæftigelse alt efter, hvor i landet de bor.

Læring og evidens

I de seneste årtier er man i den kommunale verden blevet meget bevidst om at udarbejde politik med afsæt i den bedst mulige viden om, hvilke indsatser der virker – eller ikke virker. Man har således fokus på evidens og målbare effekter af indsatser og interventioner. Evidensbevægelsen udfordrer den hidtidige danske evalueringskultur, hvor der ofte anvendes svage evalueringsdesign, der ikke troværdigt kan sige noget om effekterne. Metaanalyser af indsatser på førskoleområdet viser således, at kun 3 ud af 43 studier beskæftiger sig med spørgsmål om effekter af indsatsen. Og de evalueringsdesign, der bruges, gør det kun sjældent muligt at sige noget om effekten af interventionerne.

Tilsvarende viser en gennemgang af 54 evalueringer af indsatser, der har til formål at bryde den negative, sociale arv blandt børn, at de anvendte design næsten aldrig prøvede at kontrollere for alternative forklaringer og mulige ”fejkilder”, men alligevel konkluderede evalueringerne positivt, at der var sket en forøgelse af viden og metoder (Kongsted & Konnerup 2011:16).

Dårlige evalueringer koster dyrt

Evalueringer, der ikke dokumenterer effekterne, kan være udgiftsdrivende, fordi det anbefales at sætte indsatser i værk til trods for, at man ikke ved, om de virker. Når den danske velfærdsstat på nogle områder – fx folkeskolen – er den dyreste uden at være den bedste, så er den oplagte løsning ikke, at den ene kommune blindt imiterer nabokommunens indsatser. Det kalder derimod på viden om, hvad der virker og ikke virker – og dernæst på spredning af de indsatser, som man reelt ved virker.

Det er selvfølgelig en krævende opgave at opnå denne viden. Effektstudier tager tid og koster penge, men når man indfører nye tiltag, er det væsentligt at vide, om de reelt har en effekt. Aktiveringssamtalerne på beskæftigelsesområdet er et eksempel på et tiltag, der har en dokumenteret effekt.

I frikommuneforsøgene eksperimenterer man med tidsfristerne for samtalerne. Men hvorvidt det vil gøre samtalerne mere eller mindre effektive er faktisk noget, der kalder på et nærmere effektstudie. Hvis man spreder indsatserne uden at vide, om de virker eller ej, risikerer man, at der er færre, der kommer i job, end der ellers ville have været.