Du skal vælge indikatorer til effektmåling med omhu

Men det er i praksis ofte lettere at tale om effektmåling og indikatorer på social progression og udvikling end at finde frem til de få, men gode indikatorer, som kan indgå i en systematisk it-understøttet kvalitetsmodel, hvor de aggregerede data efterfølgende kan trækkes ud til intern læring og ekstern dokumentation af sammenhængen mellem indsats og effekt. 

For hvis et barn står op hver morgen og kommer i skole til tiden, er det så tegn på, at barnet lærer mere i skolen? Og hvis en udviklingshæmmet mand kaster med maden, er det så tegn på, at han er glad eller sur?  

Fra et langvarigt samarbejde med Esbjerg Kommune har vi høstet en del erfaringer med netop udvikling af valide indikatorer, der kan understøtte kommuners arbejde med effektmåling og resultatbaseret styring. I denne artikel vil jeg gerne dele nogle af disse observationer. 

To vigtige learning points 

For det første skal man være sikker på, at de indikatorer, som man vælger, rent faktisk siger noget signifikant om det, som man gerne vil måle på.  

For det andet skal man hele tiden være klar på, at det, som er en god indikator på et botilbud for autister, med stor sandsynlighed slet ikke er relevant for borgere på et dagtilbud for udviklingshæmmede. 

Læs artikel: Vi kan godt måle effekten af den sociale indsats

Den gode indikator 

En god indikator skal selvfølgelig have relevans inden for det område, hvor man ønsker fokus på sin indsats. Den skal kunne knyttes direkte til indsatsen, være konkret og så vidt muligt ikke være en afledt indikator, der skal tolkes på.  

Derfor skal en god indikator på forhånd være gennemdrøftet af de medarbejdere, der skal registrere på den, så man kigger efter det samme og ved registreringen giver indikatoren en værdi, der giver mening for alle. 
 
For det vigtigste er, at en indikator giver mening og værdi for den socialfaglige indsats og for de medarbejdere, der skal måle og registrere, så arbejdet med at identificere og registrere ikke bliver ligegyldigt, rituelt og symbolsk. 

Antallet af indikatorer er vigtigt. For at vurdere effekten af den sociale indsats på tilbud bør man arbejde med så få som muligt. Højst to for hvert delmål. Hvis der er mere end en indikator, må der gerne være direkte sammenhæng mellem dem, så den ene kan forklare store ændringer i den anden og vice versa. 

Læs artikel: Effektmåling skal skabe mening

Det faglige fundament er altafgørende 

Når man skal udvikle gode indikatorer, er det det helt afgørende, at den enkelte medarbejders faglige fundament er up to date. 

Der skal være styr på de menneskelige udviklingsteorier, adfærdsteori, gruppedynamiske teorier, samfundsvidenskab, midler og metoder, kvalitetssikring af mål osv.  

Dernæst kræver udvikling af gode indikatorer kendskab til og erfaring med det specialiserede socialområde, hvori man opererer. Man skal evne at sætte sig ind i, hvor den enkelte borger befinder sig, og kunne se verden, som den ser ud fra borgerens situation.  

Når man udvikler indikatorer, er der også nogle rammebetingelser, der skal være til stede. Der skal for eksempel være sammenhæng og logik mellem borgerens behov og ønsker, myndighedens beslutning, henvisning og bestilling og udførerens muligheder, vilkår og ressourcer. Endelig må man aldrig undervurdere processen. De bedste indikatorer er altid resultatet af en grundig drøftelse mellem de medarbejdere, der skal arbejde med indikatorerne i praksis. 

Modeller som SMART, CREAM og RACER kan i den forbindelse være med til at kvalificere de valgte indikatorer. 

Læs artikel: Man skal turde omtænke dokumentation - med borgeren som hovedaktør

De tre modeller 

De tre værktøjer, som kan være med til at hjælpe med at vurdere kvaliteten af en indikator, er henholdsvis SMART, CREAM og RACER. 

Kilde: Effektmåling i Integrationsministeriets puljestyring 

Læs mere om CREAM-modellen i Kusek, J. Z. & R. C. Rist (2004): Ten Steps to a Results-Based Monitoring and Evaluation System, Washington DC: The World 

Læs mere: Digitalisering på specialområdet med fokus på det nære og det faglige

Læs mere: Styrk socialfaglig indsats på specialområdet med EG Sensum