Du skal vælge indikatorer til effektmåling med omhu
- ellers måler du uden at skabe mening
- 03. januar 2020
- Borgerinvolverende digitalisering
Michael Henriksen
Om Michael Henriksen
Michael er uddannet socialpædagog med en master i Public Management.
Inden han kom til EG har han været leder på forskellige niveauer inden for det specialiserede social voksenområde på amtsligt, regionalt og kommunalt niveau. Siden 2012 har han arbejdet som socialfaglig projektleder og konsulent i EG Team Online A/S.
Hans fokusområde ligger på medarbejdernes socialfaglige kompetencer og udvikling af disse og på digitalisering og optimering af dokumentation og effektmåling af specialiserede indsatser inde for hele det sociale område.
Som projektleder i EGTO har han i et pilotprojekt med Esbjerg Kommune videreudviklet Eg Sensums dokumentations- og effektmålingsmodul, så funktionaliteten nu dækker og skaber sammenhæng fra myndighedsbestillingen til udføres indsatser.
Især sammenhængen i de specialiserede indsatser har i dag min store interesse og i sit arbejde har han til stadighed fokus på at optimere og synliggøre positive effekter og processerne - til alles bedste.
Kontakt og følg Michael Henriksen
- Email: mihen@eg.dk
Udvalgte artikler
Indikatorer til digital effektmåling af sociale indsatser skal give mening
Af: Michael Henriksen
Alle taler om effektmåling og opstilling af indikatorer, der skal give et fingerpeg om resultatet af den socialpædagogiske indsats.
Ønsket er naturligvis entydigt at kunne besvare spørgsmålet, hvad kommer der ud af de milliarder kroner, vi bruger på det sociale område?
Men det er i praksis ofte lettere at tale om effektmåling og indikatorer på social progression og udvikling end at finde frem til de få, men gode indikatorer, som kan indgå i en systematisk it-understøttet kvalitetsmodel, hvor de aggregerede data efterfølgende kan trækkes ud til intern læring og ekstern dokumentation af sammenhængen mellem indsats og effekt.
For hvis et barn står op hver morgen og kommer i skole til tiden, er det så tegn på, at barnet lærer mere i skolen? Og hvis en udviklingshæmmet mand kaster med maden, er det så tegn på, at han er glad eller sur?
Fra et langvarigt samarbejde med Esbjerg Kommune har vi høstet en del erfaringer med netop udvikling af valide indikatorer, der kan understøtte kommuners arbejde med effektmåling og resultatbaseret styring. I denne artikel vil jeg gerne dele nogle af disse observationer.
To vigtige learning points
For det første skal man være sikker på, at de indikatorer, som man vælger, rent faktisk siger noget signifikant om det, som man gerne vil måle på.
For det andet skal man hele tiden være klar på, at det, som er en god indikator på et botilbud for autister, med stor sandsynlighed slet ikke er relevant for borgere på et dagtilbud for udviklingshæmmede.
Læs artikel: Vi kan godt måle effekten af den sociale indsats
Den gode indikator
En god indikator skal selvfølgelig have relevans inden for det område, hvor man ønsker fokus på sin indsats. Den skal kunne knyttes direkte til indsatsen, være konkret og så vidt muligt ikke være en afledt indikator, der skal tolkes på.
Derfor skal en god indikator på forhånd være gennemdrøftet af de medarbejdere, der skal registrere på den, så man kigger efter det samme og ved registreringen giver indikatoren en værdi, der giver mening for alle.
For det vigtigste er, at en indikator giver mening og værdi for den socialfaglige indsats og for de medarbejdere, der skal måle og registrere, så arbejdet med at identificere og registrere ikke bliver ligegyldigt, rituelt og symbolsk.
Antallet af indikatorer er vigtigt. For at vurdere effekten af den sociale indsats på tilbud bør man arbejde med så få som muligt. Højst to for hvert delmål. Hvis der er mere end en indikator, må der gerne være direkte sammenhæng mellem dem, så den ene kan forklare store ændringer i den anden og vice versa.
Læs artikel: Effektmåling skal skabe mening
Det faglige fundament er altafgørende
Når man skal udvikle gode indikatorer, er det det helt afgørende, at den enkelte medarbejders faglige fundament er up to date.
Der skal være styr på de menneskelige udviklingsteorier, adfærdsteori, gruppedynamiske teorier, samfundsvidenskab, midler og metoder, kvalitetssikring af mål osv.
Dernæst kræver udvikling af gode indikatorer kendskab til og erfaring med det specialiserede socialområde, hvori man opererer. Man skal evne at sætte sig ind i, hvor den enkelte borger befinder sig, og kunne se verden, som den ser ud fra borgerens situation.
Når man udvikler indikatorer, er der også nogle rammebetingelser, der skal være til stede. Der skal for eksempel være sammenhæng og logik mellem borgerens behov og ønsker, myndighedens beslutning, henvisning og bestilling og udførerens muligheder, vilkår og ressourcer. Endelig må man aldrig undervurdere processen. De bedste indikatorer er altid resultatet af en grundig drøftelse mellem de medarbejdere, der skal arbejde med indikatorerne i praksis.
Modeller som SMART, CREAM og RACER kan i den forbindelse være med til at kvalificere de valgte indikatorer.
Læs artikel: Man skal turde omtænke dokumentation - med borgeren som hovedaktør
De tre modeller
De tre værktøjer, som kan være med til at hjælpe med at vurdere kvaliteten af en indikator, er henholdsvis SMART, CREAM og RACER.
SMART-modellen:
- Specifik: Indikatoren skal være konkret, velbeskrevet og klar.
- Målbar: Mål skal være målbare, og det skal være muligt at afgøre, hvornår et mål er nået.
- Accepteret: Alle involverede skal være enige om, at indikatoren er relevant.
- Realistisk: Det skal være realistisk at arbejde med indikatoren i forhold til fx ressourcer, viden og tid.
- Tidsafgrænset: Det skal være klart, hvornår, hvor ofte og hvor længe der måles på indikatoren.
CREAM-modellen:
- Clear - entydig: Indikatoren skal være kendetegnet ved en entydig sammenhæng med den effekt, der måles. Indsatsens påvirkning af indikatoren skal være entydig.
- Relevant – relevant: Indikatoren skal være et centralt element i forhold til den effekt, der måles. Indikatoren må ikke måle på et perifert område af indsatsen.
- Economic – styringsmæssigt rentabelt: Styringsgevinsterne skal stå mål med styringsomkostningerne, der fx knytter sig til at indsamle data.
- Adequate – tilstrækkelig: Indikatoren skal give et tilstrækkeligt grundlag at styre ud fra, det vil fx sige, at det er muligt at:
-
Vurdere effekten af indsatsen
-
Tilpasse indsatsen ud fra målingsresultatet
-
Prioritere mellem forskellige indsatser/indsatstyper på området.
-
- Monitorable – målbar: Indikatoren skal kunne måles med objektive metoder.
RACER-modellen:
- Relevans – relevans: Er indikatoren relevant i forhold til projektets mål? Er der overensstemmelse mellem indikatoren og projektets mål?
- Accepted – accepteret: Er indikatoren almindeligt accepteret af medarbejdere og andre, der skal arbejde med den?
- Credible – troværdig: Hvor troværdig er indikatoren for ikke-eksperter? Er den entydig og let at fortolke?
- Easy – let: Er indikatoren let at indsamle data på, står omkostningerne ved dataindsamling mål med værdien af data?
- Robust: Kan indikatoren blive manipuleret med, misbrugt?
Hvad kendetegner en god indikator?
Husk, når du skal opstille indikatorer:
-
Indikatorer vil uanset de bedste intentioner ofte være påvirket af subjektive holdninger.
-
Det vil sjældent være muligt at nøjes med én indikator til at måle effekten af en given indsats.
-
Et målingsresultat kan aldrig stå alene, men skal altid vurderes i forhold til fx indsatsens karakter og eksterne faktorer.
Kilde: Effektmåling i Integrationsministeriets puljestyring
Læs mere om CREAM-modellen i Kusek, J. Z. & R. C. Rist (2004): Ten Steps to a Results-Based Monitoring and Evaluation System, Washington DC: The World
Læs mere: Digitalisering på specialområdet med fokus på det nære og det faglige
Læs mere: Styrk socialfaglig indsats på specialområdet med EG Sensum
