Effektmåling kræver metode, mål og værktøjer

Med lidt flid og held er det muligt at måle næsten alt. Men giver det mening? Og hvorfor egentlig spilde tid og kræfter på at måle? Når man nu ved, at der altid vil være umålelige faktorer, der har afgørende betydning for det endelige resultat, der i øvrigt altid være en tilnærmelse til virkeligheden.

Effektmåling - mål og metoder

Fælles indikatorkataloger gør det muligt for alle relevante medarbejdere at arbejde ud fra den samme struktur og forståelse af indsatsens betydning for borgeren, når man vil måle effekten af det socaile indsats. Foto: Colourbox

Effektmåling: Hvis man vil måle Danmarks kystlinje, kan man benytte sig af satellitfotos og nå frem til, at kysten er 7.314 km. Men hvis man selv går på stranden, hvor er kysten så egentlig? Vandet trækker sig jo hele tiden frem og tilbage i takt med bølgernes skvulpen.

På samme måde har mange medarbejdere i den socialpædagogiske verden en dybtfølt skepsis over for at måle på effekten af den socialpædagogiske indsats. For hvad skal man bruge et tal på 2 til, når drengen er dybt ulykkelig? Har han det så virkelig bedre, bare fordi han var en 3´er i sidste uge? Og skyldes barnets tilstand pædagogens indsats, fodboldlandsholdets ringe præstationer eller drilleri fra klassekammerater? Giver det virkelig altid mening at måle? Svaret er både ja og nej.

Evidens for effekt
For at sikre den bedst mulige indsats og den bedste anvendelse af de sparsomme resurser på det sociale område er vi nødt til at arbejde evidensbaseret. Vi er nødt til at gøre os klart og definere, hvad det er, vi gør, og hvad der sker, når vi leverer den socialpædagogiske indsats. Det betyder, at vi er nødt til at sætte os mål med vores indsats og måle på, om vi når det ønskede resultat. Men det er ikke alt, som det giver mening at måle på.

Isolation eller fællesskab
Hvis målet er, at Peter skal være mere social, så starter opgaven med, at vi bliver enige om, hvad er det for en adfærd, som vi betragter som social. Er det fx socialt, hvis Peter sidder alene på sit værelse og spiller computer i flere timer hver dag? Er det mere socialt, hvis Peter sidder alene på sit værelse i flere timer om dagen og spiller World of Warcraft online sammen med en gruppe andre unge i andre lande, mens de chatter sammen på engelsk og lægger fælles strategier?

Hvis målet derimod reelt er, at få Peter ud af værelset og meldt ind i en sportsklub, så er det helt andre ting, vi skal arbejde med i forhold til Peter, og dermed også helt andre succeskriterier, som vi skal arbejde med. I stedet for at fokusere på, hvor lang tid Peter tilbringer på sit værelse, så handler det måske i stedet om at registrere, om Peter kommer til træning i klubben, om han deltager i ture og etablerer nye relationer.

Alle borgere er unikke
Dermed også sagt, at der sjældent findes en standardløsning, der under alle omstændigheder kan anvendes, når man skal måle effekten af sociale indsatser. Selv om det er muligt at udarbejde indikator-kataloger med en række indikatorer, som giver god mening, når man skal vurdere et tilbud eller en konkret indsats i forhold til en bestemt borgertype, så er kunsten altid at tage udgangspunkt i den enkelte borger med blik for, hvad der giver mening netop for denne borger. Hvad er det for en forandring, man gerne vil skabe i borgerens liv sammen med borgeren? Hvordan kan vi med udgangspunkt i den konkrete borger - og sammen med den enkelte borger - opsætte indikatorer, som betyder noget, som reelt giver et fingerpeg om, hvorvidt udviklingen går i den ønskede retning.

Det er vigtige spørgsmål, som det er værd at overveje, hvis man i sit arbejde med effektmåling vil sikre sig, at man ikke blot måler på noget, der er let at måle på, men måler på noget, der rent faktisk giver ny viden om effekten af indsatsen, som kan bruges til at fastholde, forstærke eller justere indsatsen til gavn for borgeren. Vi har brug for viden for at kunne skabe positive forandringer.

Sociale indsatser uden mål og effektmåling er som at cykle beruset og med solbriller på i mørke. Man ved ikke, hvor man kører på vejen, men det betyder ikke så meget, for man ved jo alligevel hverken, hvor man skal hen, og hvornår man når dertil.

Fælles indikatorkataloger
Når man skal i gang med at effektmåle, er det helt afgørende at få udviklet et fælles indikatorkatalog, så både myndighed og udfører er enige om, hvad der måles på og hvordan.

De fælles kataloger gør det muligt for alle relevante medarbejdere at arbejde ud fra den samme struktur og forståelse af indsatsens betydning for borgeren.

I Esbjerg Kommune bygger Indikatorkatalogerne i Social & Tilbud fx på Voksenudredningsmetodens struktur, der er integreret i kommunens myndighedssystem.

Den fælles struktur i udredningen af en borger, som fx de nationale udredningsmetoder, Voksenudredningsmetoden, VUM eller Integrated Childrens System, ICS, på børn- og ungeområdet tilbyder, er afgørende for, at man kan generere de objektive data, der i sidste ende dokumenterer, hvilke indsatser der virker - og omkostningerne til disse.

Læs mere om Esbjerg Kommunes tilgang til fælles indikatorkataloger og effektmåling i Serviceniveaubeskrivelse for voksenstøtte og botilbud i Social & Tilbud.

Begrebsafklaring
Her er to cases, der viser, hvordan et fælles indikatorkatalog kan danne rammen om indsatsen.

Case: Voksen/handicap
En voksen udviklingshæmmet borger giver udtryk for, at han er ensom og gerne vil have nogle faste venner.

Med udgangspunkt i et VUM-baseret Indikatorkatalog indkredses indsatsen til følgende:
SOCIALT LIV - Samspil og kontakt - Interaktion - Evnen til at indgå, udvikle og fastholde sociale relationer, fællesskaber og netværk.

Borgeren og medarbejderne aftaler en række aktiviteter, der skal hjælpe og støtte borgeren i at indgå og fastholde venskaber. En af dem kunne være:

Indikator

Værdisæt

Indikatorvariabel

Indgå venskaber i Fælleshuset

Kontakter selv andre i fælleshuset

Besvarer kontakt fra andre hensigtsmæssigt

Besvarer kontakt fra andre uhensigtsmæssigt

Afviser kontakt fra andre

Bliver ikke kontaktet eller Undgår kontakt

I hvor høj grad er det lykkes at skabe kontakt til andre i Fælleshuset?

Case: Børn og Unge
En ung borger ønsker at flytte fra ungdomspension til egen bolig inde i byen. Sagsbehandleren bestiller en indsats der sikre at den unge borger har de nødvendige kompetencer til at flytte i egen bolig.

Med udgangspunkt i et ICS-baseret Indikatorkatalog indkredses indsatsen til følgende:

UDVIKLINGSMÆSSIGE BEHOV - Udvikling og adfærd - Selvstændighed - Selvstændighed i hverdagen

Den unge og medarbejderne på pensionen opstiller sammen en række aktiviteter der skal vise hvornår den unge er klar til at flytte i egen bolig. En af dem kunne være:

Indikator

Værdisæt

Indikatorvariable

Står selv op om morgenen

Stod op uden hjælp

Bad selv om at blive vækket

Stod selv op for sent (30 min)

Stod op for sent (30 min)– måtte vækkes

Stod op for sent (+1 time)

I hvor høj grad er den unge i stand til på egen vis at stå op om morgenen?

Case: Askekrattet
På døgntilbuddet Askekrattet i Esbjerg Kommune har medarbejderne arbejdet med at måle på effekten af deres indsats.  Askekrattet er en behandlingsinstitution med 10 pladser, beregnet til ophold af længerevarende karakter for 12 - 18 årige.

Medarbejderne har blandt andet arbejdet med effektmåling i forbindelse med arbejdet med en 16-årig pige, der har et begrænset netværk. Hun har ikke været i skole i de sidste to år og udviser udadreagerende adfærd. Pigen har tvangstanker og en ustabil døgnrytme. Hun kan ikke selv transportere sig rundt og er samtidig kræsen med en dertil hørende usund livstil.
For at kunne arbejde pædagogisk og følge op på effekten af indsatsen har medarbejderne målt på en række indikatorer.

Eksempler på indikatorer

Kontakt til familien

Skole

 

Adfærd

Kost

Hvor tit har den unge kontakt til familien?

Har den unge været i skole?

Har den unge været udadreagerende?

Har den unge deltaget ved måltiderne?

Hvem tog initiativ til kontakten?

Kom den unge af sted til tiden eller for sent?

Har den unge været i en kravsituation?

Har den unge spist ved måltidet?

Hvordan har kontakten været (positiv, negativ)?

 

Har den unge lavet lektier (behovet for støtte)?

Hvordan håndterede den unge kravsituationen?

Har den unge indtaget usunde fødevarer?

Hvad er behovet for støtte til kontakten til familien?

Har der været konflikter i skolen?

Er der blevet sat grænser for den unge og hvordan er de blevet håndteret?

Har den unge udfordret sin kræsenhed?

En god indikator skal have relevans inden for det område, hvor man ønsker fokus på sin indsats. Den skal kunne knyttes direkte til indsatsen, være konkret og så vidt mulig ikke være en afledt indikator, der skal tolkes på. Derfor skal en god indikator på forhånd være gennemdrøftet af de medarbejdere, der skal registrere på den, så man kigger efter det samme og giver indikatoren en værdi ved registreringen, der giver mening for alle.

For det vigtigste er, at en indikator giver mening og værdi for den socialfaglige indsats og for de medarbejdere, der skal måle og registrere, så arbejdet med at identificere og registrere ikke bliver ligegyldig, rituel og symbolsk.

Hvad skal man bruge som effektmålingsværktøj?
Når man skal i gang med at effektmåle, er det ikke kun et spørgsmål om at finde de rette indikatorer frem. Det er også et spørgsmål om hardware og software. Selvudviklet system eller in-a-box-system? Den ene eller anden leverandør? Kinabog og håndskrift? Regneark og PC? Online webbaseret platformuafhængigt effektmålingsværktøj?

Her er et overblik over mulighederne – og umulighederne:

Værktøj

Sikkerhed

Skalerbarhed

Videndeling

Statistik

Papirlog

Kun en kopi

Skal låses inde for at overholde Datatilsynets krav

Kan bortkomme eller ødelægges.

Kan kun anvendes lokalt

Kun én bruger ad gangen

Svært at finde oplysninger i papirdokumentation og svært at videndele mellem geografiske spredte lokationer

Ikke muligt

Tekstbehandling

Kan let slettes ved menneskelige fejl eller nedbrud på PC.

Personhenførbare data må ikke opbevares på medarbejderens egen computer.

Kan skaleres, hvis der anvendes fælles skabeloner

Typisk individuel løsning,

Adgang til dokumenter kan deles via fx fælles drev eller e-mail

Begrænset mulighed

Stort manuelt arbejde

Regneark

Kan let slettes ved menneskelige fejl eller nedbrud på PC.

Sårbare over for ændringer i tabeller og netværk ved sammenkædning.

Data opbevares på brugerens egen PC.

Personhenførbare data må ikke opbevares på medarbejderens egen computer.

Typisk centraliseret løsning med en eller få ansvarlige, der opsamler data fra andre

Adgang til regneark kan deles via fx fælles drev eller e-mail

Gode muligheder

Stort manuelt arbejde, der kræver erfaring med regneark

Clientside

 

Sårbare over for nedbrud af PC.

Data opbevares på brugerens egen PC.

Personhenførbare data må ikke opbevares på medarbejderens egen computer.

Typisk licensbaseret med mulighed for mange brugere af samme system

Mulighed for udtræk, der kan deles

Gode statistikmuligheder på egne data

Serverside

Data hostes på godkendte servere med krypterede

Forbindelser

Kun adgang til dat for bruger med autoriseret adgang

Typisk licensbaseret med mulighed for mange brugere af samme system

Alle data kan deles mellem relevante brugere

Fuld statistik på tværs af brugere