Hvordan måler vi kvalitet og effekt i barnevernet?
Kan vi si noe objektivt om kvaliteten på tjenestene vi leverer? Er de til nytte for mottakeren, leverer vi effekt og verdi til samfunnet - og i så fall på hvilke måter?
Dette er spørsmål vi alle stiller oss selv fra tid til annen. De som jobber ute i avdelingene, har mulighet til å iaktta en tjenestemottakers utvikling og har dermed en god forståelse av hvordan tjenestene våre virker. Men hvordan går det med beboeren som har flyttet ut? Hvordan leverer vi i andre deler av organisasjonen, og hvordan ser dette ut sammenlignet med offentlige statistikker og tilgjengelig forskning?
Kvalitet i barneverninstitusjoner
Hvordan en beboer opplever effekten av oppholdet i en av våre barnevernsinstitusjoner, er selvsagt viktig. Når vi ser dette sammen med mer objektive målinger, får vi et godt bilde av beboerens utvikling under oppholdet hos oss. Vi har gjennomgått forskning og artikler og kommet fram til noen variabler vi mener gir et godt bilde av kvaliteten på tjenestene vi leverer innenfor barnevernsinstitusjoner:
- Medvirkning
- Skoledeltagelse
- Gode relasjoner til ansatte
- Plasseringsstabilitet
- Psykisk helse
- Brudd behandling
- Skoleprestasjoner
- Selvrapportert livskvalitet
- At behandlingen oppleves som trygg
Positiv eller negativ effekt?
La oss starte på et generelt, overordnet nivå og gi et bilde av hvilken effekt plasseringene i våre institusjoner har hatt de siste årene.
Ungdommene flytter inn i institusjon, og de trenger tett oppfølging på mange livsområder, slik som vist i eksemplene over. I 2023 og 2024 registrerte vi hvor beboerne flyttet etter å ha bodd hos oss. Dersom de flyttet til et lavere omsorgsnivå, hadde oppholdet hatt positiv effekt fordi utfordringene ikke er like store, og de trenger mindre hjelp enn da de flyttet inn.
Forklaring til grafikken: Positiv: Beboeren flytter til et lavere omsorgsnivå etter oppholdet hos oss. Nøytral: Beboeren har samme omsorgsbehov etter oppholdet hos oss. Negativ: Beboeren har større omsorgsbehov etter oppholdet hos oss.
Det er viktig å poengtere at disse tallene aldri vil være 100% korrekte eller valide på grunn av kompleksiteten i plasseringene. Men vi mener at de, på et generelt nivå, gir et godt bilde av hvilken effekt institusjonsoppholdet har hatt.
Etter planen?
Om oppholdet går etter planen er også med på å fortelle oss om vi leverer effekt. Fullfører beboeren oppholdet slik oppdragsgiver har beskrevet vedtaket, eller må hen flytte ut før tiden fordi hjelpen ikke fungerer? Det siste beskrives som en “brudd”, og ungdommen flytter ut fordi vi ikke ser en positiv utvikling eller ikke oppnår å gi beboeren relevant hjelp. Andre ganger må ungdommen flytte ut før tiden av ulike årsaker som ikke omhandler effekten av behandlingen. Det er her kalt “For tidlig”. Slik er våre tall for 2023 og 2024:
Forklaring til grafikken: Fullført: Oppholdet er fullført slik det er beskrevet i planen. Brudd: Avdelingen har ikke klart å gi beboeren riktig hjelp, og oppholdet er avsluttet tidligere enn planlagt. Tidlig: Beboeren har flyttet ut tidligere enn planlagt og etter avtale med foresatte eller barnevernstjeneste.
I 2023 fullførte 74 % oppholdet i våre institusjoner slik det var planlagt, mens dette tallet sank til 63 % for 2024. Tallet har altså sunket, men om det er bra eller dårlige resultater sier ikke tallene alene noe om. Men de gir oss noen viktige holdepunkter:
- Ved å sammenligne tall og trender i vår egen organisasjon kan vi utrede årsaker til at tallene avviker og lettere identifisere hva som bidrar til effekt
- Målingene gir et godt utgangspunkt for å etablere standarder som oppdragsgiver kan bruke til å styre forventningene til leveransen og legge som premiss i anbudsinvitasjonene
- Når bransjen som helhet må levere på disse forventningene, hever vi kvaliteten på hele tjenesteområdet og bedrer effekten av tjenestene vi alle tilbyr
Sammenligne tilbydere
Får vi bedre resultater hvis vi måler effekten av velferdstjenestene som tilbys? Flere land i Europa styrer nå etter faktiske effektmål, og i Storbritannia har offentlige og private tjenesteytere gått sammen om kontrakter der effekten av behandlingen har avgjørende verdi.
I Norge ligger vi langt bak andre land i å måle og belønne positive effekter av velferdstjenestene. Effektmålinger kan gi det offentlige verdifull innsikt å støtte seg på når de kjøper velferdstjenester. Da er det en forutsetning at de kan sammenligne aktørene på kvalitetsmessige indikatorer.