Variable resultater av helseprogram i India
Siden 2006 har Norge inngått en rekke bilaterale samarbeid for å forbedre mødre- og barnehelse. Det norsk-indiske partnerskapsinitiativet – NIPI – har gått i flere faser siden oppstarten.
Evalueringen har sett på effekten av tiltak i regi av NIPI fase II for bedre mor-barn-helse i India siden 2013
Bedre helsetjenester
- Evalueringen gir godt skussmål til flere av NIPIs tiltak. Ifølge evalueringsteamet har tiltakene rettet mot styrking av helsesystemer og - klinikker hatt positiv effekt, sier evalueringsdirektør Per Øyvind Bastøe.
Blant annet har partnerskapet bidratt til bedre utdanning av sykepleiere og jordmødre, og bedre kvalitet på sentre for nyfødtmedisin. Samtidig fant evalueringsteamet at det er behov for å forbedre utstyr og infrastruktur på skolene og klinikkene hvis tilbudet skal ytterligere bedres.
Et eksempel på dette er arbeidet med familieplanlegging. Et av tiltakene som gir oppløftende resultater, er innsetting av spiral hos kvinner som nylig har født. Men på mange av klinikkene mangler mye av utstyret som trengs for å utføre inngrepet på en forsvarlig og trygg måte.
Liten effekt av hjemmebesøk
Et av tiltakene som ble evaluert, er hjemmebesøk når barna var mellom 3-12 måneder gamle. Til sammen skulle hver familie få fire besøk.
Ifølge evalueringsteamet ser hjemmebesøkene ut til å ha liten effekt på amming, ernæring og interaksjon mellom mor og barn.
Hensikten med besøkene er å gi alderstilpasset informasjon om stell av barn under ett år. Besøkene ble gjennomført av – det som i India kalles – helseaktivister. Aktivistene får kurs av myndighetene, men er ikke utdannet helsepersonell.
- Årsaken til manglende effekter kan være at bare 40 prosent av familiene i målgruppen fikk alle hjemmebesøkene som programmet skulle tilby, men det kan også skyldes innholdet i programmet.
- Vi skulle ønske at evalueringsteamet kunne gått lengre i å bruke kvalitative data til å forklare dette. Det er en svakhet ved evalueringen, avslutter Bastøe.
Om evalueringen
Evalueringen er utført av Oxford Policy Management Ltd og deres India-kontor, i samarbeid med Sambodhi Research.
Evalueringen gjør ikke en vurdering av programmet som helhet.
Formålet med evalueringen er å gi informasjon til NIPIs partnere, inkludert norske og indiske myndigheter, om hva som virker og ikke virker i samarbeidet.
I tillegg ønsker evalueringsavdelingen i Norad å sette søkelyset på ulike metoder som kan benyttes for å vurdere effekten av bistandstiltak.
Evalueringen fokuserer på fem tiltak (intervensjoner) som støttes i NIPI fase II. To av tiltakene fokuserer på oppfølging av barn etter nyfødtperioden gjennom hjemmebesøk, ett på familieplanlegging og to tiltak søker å bidra til å styrke helsesystemene.
Evalueringsteamet har benyttet både kvantitative og kvalitative data for å si noe om effekt. De har blant annet gjennomført en stor husholdsundersøkelse før og etter tiltakene i både NIPI og kontrolldistrikter. I tillegg har de gjort, dybdeintervjuer, fokusgruppeintervjuer, direkte observasjon av helsepersonale og lignende.
Kostnadseffektivitetsanalysen, som var en del av det opprinnelige evalueringsmandatet, ble ikke gjennomført. Dette skyldtes at kostnadsinformasjonen som ble gjort tilgjengelig for evalueringsteamet, ikke kunne bli brutt ned på tiltaksnivå.
Dette er en effektevaluering
En effektevaluering (impact evaluation) er en evaluering hvor man bruker statistikk for å beregne hvor store effekter et tiltak gir for mottakerne, for eksempel effekt på fattigdom, læringsutbytte og dødelighet.
Spesielt ønsker man å fastslå om det er noen kausalsammenheng mellom tiltak og endringer hos målgruppen. Statistisk gjøres dette ved å beregne hva som ville ha skjedd uten tiltaket ved hjelp av kontroll eller sammenligningsgrupper.
Metodene kalles også ofte eksperimentelle eller kvasi-eksperimentelle.
De siste årene har det kommet en rekke kvalitative metoder som også søker å si noe om effekter, men som for eksempel ser på bidrag til effekt, eller om effekten kan spores, framfor en kausalsammenheng.
Anbefalinger
Evalueringsavdelingen har oversendt følgende anbefalinger til Utenriksdepartementet:
- Man bør vurdere hvorvidt det bør gjøres justeringer i NIPIs fase III på grunnlag av funn og konklusjoner fra evalueringen.
Vi vil spesielt peke på nødvendigheten av at det legges til rette for å skaffe mer kunnskap om effekten av noen av tiltakene. - Ved finansiering av piloter, bør man i planleggingen av programmet inkludere et monitorerings- og evalueringssystem. Det gjør det mulig å måle effekten av piloten - før det bestemmes om piloten eventuelt skal oppskaleres.
Ansvarlige for planleggingen av programmet/tilskuddsforvaltningen bør sikres tilgang på rådgivning om hvordan et slikt system skal settes opp og hvilke metoder som kan/bør benyttes for å vurdere effekten av programmet.