Innledning ved evalueringsavdelingens årsrapport 2011
Av avdelingsdirektør Marie Gaarder
Det er en glede på vegne av Evalueringsavdelingen i Norad å ønske velkommen til lanseringen av vår årsrapport om evalueringsvirksomheten i 2011.
Formålet med evaluering er først og fremst å lære hvordan bistandsmidler mest effektivt kan bidra til bedre levekår i våre samarbeidsland. Evalueringene utført på oppdrag fra Evalueringsavdelingen blir diskutert etter hvert som de blir ferdigstilt i løpet av året. Årsrapporten sammenstiller de viktigste funnene og forsøker å trekke lærdommer på tvers av de enkelte evalueringene. Etter vår mening gir evalueringene – og årsrapporten - i god tradisjon, stadig ny kunnskap om norsk bistands- og utviklingsarbeid.
To ord om Evalueringsavdelingens funksjon først.
Vi hører av og til spørsmålet: Hvor uavhengig er egentlig Evalueringsavdelingen i Norad i sine vurderinger? Administrativt er avdelingen underlagt Norads direktør, mens faglig rapportering – om evalueringene – skjer til departementet. Avdelingen er altså ikke uavhengig av bistandsforvaltningen. Evalueringsinstruksen har imidlertid bestemmelser for at selve evalueringene skal være uavhengige. De skal gjennomføres av forskere eller konsulenter som ikke har vært involvert i planlegging eller gjennomføring av det som skal evalueres. Det bidrar også til uavhengighet at det er evalueringsdirektøren som bestemmer evalueringsprogrammet, oppdragsbeskrivelsene for de enkelte evalueringene, samt innholdet i årsrapporten.
Noen ganger er evalueringene ubehagelige for de som har ansvar for det aktuelle bistandsområdet. Slik må det være!
Andre enn oss er ansvarlige for å bestemme hvor evalueringsfunksjonen skal ligge og eventuelle endringer i den. Men selv tror jeg at den gir en god balanse mellom to sentrale hensyn: På den ene siden nærhet til evalueringsobjektet (bistandssystemet) som er viktig for å sikre relevans og bruk. På den annen side en avstand fra den løpende virksomheten som sikrer objektivitet. (Bistandsevaluering i andre land er også opptatt av denne balansen. Noen har større skille mellom gjennomføring og evaluering enn det vi har, mens andre har mindre).
Hva er evaluering? Evaluering er en systematisk innsamling og vurdering av informasjon for å kunne si noe om hva en innsats – for eksempel støtte til et prosjekt eller en organisasjon – har ført til. Som regel går evaluering ut på å sammenligne en prosess eller oppnådde resultater med de målene man hadde.
Hvorfor er det så viktig å se på resultater i norsk bistand? Målet med norsk bistand er bedre levekår for befolkningen i utviklingslandene. Det gir seg selv at det er viktig å finne ut om vi bidrar til dette. Dersom vi ikke følger med, kan det tenkes at vi kaster bort penger på virkningsløse tiltak, eller at vi ikke får den informasjonen vi trenger for å gjøre bistanden bedre. Vi må være særlig oppmerksom på utilsiktede negative virkninger. Dårlig bistand kan skade de menneskene vi ønsker å hjelpe. En brønn eller en bro som bygges uten å ta i betraktning lokale konflikter og interesser, kan bidra til økt konflikt. Kontantstøtte etter antall barn kan føre til høyere fødselsrater (Honduras-funnet).
Årets rapport belyser fem viktige lærdommer innen aktuelle områder som korrupsjonsbekjempelse, arbeid med menneskerettigheter, øremerking av midler gjennom multilaterale organisasjoner, og den vanskelige støtten til sårbare stater. Rapporten belyser også utfordringene bistandssystemet står overfor når det gjelder å si noe om hvorvidt bistandsmidlene faktisk fører til bedre levekår i våre samarbeidsland.
1) Ingen snarveier til bedre korrupsjonsbekjempelse i våre samarbeidsland:
Arbeid mot korrupsjon har ofte vært mislykket fordi giverne har sett bort fra at normer om nøytralitet og likebehandling - som vi regner som universelle - ikke gjelder overalt. Dette hevder forskerne bak en studie om utvikling, makt og korrupsjon utført av Hertie School of Governance som Evalueringsavdelingen bestilte. Normen i fattige land er snarere å hjelpe sine nærmeste. Oppskrifter som ikke tar hensyn til lokale maktforhold og tradisjoner vil feile. Bistandsgivere har for eksempel lagt for stor vekt på lover og regler mot korrupsjon, i land som man¬gler lov og orden og et fungerende rettsvesen. Studien finner ingen positiv sammenheng mellom inn¬føring av antikorrupsjonskommisjoner og lignende institusjoner og nedgang i korrupsjon, og de forklarer det med at eliten lett gjør disse institusjonene tannløse. Derimot finner de at bedre informasjon virker, for eksempel internett og lover om åpenhet og ytringsfrihet. Forskerne tar til orde for tiltak som landets maktelite går med på, men som den samme eliten ikke uten videre kan nøytralisere etterpå.
En nylig gjennomført fellesevaluering fant imidlertid at giverne forutsetter at myndighetene er alliansepartnere i arbeidet mot korrupsjon, med økt bruk av landenes egen finansforvaltning som en naturlig følge. Evalueringen konkluderer med at dette kan ha bidratt til at tallet og omfanget på korrupsjonssaker i offentlig sektor har økt. Evalueringen fant videre at giverne vanligvis reagerer ved mistanke om korrupsjon, men at de har lite oversikt over omfanget og om misbrukte midler betales tilbake.
På bakgrunn av dette melder spørsmålet seg: Går en for fort frem med å gi ansvaret for bistandsmidler til statsforvaltninger der korrupsjon kan bli styrt fra toppen? Fellesevalueringen minner dessuten giverne på at dårlig bistand kan lede til kor¬rupsjon.
2) Bistanden må innarbeide hensyn til menneskerettigheter bedre:
Støtte til menneskerettigheter er viktig i norsk utviklingssamarbeid. I perioden 2000-2009 gikk ti milliarder kroner, fem prosent av norsk bistand, til dette området. I overkant av 1,4 milli¬arder kroner ble brukt til å fremme funksjonshem¬medes rettigheter.
Tre evalueringer er nylig gjennomført: Om barns rettigheter, om funksjonshemmedes rettigheter, og om menneskerettigheter generelt.
Spørsmålet om innarbeiding av rettighetshensyn i generelle bistandstiltak blir særlig vurdert i de to temarettede evalueringene. Evalueringen av barns rettigheter anbefaler mer vekt på integrering, og påpeker at FNs barnekonvensjon forplikter Norge til dette. De norske retningslinjene for funksjonshemmedes rettigheter fra 2002 legger også stor vekt på integrering, men også her konkluderer evalueringen med at dette i liten grad har blitt fulgt opp.
Evalueringene retter søkelyset mot noen generelle uklarheter ved bistandsforvaltningens arbeid med rettigheter. For det første er det ikke klart hvor ansvaret for dette tverrgående temaet ligger. Dette hemmer forvaltningens arbeid med å lære av ny kunnskap og anbefalinger på feltet. For det andre synes det å være uklart hvilke retningslinjer som gjelder for de ulike menneskerettighetsfeltene, noe som gjør det vanskeligere å innarbeide rettighetshensyn. Kort sagt: Forvaltningen bør finne ut hva en rettighetsbasert tilnærming skal innebære i praksis.
3) Øremerking av midler til multilaterale samarbeidspartnere må følges opp:
Mange norske mål skal nås gjennom multilateralt samarbeid. Andelen øremerkede midler – det være seg til miljø, helse, kvinner og likestilling eller fredsarbeid – har økt.
Evalueringsavdelingen har nettopp fått gjennomført en studie som så på pengestrømmer i fem sentrale FN-organisasjoner . Studien viser at i perioden 2001–2009 var inntektene større enn utgiftene for de fleste av organisasjonene. Omfanget av ubrukte midler – fra Norge og andre bidragsytere - bygget seg følgelig opp og var om lag 12 milliarder dollar ved utgangen av 2009. Det tilsvarer 2 ½ norsk årsbudsjett til bistand. Store deler av de ubrukte midlene skriver seg fra øremerkede bidrag. En årsak er at midlene utbetales på forskudd, for flere år om gangen. Det ser dessuten ut til at det ofte går lang tid mellom utbetaling og faktisk bruk av midlene. Flere evalueringer av globale programmer som Verdensbanken forvalter, som stort sett er finansiert av øremerkede midler, viser lignende forhold og svak planlegging og resultatovervåking.
Studien konkluderer med at det er behov for å revurdere vår praksis med å overlate oppsynet med bruken av øremerkede midler til partnerorganisasjonene. Øremerking bør innebære at giverlandet tar større ansvar for å følge med på hvordan midlene brukes og hvilke resultater de fører til.
4) For lite kunnskap om hva som virker i sårbare stater:
En stor del av verdens befolkning bor i land preget av konflikt, sårbarhet og organi¬sert kriminalitet. De siste årene har det internasjonale samfunnet i økende grad engasjert seg i konfliktom¬råder, og Norge er en aktiv giver i land som Afghanistan, Palestina, Sudan/Sør-Sudan.
Men vi vet for lite om virkningene av freds¬byggings- og statsbyggingsinnsatser, og det er stor interesse internasjonalt for å finne frem til metoder for å evaluere på dette området. (Det finnes noen eksempler på at det er mulig).
Eksisterende evalueringer viser til at det ofte er for lite kunnskap om lokale forhold og konflikter. Norsk fredsinnsats i Sri Lanka er et eksempel på dette, ifølge evalueringen som forskere ved Chr. Michelsens institutt og University of London utførte på vårt oppdrag. Evalueringen benyttet en historisk tilnærming for å undersøke Norges rolle som fredsmekler. Evalueringslaget konkluderte med at Norge burde ha vurdert sin egen rolle grundigere underveis. Da kunne man tidligere ha oppdaget endringer i forholdene både i Sri Lanka og regionalt, blant annet som følge av at regjeringen fikk økt støtte fra andre land. Evalueringen konkluderte med at Norge burde ha trukket seg fra meglerrollen flere år før konflikten fikk sin militære avslutning i 2009.
Denne konklusjonen var omstridd da evaluer¬ingen ble lagt frem. Andre hevdet at fortsatt norsk meglerinnsats kunne ha bidratt til et annet utfall, og at det var riktig å fortsette så lenge det var et håp om dette.
Det er ikke Evalueringsavdelingens oppgave å trekke konklusjonen. Men vi er sikre på at diskusjonen er viktig, blant annet for norske engasjement i andre fredsprosesser.
5) Vi trenger mer kunnskap om virkningen av norsk bistand:
Evalueringsavdelingen har i de senere år stilt stadig større krav til evaluererne om å vurdere virkninger. For den perioden som de fleste av våre tilbakeskuende evalueringer dekker, altså frem til ca 2010, kunne allikevel ingen av de bestilte evalueringene i tilstrekkelig grad gi informasjon om hvorvidt programmene gir utviklingsresultater og bidrar til bedre levekår.
Det betyr ikke at mye av bistanden ikke har vært god og nyttig, men at disse evalueringene i begrenset grad har kunnet dokumentere dette, gitt manglende systemer for innsamling av data og overvåking av resultater i de enkelte programmene og prosjektene.
Norge har støttet opprettelsen av flere menneskerettssentre på universiteter i Indonesia og bidratt til en styrking av det sivile samfunn i Øst-Afrika. Dette er eksempler på noen av de positive umiddelbare resultatene som evalueringsrapporter fra fjoråret påviste.
Men det er ikke nok - vi vil vite mer.
Fører flere menneskerettssentre i Indonesia til færre brudd på menneskerettigheter? Førte styrkingen av frivillige organisasjoner i Øst-Afrika til fattigdomsreduksjon blant kvinner og barn i de områdene hvor de opererer, slik målsettingen var? Disse evalueringene konstaterer at de finansierte prosjektene i stor grad mangler tydelige resultatmål, dokumentasjon og systematisk innsamling av data som kunne ha gitt svar.
Norad bidrar til og drar nytte av internasjonal læring om utviklingsspørsmål gjennom samarbeid med flere internasjonale aktører, deriblant Verdensbanken og 3ie, som har begynt å ta i bruk virkningsevalueringer for å finne ut hva som virker eller ikke.
Utdeling av multivitaminpiller med jern i områder med mye anemi var en billigere måte å øke læringsutbyttet på enn å bygge flere klasserom, viste en studie fra Kina. Betaling til skogeiere for å redusere avskoging i utsatte områder førte til mindre avskoging, mens avskoging spredte seg til andre områder, viste en evaluering fra Mexico. Denne type evalueringer, som går i dybden heller en bredt er også noe som vi bør kunne gjøre mer av i forbindelse med store programmer og satsinger fra norsk side.
Det fins en rekke metoder for å vurdere om et utviklingsprogram virker. De må kunne vise at forbedringen vi ser, for eksempel mindre diaré blant barn, skyldes helsetiltaket vi støtter og ikke alt annet som foregår samtidig, som generell økonomisk vekst eller en statlig hygienekampanje.
Bistandssystemet har utviklet tilfredsstillende systemer og retningslinjer for resultatmåling. Dette er også blitt bekreftet i Riksrevisjonens undersøkelse.
Problemet ligger i mangel på bruk og etterlevelse av disse, noe som også er blitt bekreftet bl.a. gjennom Norads forvaltningsgjennomganger. Når det ikke samles inn nok informasjon, blir det vanskelig for oversiktsevalueringene å si noe om virkninger eller resultater på bakken. Forbedring krever at de bistandsfinansierte tiltakene og programmene har tydelige mål og at systemer for innsamling av data og overvåking er på plass fra begynnelsen.
Bistandsforvaltningen er klar over at gjennomføringen må bli bedre, og det foregår mye arbeid for å forbedre resultatmålingen. Jeg håper og tror at oversiktsevalueringer om et par år vil kunne si mer om resultater på bakken.
For å avslutte ganske kort: Det er krevende å finne ut hva som fungerer og hvordan utviklingssamarbeid kan bli mer effektivt. Men vi skylder norske skattebetalere, og ikke minst befolkningen i utviklingslandene, å fortsette arbeidet for forbedringer på dette området.