Evaluering i en krisetid

- Dette funnet er ikke nytt, men har gått igjen i flere av evalueringsavdelingens tidligere årsrapporter. Også årets rapport viser nødvendigheten av å fokusere mer på dette. Det å sikre at lærdommer fra gjennomførte evalueringer tas inn i det videre arbeidet med å forbedre norsk utviklingssamarbeid er et ansvar for alle som er involvert i norsk utviklingssamarbeid, sier evalueringsdirektør Håvard Mokleiv Nygård.

De viktigste lærdommene

Tre lærdommer står sentralt i årsrapporten:

1. For det første, beslutningsgrunnlaget i norsk bistand må bli bedre. Norsk utviklingssamarbeid er risikovillig og fleksibelt, det er bra, men det skaper også en del viktige utfordringer rundt hvordan systemet jobber med kunnskapsgrunnlaget.
2. For det andre, norsk utviklingssamarbeid må styrke sin evne til å samle inn data, analysere og evaluere underveis for å bedre mål- og resultatstyringen. Per i dag mangler vi ofte tilstrekkelig kunnskap om hvorvidt tiltak når de forventede resultater og målsettinger.
3. For det tredje, vi jobber ikke systematisk nok med land som ‘rykker opp’ fra lavinntekts- til mellominntektsstatus.

Last ned årsrapporten: Evaluering i en krisetid

Uavhengighet, troverdighet og bruk

- Uavhengighet, troverdighet og bruk er bærende prinsipper som skal ivaretas i all evalueringsvirksomhet, sier Nygård.

Det ble ferdigstilt fem større evalueringer i fjor, forteller Nygård. En av de fem ferdigstilte evalueringene vurderte kvaliteten på de desentraliserte evalueringene. Dette er de evalueringene og gjennomgangene bistandsaktørene selv er ansvarlige for å gjennomføre som del av forvaltningen av midler og avtaler. Evalueringen viste at kvaliteten er svak og må forbedres.

En betydelig forbedring av kvalitet må til for at desentraliserte evalueringer skal bli et nyttig redskap for bedre bistand. Rundt halvparten av evalueringene har så store svakheter at det er grunn til å stille spørsmål om disse gir troverdig informasjon om effekter og resultater av norsk bistand.

En annen evaluering gikk gjennom Norges anti-korrupsjonsinnsats innen utviklingspolitikk og bistand. Denne viste at Norge mangler en overordnet, helhetlig strategi som grunnlag for anti-korrupsjonsinnsatsen.

En tredje evaluering var av Norges klima- og skoginitiativ og viste at satsingen har ført til økt internasjonal oppmerksomhet knyttet til bl.a. viktigheten av å redusere og reversere tap av tropisk skog; å utvikle sektorpolitikk og legge til rette for- og delta i viktige diskusjoner mellom sentrale aktører. Evalueringen viste også at satsingen i all hovedsak er gitt prosjektmidler til sivilsamfunnsorganisasjoner, og har vært en fleksibel giver med fokus på pilotprosjekter. Evalueringen finner imidlertid at prosjektene ikke er omfattende nok til å bidra med endring på aggregert nivå og at fattigdomsorienteringen må inkluderes tydeligere.

Stor produksjon til tross for pandemi

Fjoråret sto i pandemiens tegn, likevel hadde avdelingen en svært stor produksjon av evalueringer, rapporter og evenementer, sier Nygård. 

- Mer enn vi trodde kan gjøres virtuelt, samtidig er det også grenser for når dette er hensiktsmessig. Pandemien viste oss ikke minst hvor sentralt det er å ha gode lokale partnere.

I tillegg til de fem større evalueringene som ble offentliggjort gjennom året, produserte avdelingen også flere rapporter som ser samlet på bredden av internasjonale evalueringer av Norges partnerland, totalt er det nå ferdigstilt 17 slike partnerlandsrapporter.

Avdelingen utarbeidet også arbeidsnotater på ulike tema, bl.a. lærdommer fra kontantoverføringer, en egen kartlegging av covid-19-relaterte initiativ, samt en evaluerbarhetstudie om FNs flergiverfond for covid-19 (UN Covid-19 MPTF). Det ble også startet opp flere større uavhengige evalueringer blant annet av Norges innsats innen kvinner, fred og sikkerhet, som vil bli ferdigstilt til neste år, sier Nygård.

• Les også: Nytt evalueringsprogram 2021-2022: Pandemien fordrer nye måter å jobbe på

Kunnskap og offentlig debatt

En viktig del av evalueringsavdelingens arbeid er å spre kunnskap og bidra til offentlig debatt. Avdelingen organiserte 11 webinarer med ulike tema og innledere, dette var en rask læringsprosess for avdelingen, men også en måte å kunne involvere flere innledere fra større deler av verden digitalt. Avdelingen produserte også åtte nyhetsbrev gjennom året, samt bidro med 20 avisoppslag og kronikker. Avdelingen hadde 11 ansatte i hel-/deltid.

Om evalueringsprosessen

Evalueringsavdelingen skal bidra til at aktørene i utviklingspolitikken lærer av erfaringer og til å holde aktørene ansvarlige. Avdelingen styres av egen instruks, og rapporterer direkte til departementsrådene i Utenriksdepartementet og Klima- og miljødepartementet.

Evalueringene skal:

• gjennomføres uavhengig av dem som har forvaltnings- og gjennomføringsansvaret
• gjennomføres i henhold til anerkjente evalueringsfaglige normer og standarder
• belyse relevante problemstillinger
• fremme gjennomførbare anbefalinger som kan brukes i utforming av budsjetter og videreutvikling av den virksomheten som evalueres
• bidra til en konstruktiv og åpen debatt

Avdelingen bestemmer årlig hva som skal evalueres gjennom et treårig, rullerende evalueringsprogram. For å sikre evalueringenes relevans og bruk er programmet utformet i konsultasjon med aktører i og utenfor bistandsforvaltningen. Underveis i evalueringsprosessene legges det også opp til dialog med interessentene.

• Les mer om evaluering og evalueringsavdelingen i Norad