Behov for mer helhetlig tilnærming til evaluering i norsk bistand
Utenriksdepartementet (UD) må klargjøre hvem som har det overordnete ansvaret for kvaliteten på gjennomgangene, anbefaler evalueringsavdelingen i Norad på bakgrunn av evalueringen.
- For å heve kvaliteten og sikre læring, er det viktig at ansvaret for kvalitetssikring og læring plasseres i en konkret enhet i Norad eller UD. Dette ansvaret vil innebære å sikre at de som forvalter norsk bistand har tilstrekkelig kompetanse og verktøy tilgjengelig for å bestille og kvalitetssikre gjennomganger. I tillegg må det sikres en bedre oversikt over alle gjennomgangene som gjøres, sier evalueringsdirektør Per Øyvind Bastøe i Norad.
- Se evalueringen: The Quality of Reviews and Decentralised Evaluations in Norwegian Development Cooperation
Mangler kapasitet, kompetanse og veiledning
Hvert år gjennomføres det rundt 70 gjennomganger av norske bistandsprosjekter. Gjennomgangene igangsettes enten halvveis i eller avslutningsvis i prosjektperioden. Det er Utenriksdepartementet, Norad og norske ambassader med ansvar for bistand som bestiller gjennomgangene.
Evalueringen tyder på at ansatte i bistandsforvaltningen ikke har nødvendig kapasitet og kompetanse til å bestille og kvalitetssikre gjennomganger. De mangler veiledning i form av maler og sjekklister for å utvikle mandat, og det er heller ingen å spørre om råd. Det er ingen enhet med ansvar for rådgivning og frivillig eller obligatorisk evalueringsfaglig kvalitetsikring på samme måte som det fins for juridisk og resultatfaglig kvalitetssikring.
Funnene i evalueringen er i samsvar med OECD/DACs Peer Review av Norge i 2013, som nettopp pekte på manglende kvalitetssikring av gjennomganger som en svakhet i evalueringen av norsk bistand.
Evner ikke å dokumentere resultater
Evalueringen viser at mer enn halvparten av de vurderte rapportene har for dårlig kvalitet når det gjelder det metodiske grunnlaget, og at funn og konklusjoner ikke er godt nok underbygget. Det kan føre beslutninger tas på feil grunnlag.
Gjennomganger skal vurdere gjennomføringen av prosjekter og programmer, og hvorvidt disse oppnår resultater. Evalueringen viser at gjennomgangene i mange tilfeller ikke har en god nok vurdering av resultatoppnåelse.
- Det er problematisk ettersom det er et av hovedformålene med gjennomgangene, understreker Bastøe.
Evalueringen finner imidlertid at gjennomgangene i stor grad brukes i oppfølgingen av avtaler og dialog med partnere. Det kan tolkes som at det er en interesse for å innhente kunnskap for å forbedre programmene. En slik interesse er et godt utgangspunkt for å jobbe videre med kvaliteten.
- Hvis vi klarer å heve kvaliteten på gjennomgangene, er det positivt at gjennomgangene er mye brukt fordi de da kan bli et nyttig verktøy for effektivisering av bistand, sier Bastøe.
Selv om gjennomganger brukes i oppfølgingen av det enkelte program eller prosjekt er det lite som tyder på at de blir brukt for læring for andre enn de som er involvert. En kartleggingsstudie som ble gjort i forberedelsen til evalueringen viser at gjennomgangene i varierende grad publiseres eller samles.
- Ansvaret for å holde oversikt over gjennomgangene som gjøres, er ikke klart plassert i bistandsforvaltningen. Det er derfor ingen som samler inn og sørger for at kunnskapen deles videre i systemet. Dette er uheldig fordi det minsker muligheten til å lære på tvers av prosjekter og programmer.
Vil sjekke kvaliteten også framover
Mange bilaterale og multilaterale givere har regelmessig kvalitetskontroll av program- og prosjektgjennomganger som et virkemiddel for å forbedre kvaliteten på arbeidet. En slik kontroll innebærer at man etterprøver kvalitet ut fra klare kjente standarder. Denne evalueringen utgjør en kvalitetskontroll, såkalt validering, av gjennomganger ferdigstilt i 2014.
- Evalueringsavdelingen har på evalueringsprogrammet for 2017-2018 satt opp validering av gjennomganger fra 2016, og regner med å fortsette regelmessige vurderinger av gjennomgangene også i årene framover, sier Bastøe.