fi | sv | eng

Make evaluation great again - kokemuksia ja ajatuksia AEA:n arviointikonferenssista

28.12.2017, 15:20

Osallistuin 7.-12.11.2017 pidettyyn American Evaluation Associationin (AEA) arviointikonferenssiin Washingtonissa. Olen aiemmin osallistunut Euroopan arviointiyhdistyksen (EES) konferensseihin, mutta en ollut aiemmin käynyt tässä arvioinnin kehittämisen näkökulmasta suurimmassa tapahtumassa. Eurooppalaisiin arviointikonferensseihin verrattuna tapahtuma oli valtava. Osallistujia oli lähes 4 500 ja neljän päivän ajan samanaikaisia rinnakkaissessioita pyöri jopa 50 kappaletta. Lisäksi suhteessa eurooppalaisiin konferensseihin amerikkalaiset tekevät päivistä todellisia kestävyyskoitoksia. Päivät alkavat pääsääntöisesti aamulla klo 8.00, joinain aamuina jopa klo 7.00, ja päättyvät noin klo 21.00.  

Oppiminen nostetaan keskiöön

Konferenssin nimi oli From Learning to Action! Nimi korosti oppimisen merkitystä arvioinnissa ja teema näkyi hienosti monessa sessiossa läpi koko konferenssin. Kathy Newcome toimii vuoden 2018 AEA:n presidenttinä ja tässä roolissa hän piti keynote-puheenvuoron, jossa käsiteltiin keinoja, joilla arvioinnissa päästäisiin pakollisesta suorittamisesta aitoon oppimiseen. Kathy korosti puheenvuorossaan mm. arvioivan ajattelun merkitystä paitsi ohjelmien suunnittelussa ja toteutuksessa, niin nykyistä enemmän myös politiikan tekemisessä. Toisekseen Kathy nosti esiin jo olemassa olevan tiedon paremman ymmärtämisen ja tiedon vaalimisen uuden oppimisen pohjana. Kolmantena asiana hän korosti onnistumisen määrittelyn jämäköittämistä nykyisestä ja siitä kiinni pitämistä. Tähän liittyen hän korosti myös tapauskohtaisesti rakennettavien kriteeristöjen merkitystä oikean ja riittävän näytön osoittamisessa. Viimeisenä asiana Kathy korosti arvioitsijan vastuullisuutta ennen kaikkea arvioitavan toiminnan loppukäyttäjiä kohtaan – ei vain arvioinnin tilaajaa kohtaan.

Kathy kehotti puheenvuoronsa lopussa kaikkia arvioitsijoita luomaan omia oppimistavoitteita ja -agendoja arviointien sisään. Hän kehotti rakentamaan arvioinnit niin, että niistä löytyy aitoa opittavaa niin arvioinnin kohteena olevan toiminnan tai asian suunnittelijoille, toteuttajille ja loppukäyttäjille sekä ennen kaikkea toiminnan rahoittajille ja näiden pohjalta toiminnasta politiikkaa tekeville toimijoille.

Nelipäiväinen konferenssi oli rakennettu siten, että arviointia käsiteltiin yhteensä yli 20 teeman sisällä. Itse yritin pitää kokonaisuutta hallinnassa seuraamalla lähinnä kahta teemaa tai ”trackiä”, jotka olivat kustannusvaikuttavuuden arviointi ja järjestötoiminnan arviointi. Seuraavassa muutamia poimintoja näistä.

Kustannusvaikuttavuus on kahden kauppa – panostukset esiin vaikutusten rinnalle

Kustannusvaikuttavuuden arvioinnissa keskustelun painopiste suhteessa aiempaan oli vahvasti toiminnan toteutukseen liittyvissä panostuksissa pelkän vaikuttavuuden sijaan. Se, missä aiemmin oli kerrottu suu vaahdossa toiminnan vaikuttavuudesta, niin nyt oltiin nostettu toiminnan kulut vahvasti mukaan tasapainottamaan tilannetta. Tästä oli hyviä esimerkkejä pitkin matkaa. Yksi havainnollisin oli Yhdysvalloissa toteutettu koulutusohjelman tuloksellisuuden vertailu. Puhtaasti vaikutuksiin perustuen ohjelmat oli helppo laittaa paremmuusjärjestykseen. Vasta tämän jälkeen samat ohjelmat oli otettu uudelleen arviointiin siten, että laskettiin tulosten kustannushyötysuhde. Tuloksena oli, että aiempi paremmuusjärjestys heitti täyden kuperkeikan ja puhtaasti tuloksekkain ohjelma olikin kustannushyötyjen valossa heikoin. Parhaan tuloksen saaneen ohjelman toteuttaminen oli niin kallista, että hyöty suhteessa siihen käytettäviin taloudellisiin panostuksiin oli tässä joukossa heikoin. Esimerkissä korostettiin sitä, että ei ole järkeä vertailla pelkästään eri toimintamallien tuloksellisuutta ilman, että huomioidaan niiden toteutuksesta aiheutuvat kustannukset ja sitä kautta tehdä kokonaisarvio kustannustehokkuudesta.

Järjestötoiminnan arviointia amerikkalaiseen tapaan

Järjestötoimijan näkökulmasta oli mielenkiintoista ja ajatuksia herättävää seurata amerikkalaisen järjestötoiminnan (NGO) eroja suhteessa suomalaiseen kontekstiimme. Arviointitoimintaan liittyen selkeä ero oli siinä, että useissa järjestöissä on vahva sisäisen arvioinnin toimintakulttuuri. Ja tarkoitan nimenomaan sisäistä arviointia, en meillä niin yleistä projektitoimijoiden itsearviointia. Eli monessa järjestössä tuntui olevan omat sisäiset arvioinnin ammattilaiset, jotka eivät suoraan osallistu kehittämistoimintaan vaan yksinomaan arvioivat organisaatiossa toteutettavia kehittämiskokonaisuuksia ja raportoivat tuloksistaan sekä toiminnan toteuttajille että järjestöä rahoittaville tahoille.

Toinen asia, joka laittoi mietityttämään, oli satunnaistettujen koeasetelmien (RCT) suosio myös järjestötoiminnan arvioinneissa ja se näyttää olevan edelleen ns. gold standard, kun puhutaan vaikuttavuuden osoittamisesta. Konferenssin kuluessa minulle myös selvisi, miten tuon niin työlääksi ja jopa vaikeasti toteuttavaksi tiedetyn arviointimallin yleisyys Yhdysvalloissa on selitettävissä. Kuunneltuani useamman session, jossa järjestölähtöisen kehittämistoiminnan arviointi oli rakennettu RCT-asetelman pohjalle, kysyin eräältä arviointia esitelleeltä toteuttajalta, millainen budjetti heillä oli arvioinnin toteuttamiseen. Ja vastaus tuli kuin silmää räpäyttämättä: ”vähän yli 1,2 miljoonaa dollaria”. Tämä selitti sen, miten näiden meillä niin vähän käytettyjen arviointimallien suosio selittyy Yhdysvalloissa. Pelkästään arviointiin käytössä oleva budjetti on usein monin kertainen kuin mitä meidän yksittäisen järjestöhankkeen koko toteutusbudjetti.

Valtavat arviointibudjetit ja näillä usein toteutetut satunnaistetut koeasetelmat herättivät myös kriittistä keskustelua arvioitsijoiden keskuudessa. Kaikki eivät pitäneet oikeana suuntaa, että arviointeihin käytetään yhä enemmän ja enemmän rahaa, vaan halusivat herättää keskustelua myös arviointien toteuttamisen kustannushyödyistä.

Suhteessa käytettävissä oleviin resursseihin Suomessa tehdään hyvää arviointia

Kolmas huomioni konferenssista oli yleinen menetelmäosaaminen. Kuunneltuani lukuisia sessioita ja puheenvuoroja arvioinneista, niin väittäisin, että menetelmäosaamisessa emme häviä pätkääkään muille. Ehkä jopa väittäisin, että suhteessa arviointeihin käytettäviin resursseihin, meillä tehdään hyvää ja uskottavaa arviointia. Toki mm. Yhdysvalloissa on juuri resurssien saatavuuteen liittyen mahdollisuus yhdistää erilaisia menetelmiä ja aineistonkeruutapoja vapaammin kuin mitä meillä, mutta kyse on nimenomaan taloudellisten resurssien suomasta mahdollisuudesta eikä niinkään osaamisen puutteesta.


Kokemani ja kuulemani perusteella uskaltaisin väittää, että suhteutettuna käytettävissä oleviin resursseihin Suomessa tehdään todella hyvää ja uskottavaa arviointia.


Kustannusvaikuttavuuden arvioinnin kehittäminen meidän kontekstissa

Seurattuani neljä päivää kahta teemaa, kustannusvaikuttavuuden vertaissparraus ja järjestötoiminnan arviointi, ja suhteutettuna tämä kaikki konferenssin yleisteemaan From Learning to Action, niin tunsin suoranaista ylpeyttä meidän omasta järjestöille suunnatusta kustannusvaikuttavuuden vertaissparraustoiminnasta. Se yhdistää nämä kaikki eli kustannusvaikuttavuuden arvioinnin, järjestötoiminnan kehittämisen ja toinen toiselta oppimisen.

Kymmenien erilaisten, toinen toistaan kalliimpien ja amerikkalaisella innostuksella kuorrutettujen esitysten jälkeen meidän oma erittäin kustannustehokas tapa kehittää toimintaa ja kustannusvaikuttavuuden osoittamista toinen toisilta oppien vaikuttaa entistä järkevämmältä toimintamallilta – jopa resurssiviisaalta. Nyt on vuosi aikaa kerätä lisäkokemuksia meidän kustannusvaikuttavuuden vertaissparraustoiminnasta. 27 järjestöä tulee ensi vuonna käymään tämän yhteisen oppimisprosessin läpi. Näiden järjestöjen kanssa tehtävän yhteistyön kautta tulemme saamaan arvokasta tietoa toimintamallimme toimivuudesta ja kehittämistarpeista sekä ennen kaikkea arvokasta lisätietoa järjestöjen kustannusvaikuttavuuden arviointityöstä.

Jos jotain Washingtonin konferenssi opetti, niin se oli, että näitä meidän kehittämiämme malleja ja niihin liittyviä kokemuksia ei suinkaan kannata vähätellä, vaan niitä kannattaa jakaa eri toimijoille niin Suomessa kuin myös ulkomailla.

Antti Pelto-Huikko
erityisasiantuntija, SOSTE

JK. Katso SOSTEn Järjestöjen tulosten, vaikutusten ja kustannusten arviointi ja näkyväksi tekeminen -koulutuskiertue.

Kommentointi

Otsikko:
Nimi:
Kommentti: