Vaikuttavuuden arviointi tai toiminnan tulosten tarkastelu ei ole aina helppoa. Siinä missä me SOSTEssa olemme nähneet oppimista vaikuttavuutta käsitelleissä sparrauksissa ja koulutuksissa, olemme myös itse oppineet niissä erilaisista vaikuttavuuden arvioinnin solmukohdista. Jos jokin tuloksellisuuden arvioinnissa on sinua tökkinyt, olisikohan sinullakin jokin seuraavista kuudesta solmukohdasta avaamatta.
Tiedolliset solmukohdat
Kolme ensimmäistä solmukohtaa ovat kaikille yhteisiä. Niitä voi avata tarvittaessa myös tiedollisia valmiuksia lisäämällä.
1. Tuloksellisuuden logiikan kuvaaminen
Vaikuttavuustyössä on olennaista avata logiikkaa siitä, mihin tarpeeseen ollaan vastaamassa, mitä tavoitellaan, ja miten jokin toiminta saa aikaan haluttuja muutoksia. Puhutaan yleisesti vaikutusketjusta, jonka sisältämät käsitteet on hyvä siis taitaa, jotta osaa kuvata punaisen langan ketjussa näkyviin. Logiikka voi hyvinkin mennä solmuun, kun ketjussa siirrytään isommasta tarpeesta rajatumpaan tavoitteeseen ja sitä kautta oman toiminnan kuvaamiseen. Logiikka voi myös kadota, jos tavoitteet eivät ole linjassa tulosten kanssa.
2. Kirkkaan tavoitteen asettaminen
Tavoitteen asettamista voi selkeästi kutsua solmukohdaksi, koska oikeanlaisen tavoitteen määrittely on kaiken A ja O. Tunnetko jo SMART-muistisäännön? Hyvä tavoite on konkreettinen (spesific), mitattava (measurable), saavutettava (achievable), merkityksellinen (relevant) ja aikaan sidottu (time bound). Tavoitteen asettamiseen kannattaa nähdä vaivaa, koska se on pullonkaula, jonka avulla välttää myös tulevia solmuja.
3. Tavoitteeseen pääsemisen mittaaminen
Mittaamisen vaade aiheuttaa monelle harmaita hiuksia ja onkin erityisen tiukka solmu. Käsitteet, kuten mittari ja seurantaväline, tuottavat sekaannusta. Kysely tai haastattelu on vasta seurantaväline. Itse mittarilla selvitetään aikaansaatua muutosta, esimerkiksi kuinka paljon osaaminen lisääntyi tai toimintakyky vahvistui. Sekoitusta lisäävät puheet tulos- ja prosessimittareista, joista jälkimmäisillä viitataan enemmän toimintojen ja osallistuneiden määriin ja ensimmäisellä varsinaista muutosta osoittaviin mittareihin. Näitäkin voi selkiyttää tietoa lisäämällä.
Tapauskohtaiset solmukohdat
Hankittu teoriatieto ei aina avaa kaikkia solmuja, ja pelkästään vajeet arvioinnin osaamisessa eivät yksinomaan selitä vaikuttavuuden arvioinnin haasteellisuutta. Tämän lisäksi näyttäisi olevan olemassa tapauskohtaisia solmukohtia, joissa tarvitaan räätälöidympää pohdintaa.
4. Muutoksen luonne
Vaikuttavuuden ja tuloksellisuuden arvioinnissa pyritään lähtökohtaisesti osoittamaan, mitä muutoksia toiminnalla on saatu aikaan, ja miten niillä on vastattu ongelmaan. Solmuja arviointiin aiheutuu tilanteissa, joissa toiminta ei pyrikään poistamaan ongelmaa, tai jos muutos ei ole mahdollinen. Mitä silloin asetetaan tavoitteeksi.
- Vahvistavassa ja edistävässä työssä vaikutukset ja kustannusten väheneminen näkyvät vasta pidemmällä tähtäimellä, muutokset eivät synnyt hetkessä. Vahvistavassa ja edistävässä toiminnassa vaikuttavuusketjut ovat pidempiä.
- Toiminnoissa, joissa pyritään hidastamaan etenevää tilaa, esimerkiksi sairautta, ollaan tyytyväisiä, jos tilanne pysyy ennallaan.
- On myös pysyviä tiloja tai sairauksia, joissa on erilaisten tekijöiden aiheuttamaa vaihtelua, jolloin tilanteen koheneminen tai muutoksen todentaminen ei ole aina tehdyistä toimista riippuvaista.
5. Kohderyhmä
Yksinkertaisimmillaan kohderyhmä on selkeästi rajattu ja sellainen, että se tavoitetaan kokonaan. Aina ei kuitenkaan ole näin.
- Mikäli kohderyhmä on kovin iso tai kohdejoukkoja on useita, on tarkemmin pohdittava, miten saadaan kerättyä tarvittavaa tietoa. Usein tarvitaan myös kohderyhmän kirkastamista, segmentointia ja toiminnan kohdentamista.
- Kun kohderyhmä on välillinen, esimerkiksi päättäjät tai ammattilaiset, on vaikutusketju lopulliseen hyödynsaajaan asti pidempi.
- Vaikka kohderyhmä olisikin rajattu, voi silti olla arviointia haastavia tekijöitä, kuten anonyymiys tai erilaiset kognitiiviset rajoitteet, jotka täytyy huomioida.
- Mikäli kohderyhmä on kokonaan määrittelemättä, arvioinnin toteuttaminen voi olla haastavaa.
6. Toiminnan muoto
Yksinkertaisimmillaan arvioidaan yhtä toimintaa, jolla on selkeä kesto – eli alku ja loppu. Tämä ei aina toteudu. Erilaiset toiminnan toteutumisen muodot aiheuttavat sen, että arviointiin eivät sovellu samat työtavat kuin yksinkertaisemmissa esimerkeissä.
- Jos toiminta on lyhytkestoista, vaihtelee osallistujakohtaisesti tai kohtaaminen on esimerkiksi kertaluonteinen, tiedonkeruu pitää miettiä huolella.
- Usein kysymyksiä aiheuttaa myös vaikuttamistoiminnan ja kampanjatyyppisen viestinnän tuloksellisuuden arviointi. Herää kysymys: mikä on meidän osuutemme tuloksesta? Saatiinko aikaan muutoksia ihmisten käyttäytymisessä? Näitäkin on pohdittava ja tehtävä arviointia ja logiikan kuvaamista niin hyvin kuin kyetään, vaikka ei samaan tarkkuuteen päästäisikään kuin selkeämmin arvioitavassa toiminnassa.
- Arvioinnin yksinkertaisuutta vähentää myös se, jos muutoksen aikaansaamiseen tarvitaan monenlaista toimintaa joko yhden tai useamman organisaation toteuttamana. Tällaisessa kokonaisuudessa arvioinnille on luonnollisesti varattava hieman enemmän aikaa ja vaivaa.
Pääsääntöisesti kaikenlaiset solmukodat ovat tavalla tai toisella avattavissa! Solmukohtien kuvaamisen ei ole tarkoitus lannistaa vaan mieluummin kannustaa. Parhaiten arviointia oppii tietoa soveltamalla ja vinkkejä toisilta kuulemalla. SOSTEssa onkin tarkoituksena jatkossa järjestää räätälöityjä työpajoja, joissa osaamista ja kokemuksia samojen solmujen ääressä voidaan jakaa.
Vastaa kyselyyn
Auta meitä räätälöimään tuloksellisuuden arvioinnin osaamista edistävää toimintaa entistä paremmin. Kerro, tunnistitko edellä kerrotuista omia solmukohtiasi, tai onko jokin solmu, jota ei mainittu. Vastaa nimettömänä kyselyyn.
Erica Mäkipää
erityisasiantuntija
Mervi Aalto-Kallio
erityisasiantuntija
SOSTE