6. Tiedon analysointi ja hyödyntäminen

Oppaan viimeisessä osassa keskitytään kerätyn tiedon kokoamiseen ja analysointiin sekä arviointitiedon hyödyntämiseen järjestön toiminnassa. Voit aloittaa katsomalla alla olevan videon.

Miten analysoin kerättyä palautetta?

Arviointitiedon analysoinnilla tarkoitetaan eri aineistojen (esim. kyselyiden, haastatteluiden tai havaintojen) järjestelmällistä läpikäymistä, tulosten yhteen vetämistä sekä johtopäätösten tekemistä niiden perusteella. Analysoidessa kuvataan, millaista palaute on pääpiirteissään ollut, pohditaan miksi palaute on sellaista kuin on ja mitä saatu palaute merkitsee toiminnan kehittämisen kannalta.

Palautteesta tehty kooste on syytä käydä vähintään kerran vuodessa läpi kootusti itsearviointipalaverissa. Toisaalta palautetta, jota kerätään esim. luonteeltaan toistuvista tapahtumista, on syytä käydä myös erikseen läpi pian tapahtuman jälkeen sekä tehdä pika-analyysi ja mahdolliset korjaukset toimintaan.

Numeerisen aineiston analysointi

Jos palaute on kerätty paperisella lomakkeella, tiedot kannattaa syöttää ensin esim. Excel-tiedostoon, jossa voi laskea numeerisista arvoista keskiarvoja tai esittää niitä jakaumina. Sähköisistä kyselytyökaluista saa ajettua ulos valmiin yhteenvedon tuloksista. Kyselylomakkeen valinta-, monivalinta ja väittämä -tyyppiset kysymykset raportoidaan yleensä numeerisesti. Vastaukset kysymyksiin, joissa on annettu vastausvaihtoehdot asteikkona (täysin samaa mieltä, jokseenkin samaa mieltä jne.) on hyvä esittää kuvioina, jolloin tuloksista saa käsityksen yhdellä vilkaisulla. Sähköiset kyselytyökalut antavat raporteissaan valmiita kuvioita.

Tyypillisin tapa esittää asteikkokysymyksiin perustuvaa aineistoa on keskiarvot. Kyselytulokset voi esittää lisäksi suorina jakaumina. Suora jakauma kertoo, kuinka suuri osa vastaajista antoi väittämälle minkäkin arvon. Voit käyttää vastaajien määrää sellaisenaan tai muuttaa sen prosenttiosuudeksi. Suora jakauma antaa enemmän tietoa kuin keskiarvo, mutta on toisaalta sen vuoksi vaikeammin hahmotettavissa. Kun vastaukset esitetään suorina jakaumina, nähdään myös, paljonko vastaajien mielipiteissä on hajontaa.

Pienten aineistojen ollessa kyseessä on hyvä muistaa 30 vastaajan nyrkkisääntö: sitä pienemmistä aineistoista ei ole tarkoituksenmukaista esittää enää osuuksia prosentteina. Tällöin kannattaa esittää tulokset yksinkertaisesti lukumäärinä: esim. ”12 vastaajaa 18:sta oli sitä mieltä, että…” Hahmottamista saattaa helpottaa myös osuuksien ilmoittaminen murtolukuina silloin kun se on mahdollista. Esim. ”Kolme neljäsosaa vastaajista piti toimintaa erittäin tärkeänä”.

Jos asteikkokysymyksessä käyttää ”en osaa sanoa” -vaihtoehtoa, tulee muistaa, ettei sitä lasketa mukaan keskiarvoon. Ne vastaukset on raportoitava erikseen. Jos ”en osaa sanoa” -vastauksia on huomattava määrä, on tämäkin tärkeä havainto, joka on syytä käsitellä ja tuoda esiin toiminnan ja tulosten arvioinnissa.

Laadullisen aineiston analysointi

Laadullista aineistoa kertyy kyselyiden avovastauksista, haastatteluista sekä työpajojen ja havainnoinnin muistiinpanoista ja ylös kirjatusta suullisesta palautteesta. Kyselyiden avovastaukset täydentävät ja tarkentavat numeerisista vastauksista saatua kuvaa. Avovastauksista saa myös kokonaan uutta informaatiota, kehittämisideoita ja näkökulmia.

Jos aineisto on pieni, voi analyysissa käyttää maalaisjärkeä. Parilla lukukerralla huomaa, mitkä seikat toistuvat vastauksissa ja on erityisesti syytä ottaa huomioon. Jos taas aineisto on suuri tai analyysin tekeminen tuntuu monimutkaiselta, kannattaa analysointia lähestyä systemaattisemmin. Luokittelu ja teemoittelu ovat tyypillisiä tapoja analysoida laadullista aineistoa.

Suhteuta esiin nousseet havainnot koko aineistoon. Esimerkiksi jos valtaosa vastaajista on tyytyväisiä toimintaan, ei tällöin kannata välttämättä lähteä tekemään korjaavia toimenpiteitä muutaman negatiivisen palautteen perusteella. Toistuvat vastaukset eivät sinällään vielä ole arvioinnin tulos ilman, että niitä tulkitaan osana järjestön tavoitteiden mukaista toimintaa ja toimintaympäristöä. Vastaajat saattavat hahmottaa järjestön toiminnan eri tavoin kuin toiminnan toteuttajat ja toivoa jotain, mikä ei ole järjestön tavoitteiden mukaista, tai minkä toteuttamiseen järjestöllä ei ole edellytyksiä tai resursseja.

Tuloksia esitettäessä ja raportoitaessa, kannattaa harkita tarkkaan suorien lainausten käyttämistä aineistosta. Analysoijan vastuulla on suodattaa aineisto, kuulija voi ymmärtää väärin kontekstistaan irrotetun sitaatin. Joskus sitaatti kertoo enemmän kuin tehty analyysi. Sitaatteja kannattaakin käyttää säästeliäästi.

Tulosten esittämisen yhteydessä on tärkeää myös mainita, miten tietoa on kerätty, kuinka monelle esim. kyselylomake on lähetetty, ja kuinka paljon vastauksia on saatu. Ohjeita numeerisen ja laadullisen arviointitiedon analysointiin ja raportointiin eri tilanteissa löytyy Artsin Tiedon analysointiohjeista (pdf).

Arviointitiedon hyödyntäminen järjestössä

Monesti arviointiprosessin ajatellaan päättyvän siihen, kun tieto on raportoitu eteenpäin esimerkiksi järjestön hallitukselle tai rahoittajalle. Tämä ei kuitenkaan pidä paikkaansa. Arvioinnin tarkoituksena on ennen kaikkea se, että arviointitietoa ja kerättyä palautetta hyödynnetään järjestön toiminnan kehittämisessä ja myös palautteen saamisessa ja onnistumisten esiin nostamisessa toiminnasta.

Jotta arvioinnissa esiin nousseita seikkoja kyettäisiin hyödyntämään mahdollisimman tehokkaasti, täytyy nousseista kehittämiskohteista ensin poimia ne ideat, joita halutaan jatkossa lähteä työstämään eteenpäin. Kunkin kehittämiskohteen kohdalla pohditaan, millä keinoin muutosta pyritään samaan aikaiseksi ja mikä on se tavoitetila, mihin pyritään ja miten edistymistä seurataan. Kullekin kehittämiskohteelle kannattaa nimetä aikataulu ja vastuuhenkilö.

Järjestön toiminnasta saadaan kattava kuva, kun palautteenkeruu on tehty moninäkökulmaisesti ja kattavasti sekä määrälliset seurantatieto-indikaattorit kuten kävijämäärät, on asianmukaisesti kerätty. Nämä toiminnan määristä ja laadusta kertovat huomiot ovat suoraan hyödynnettävissä monella tavalla:

• Tiedolla johtaminen: Arvioinnin tulokset tulee käsitellä ja niistä kannattaa keskustella avoimesti järjestön sisällä. Arvioinnin tulosten perusteella järjestön johto tai toiminnasta vastaava työntekijä voi linjata toimintaa ja kehittää uutta tarpeenmukaisten keinojen avulla. Tässä on syytä pitää henkilöstö mukana kaikissa vaiheissa, mikä on onnistuneen kehittämistyön tae.
• Henkilöstön ja vapaaehtoisten osaamisen kehittäminen, työnjako, resursointi sekä erityisesti vapaaehtoisten kohdalla järjestön tarjoama tuki ovat myös asioita, joita arviointitiedon pohjalta pystytään tarkastelemaan ja viemään oikeaan suuntaan. Arviointi tuo myös esille toiminnan onnistumiset, mitkä ovat tärkeitä ja motivoivia työntekijöille ja vapaaehtoisille.
• Määrälliset seurantatiedot kuvaavat toiminnan volyymiä ja vuosittain kerättynä niistä saa tietoa mahdollisista muutoksista toiminnan laajuudessa. Tästä kaikesta on hyötyä toiminnan resursoinnissa ja budjetoinnissa. Jos toimintaa halutaan esim. laajentaa kasvaneiden osallistujamäärien myötä, vuosittain kerätty seurantatieto on perustelun apuna avustushakemuksessa.
• Viestinnän kehittäminen ja markkinointi: Viestinnän sisältöön ja painotuksiin kannattaa kiinnittää huomiota erityisesti toiminnan muuttuessa. Viestinnän kohderyhmät voivat muuttua. Arvioinnin avulla voi myös nousta esiin tarve kehittää jotakin viestinnän osa-aluetta. Toiminnan hyviä tuloksia voi käyttää markkinoinnissa esimerkiksi uusien vapaaehtoisten tai kohderyhmien saamiseksi mukaan toimintaan. Kerätty tieto onnistuneista tuloksista ja toiminnalla aikaansaaduista muutoksista innostavat uusia ihmisiä osallistumaan järjestötoimintaan. Tuloksia voi koota esimerkiksi infograafien muotoon
  • Infograafien avulla voi havainnollistaa esimerkiksi järjestön tunnuslukuja, keskeisiä tuloksia, kerättyä asiakastietoa sekä selvitysten ja hankkeiden tuloksia. Ne toimivat myös hyvin myös erilaisten toimintamuotojen vaikutusten kuvaamiseen, asiakkaan polun avaamiseen, ja ennen-jälkeen -tilanteiden avaamiseen. Lisäksi järjestön toimintaan voidaan innostaa uusia osallistuja tuomalla esille esimerkiksi vapaaehtoisten ja kohderyhmän kokemia hyötyjä haastatteluiden ja avointen vastausten kautta.Infograafien tekoon on tällä hetkellä käytössä hyvä ohjelmia, josta löytyy valmiita helppokäyttöisiä pohjia erilaisten julkaisujen tekoon, kuten Canva, Powerpoint (valmiit infograafipohjat), Prezi ja Infogram.
• Arviointituloksia raportoidaan toiminnan rahoittajalle, hallitukselle sekä mahdollisille ohjaus-, kehittämis- ja johtoryhmille. Arvioinnin tuloksia hyödynnetään myös toimintakertomuksissa ja -suunnitelmissa.
• Yhteistyökumppaneille kannattaa viestiä järjestön toiminnan tuloksellisuudesta. Arvioinnin tuloksena voi nousta esiin yhteistyötä koskevia kehittämisideoita tai tarve uusien kumppanuuksien luomiseksi.