2. Arvioinnin ja tiedonkeruun suunnittelu

Seuraavaksi kerrotaan, miten arviointia kannattaa lähteä suunnittelemaan ja aikatauluttamaan. Lisäksi esitellään erilaisia tapoja kerätä tietoa arviointia varten. Voit aloittaa katsomalla alla olevan videon.

Hyvin suunniteltu arviointi on puoliksi tehty

Arvioinnin suunnitteluun kannattaa varata riittävästi aikaa ja resursseja. Järjestön henkilöstön mukaan ottaminen jo arvioinnin suunnitteluvaiheeseen helpottaa kaikkien sitoutumista arviointiin. Kun suunnitelma tiedonkeruumenetelmineen on kertaalleen mietitty huolella, siitä on hyötyä useammaksi vuodeksi. Suunnitelmaa on hyvä päivittää aika ajoin, etenkin jos järjestön toiminnassa tapahtuu muutoksia.

Tietoa kannattaa kerätä systemaattisesti pitkin vuotta. Arviointitietoa saadaan myös luontevasti osana toimintaa ilman muodollisia palautekanavia. Mitä paremmin systemaattinen tiedonkeruu (lomakkeet, haastattelut jne.) saadaan yhdistettyä järjestön perustoimintaan, sitä paremmin tietoa saadaan kerättyä. Näin se on myös motivoivampaa henkilöstölle ja vapaaehtoisille.

Alla olevassa kuvassa on kuvattu sitä, mitä kannattaa huomioida oman järjestön arviointia suunniteltaessa:

Kuvio 3. Arvioinnin suunnittelun vaiheet.

Kaikkea ei tarvitse tai pystykään arvioimaan. Arviointisuunnitelmaa laadittaessa on tärkeä pohtia ja päättää, mitä asioita arvioidaan. Arviointi ei ole itsetarkoitus. On tärkeää pohtia, mitkä ovat ne järjestön tai projektin toiminnan kannalta olennaisimmat tunnusluvut ja oletetut tulokset, joiden toteutumista ryhdytään seuraamaan. Mittareiden avulla osoitetaan olennaisimpien tunnuslukujen ja tulosten toteutumista.

Yleensä ei ole tarpeen kerätä arviointitietoa jatkuvasti ja kaikista toiminnoista. Tällainen tiedonkeruu tuottaisi analysoitavaa tietoa niin paljon, ettei etenkään pienillä järjestöillä olisi resursseja käsitellä sitä. Kannattaa miettiä keneltä, minkälaisella otoksella ja mihin aikaan kustakin toiminnosta kerätään tietoa. Arvioinnin kokonaisuus tulee suunnitella mielekkään kokoiseksi suhteessa käytettävissä oleviin resursseihin.

Jotta toiminnan toteuttaja saa kattavasti tietoa oman toiminnan kehittämiseksi ja raportointiin, palautetta tulee kysyä monipuolisesti ja keskeisiltä tahoilta. Arviointisuunnitelmaa ja tiedonkeruun menetelmiä suunniteltaessa tulee pohtia myös sitä, missä muodossa valitut tiedonkeruun tavat tuottavat tuloksia. Esimerkiksi kyselyissä olevat avokysymykset antavat usein yksityiskohtaisempaa tietoa käsiteltävästä aiheesta, mutta samalla vaativat enemmän työtä ja resursseja analysointivaiheessa kuin numeeriset kysymykset. Arviointia suunniteltaessa kannattaa myös suunnitella huolellisesti palautteen hyödyntäminen ja jatkotyöstäminen.

Miten arviointitietoa voi kerätä?

Arviointitiedon keräämiseen voidaan käyttää monenlaisia lähestymistapoja ja menetelmiä.  Toiminnan määrää kuvaavien seurantietojen (esim. tapahtumien määrä, osallistujat) avulla saadaan kuva oman toiminnan laajuudesta. Tämä on hyvä perusta arvioinnille, mutta vähintään yhtä tärkeää on laadullinen seurantatieto. Sen avulla saadaan selville toiminnan tuloksellisuus, eli se, mitä hyötyä siitä on osallistujille.

Määrällinen seurantatieto

Toiminnan kannalta oleellisten määrällisten indikaattorien, kuten asiakkaiden ja vapaaehtoisten määrän, asiakkaiden ikä- ja sukupuolijakauman, aukiolotuntien jne. kirjaaminen ylös on tärkeää toiminnan volyymin seurannan kannalta. Määrällistä seurantatietoa on hyvä kerätä jatkuvasti pitkin vuotta. Toiminnan luonne määrittelee sen, mitä tunnuslukuja on syytä seurata. Tunnuslukuja tulee kuitenkin pohtia myös sen kannalta, mitä rahoittaja haluaa tietää.

Seurantatietojen kerääminen voidaan yksinkertaisimmillaan toteuttaa esim. tukkimiehenkirjanpidolla (mm. ryhmässä kävijöiden lkm). Jos paperille kirjaamista käytetään, tiedot on kuitenkin hyvä viedä mahdollisimman pian sähköiseen muotoon (esim. Excel-taulukko), jolloin ajantasainen tilanne näkyy toiminnan toteuttajalle jatkuvasti. Käytössä voi olla myös älypuhelimella täytettävä sähköinen lomake, johon lukumäärät voi merkitä suoraan paikan päällä.

Joskus esim. anonyymissä matalan kynnyksen kohtaamispaikkatoiminnassa voi olla haastavaa kerätä yksittäisten henkilöiden osallistujatietoja. Tällöin voi pari kertaa vuodessa havainnoida kävijämääriä muutaman viikon mittaisen otosjakson ajan, ja raportoida kävijämääriä arvioina.

Laadullinen seurantatieto

Kyselylomakkeet

Kysely voidaan toteuttaa paperisena tai sähköisenä lomakekyselynä. Paperista lomaketta voidaan hyödyntää kerätessä palautetta esim. jonkin tilaisuuden päätteeksi tai kun vastaajaryhmällä ei ole mahdollisuutta vastata sähköisiin kyselyihin. Sähköiset kyselyohjelmat puolestaan mahdollistavat laajankin tiedonkeruun vähäisemmillä resursseilla. Kun lomakepohja on kertaalleen luotu kyselyjärjestelmään, voi sitä hyödyntää jatkossa vastaavaan tiedonkeruuseen. Sähköiset kyselyohjelmat tekevät myös automaattisesti koonnin vastauksista, jolloin esimerkiksi vastaajien numeeriset arviot saa suoraan tuotua ulos järjestelmästä esimerkiksi keskiarvoina tai suorina jakaumina. Erikseen toteutettavien palautekyselyiden lisäksi kannattaa muistaa hyödyntää arvioinnissa myös mahdolliset toiminnassa kerättävät alkukartoitus tai ilmoittautumislomakkeet.

Pohdittavaa kyselylomaketta laadittaessa:

• Ei liian pitkää lomaketta. Mikäli kyselylomake on liian pitkä, vastaajan ote voi herpaantua kesken lomakkeen tai hän voi jättää kokonaan vastaamatta siihen. Usein vastaaja panostaa enemmän vastaustensa sisältöön, kun lomake on sopivan mittainen. Siksi onkin tärkeää punnita tarkkaan, millä kysymyksillä saadaan tarpeellinen tieto ja mitkä kysymykset ovat kenties turhia.
• Taustakysymykset. Vastaajien taustaa selvittävien kysymysten määrään kannattaa kiinnittää huomiota. Onko esim. vastaajan sukupuolella, iällä tai asuinpaikkakunnalla merkitystä tuloksia tarkasteltaessa? Joissain toiminnoissa voi olla tarpeen tarkastella esim. miesten ja naisten välisiä eroja, kun taas toisessa toiminnassa sukupuolella ei ole merkitystä annetun palautteen kannalta. Älä siis väsytä vastaajaa turhilla taustakysymyksillä, jos ne eivät ole olennaisia!
• Yhdistele numeerisia ja avokysymyksiä. Yleensä tasapainoinen kyselylomake sisältää avokysymyksiä ja numeerisia arvioita. Tulosten vertailu ja pitkän ajanjakson muutosten hahmottaminen onnistuu numeerisia osioita tarkastelemalla. Avokysymykset antavat vastaajille mahdollisuuden antaa tarkempaa tietoa ja lisävalaistusta numeerisiin arvioihin, sekä kertoa asioita, joita ei ole osattu edes kysyä.
• Vastausasteikon valinta. Lomakkeisiin voi rakentaa kysymyspatteristoja, joissa pyydetään vastaajaa ottamaan kantaa esimerkiksi esitettyihin väittämiin. Yksinkertaisimmillaan väittämiin voi vastata kyllä/ei-asteikolla. Asteikkoina yleisimmin käytetään joko asteikkoa 1-4 tai 1-5, jolloin 1=erittäin huonosti ja 5=erittäin hyvin. Neliportaisen asteikon etu on, että asteikkoa käytettäessä vastaajan tulee ottaa kantaa joko väittämän puolesta tai vastaan.
• En osaa sanoa -vaihtoehto. Lomaketta suunniteltaessa kannattaa tarkoin pohtia, käyttääkö asteikossa ”en osaa sanoa” -kohtaa. En osaa sanoa -vaihtoehto on eri asia kuin arvio ”siltä väliltä”, joten mikäli en osaa sanoa -vaihtoehtoa käytetään, tulee se sijoittaa erilleen muusta numeerisesta asteikoista, jottei se vääristä aineiston analysointivaiheessa vastauksista laskettavaa keskiarvoa.
• Testaa kyselylomaketta ensin sen kohderyhmään kuuluvien henkilöiden kanssa. Testaamalla saat kullan arvoista palautetta lomakkeen ymmärrettävyydestä, selkeydestä ja houkuttelevuudesta kohderyhmän näkökulmasta.

Haastattelut

Haastatteluja voi tehdä joko kasvokkain yksilö- tai ryhmähaastatteluina tai vaihtoehtoisesti puhelimitse tai etäyhteyksin. Tiedonkeruumenetelmänä haastattelut tarjoavat mahdollisuuden tietyn asian syvällisempään tarkasteluun tarkentavien kysymysten kautta. Haastatteluita tehdessä tulee olla haastattelurunko kysymyksineen valmiiksi pohdittuna.

Haastattelutilanteet voidaan joko äänittää tai kirjata keskeisimmät asiat ylös haastattelun aikana. Järjestöjen itsearviointia varten muistiinpanojen kirjaaminen on usein riittävä ja samalla myös aikaa säästävä tapa. Mahdollisuuksien mukaan esimerkiksi ryhmähaastatteluissa voi haastattelun vetäjän lisäksi olla mukana kirjuri, joka kirjaa ylös vastaukset.

• Yksilöhaastattelussa haastatellaan yhtä henkilöä kerrallaan. Haastattelurunko voi koostua valmiiksi valituista teemoista, joista keskustellaan vapaasti, tai haastattelu voi olla strukturoidumpi, jolloin samat kysymykset kysytään kaikilta haastateltavilta. Haastatteluun voi myös yhdistää esim. muutamia väittämäpatteristoja, jolloin saadaan samalla kerättyä numeerista tietoa.
• Ryhmähaastatteluissa saadaan samalla kertaa palaute suuremmalta joukolta. Ryhmähaastatteluissa haastattelijalla on tärkeä rooli sen varmistamisessa, että kaikki halukkaat pääsevät sanomaan oman mielipiteensä eikä kukaan jää tilanteessa paitsioon. Kaikilta ei kuitenkaan välttämättä tarvita vastausta joka kysymykseen. Kun samasta asiasta haastatellaan yhtä aikaa useampaa vastaajaa, käy usein niin, että jotkut vastaukset täydentävät toisiaan ja mukaan saadaan eri näkökulmia.

Työpajat ja palaverit

Tietoa ja palautetta voidaan kerätä myös järjestämällä arviointityöpaja, jossa osallistujat yhteisesti keskustellen käyvät läpi toiminnan vahvuuksia ja kehittämistarpeita. Työpajaa varten tulee olla runko, jonka pohjalta tilaisuutta viedään eteenpäin. Työskentelyä varten on hyvä varata tarpeeksi aikaa. Yleensä noin 2-4 tuntia riittää asioiden riittävän syvälliseen käsittelyyn. Työpajatyöskentelyä edesauttaa, jos on jo jotain arviointihavaintoja, joiden pohjalta keskustelua lähdetään käymään. Palautetta voidaan kerätä myös toimintaan muutenkin kuuluvissa palavereissa ja kokouksissa, joissa usein keskustellaan toiminnan onnistumisista sekä mahdollisista kehittämiskohteista.

Työpajan vetäjän vastuulla on jakaa puheenvuoroja ja vetää tilaisuus siten, että kaikki suunnitellut aihealueet tulee kattavasti käytyä läpi. Työpajassa käydystä keskustelusta kirjataan pääasiat sekä sovitut kehittämiskohteet ja toimenpiteet ylös.

Suullinen palaute

Suullista palautetta voidaan kerätä erikseen kysymällä, mutta suullista palautetta saadaan usein myös spontaanisti kysymättäkin. Suullinen palaute on yhtä arvokasta kuin kirjallinen, mutta jotta sitä pystyy hyödyntämään arvioinnissa, tulee sen olla systemaattisesti dokumentoitua. Suullisen palautteen ylös kirjaamista varten on hyvä olla olemassa esim. yhteinen Excel-taulukko, johon kaikki työntekijät pääsevät kirjaamaan saatua palautetta. Palaute-osion voi myös lisätä tiedostoon, johon kirjataan ylös toimintaan liittyviä asioita (kuten, mistä tapaamisessa oli kyse, mitä toimenpiteitä tehtiin, jne.).  Suullista palautetta voidaan myös kirjata ylös yhdessä esim. henkilöstön viikkopalaverien yhteydessä.

Havainnot ja työpäiväkirja

Järjestön kaikesta toiminnasta ja toiminnoista ei ole aina mahdollista kerätä tietoa kyselyiden tai haastatteluiden avulla. Tietoa saadaan jatkuvasti myös havainnoimalla toimintaa. Esimerkiksi ryhmän vetäjä tarkkailee jatkuvasti ryhmän toimintaa, vuorovaikutusta ja ilmapiiriä, ja samalla hän saattaa saada viitteitä osallistujissa tapahtuvista muutoksista tai toiminnan kehittämiskohteista. Havainnoidessa toimintaa tulee kuitenkin varoa tekemästä yleistyksiä pelkästään omien havaintojen pohjalta. On tärkeää muistaa kirjata ylös havainnot, jotta havainnointitieto saadaan tehtyä näkyväksi. Yksi mahdollisuus on pitää työpäiväkirjaa, johon säännöllisesti (esim. kerran viikossa) kirjataan ylös keskeiset havainnot ja kehittämisajatukset.

Tiedonkeruussa huomioitavaa:

• Vastaajan ohjeistus. Hyvä ohjeistus voi edesauttaa vastaamisinnokkuutta, ja on eettisesti oikein kertoa tiedonkeruun tarkoituksesta ja taustoista. On tärkeää myös kertoa selkeästi, että vastaaminen on vapaaehtoista. Kyselylomaketta käytettäessä ohjeistus kerrotaan saatekirjeessä, joka voi olla osa lomaketta tai kokonaan erillinen dokumentti. Haastattelujen osalta on hyvä kertoa tiedonkeruun tarkoituksesta ja taustoista haastattelupyyntöä tehtäessä sekä vielä kerrata asiat itse haastattelun toteutumisajankohtana.
• Luottamuksellisuus. Kun tiedonkeruussa selvästi kerrotaan tietojen luottamuksellisuudesta, tämä voi lisätä luottamusta ja motivoida vastaamaan. Anonymiteetin tärkeys korostuu kerättävien aineistojen ollessa pieniä. Muista vastuusi tiedonkerääjänä – älä kuitenkaan lupaa liikoja, ellet pysty takaamaan anonymiteettiä. Joissain tapauksissa anonymiteettiä ei kuitenkaan tarvita, ja siitä voi olla jopa haittaa. Esimerkiksi jos keskusjärjestö haluaa kerätä tietoa paikallisyhdistysten yksittäisistä tuen tarpeista paikallisesti, on hyvä tietää, kenestä on kulloinkin kysymys.
• Yleistettävyys. Arviointitulosten yleistettävyydessä tulee olla tarkkana. Jos vaikkapa muutaman tuhannen jäsenen järjestö teettää jäsenkyselyn, johon vastaa 30 % jäsenistä, vastauksia on määrällisesti paljon. Ne eivät kuitenkaan ole kattava otos jäsenistöstä sillä reilusti yli puolen ääni jäi kuulumattomiin. Vastauksista ei tällöin voida tehdä koko järjestön jäsenkuntaa koskevia yleistyksiä, mutta toisaalta voidaan luottaa siihen, että mahdollisuus vaikuttaa on annettu, ja näiden vastausten viesti on vähintäänkin suuntaa-antava. Usein ne, joilla on sanottavaa vastaavat kyselyyn.