Mitä odotamme Suomen yliopistojen vaikuttavuusraportoinnilta?

Julkisen sektorin laskentatoimelle on tavanomaista kiteyttää erilaisten verorahoitteisten ja julkisia palveluja tuottavien organisaatioiden tavoitteet kolmeen E:hen. Nämä ovat economy (talous), efficiency (tehokkuus) ja effectiveness (vaikuttavuus). Taloudesta raportoidaan tuloslaskelman ja taseen sekä erilaisten rahamääräisten indikaattoreiden perusteella. Näin esimerkiksi koko yliopiston tasolla saadaan käsitys siitä, ovatko menot ja tulot pysyneet tasapainossa. Tehokkuusvertailujen avulla saadaan käsitys vaikkapa siitä, miten paljon resursseja eri yliopistoissa tarvitaan tietyn koulutusalan tutkintokoulutukseen. Suomen yliopistojen tulosohjausta ja rahoitusmallia on kehitetty lähinnä talouteen ja tehokkuuteen keskittyen. Niihin on tarjolla paljon erilaisia indikaattoreita, joiden määrästä ja painotuksista myös rahoitusmallia voi kritisoida.

Vaikuttavuutta voidaan joka tapauksessa pitää kolmesta perustavoitteesta tärkeimpänä. Se on samalla monitahoisin ja kontekstiriippuvaisin, mikä tekee siitä myös vaikeimmin mitattavan. Vaikuttavuus, sen mittaus ja arviointi ovat aina suhteessa organisaatiolle määriteltyihin päämääriin. Yrityksiltä sijoittajat odottavat yleensä lähinnä taloudellista tulosta, ja siksi yritysten vaikuttavuustieto löytyykin pääosin tilinpäätöksestä. Julkisen sektorin organisaatioiden päämäärät, tavoitteet ja niiden määrittely ovat monimutkaisempia kokonaisuuksia. Lainsäädäntö on demokraattisen hallinnon keino määritellä pysyväluonteisia päämääriä, joiden pohjalta sektoriministeriöt hyödyntävät keskeisenä keinona tulosohjausta.

Vaikuttavuus yliopiston tehtävien toteuttamisena

Suomen yliopistolain (558/2009) mukaan ”Yliopistojen tehtävänä on edistää vapaata tutkimusta sekä tieteellistä ja taiteellista sivistystä, antaa tutkimukseen perustuvaa ylintä opetusta sekä kasvattaa opiskelijoita palvelemaan isänmaata ja ihmiskuntaa. Tehtäviään hoitaessaan yliopistojen tulee edistää elinikäistä oppimista, toimia vuorovaikutuksessa muun yhteiskunnan kanssa sekä edistää tutkimustulosten ja taiteellisen toiminnan yhteiskunnallista vaikuttavuutta.” Lain mukaan yliopistojen päämääränä näyttäisi olevan yhteiskuntaan vaikuttaminen laajasti, siis laajemmin kuin kilpailemalla keskenään rahoitusmallin määrittämien suoritteiden eli tutkintojen (50 %) ja julkaisujen (14 %) määrissä, sekä kilpaillun täydentävän T&K rahoituksen (12 %) määrässä.

Suomen yliopistokentältä vaikuttaa tällä hetkellä puuttuvan raportointi laajasta yhteiskunnallisesta vaikuttavuudesta. Yliopistojen rahoitusmalliin kuuluu toki joitakin elementtejä, joissa voi nähdä yhteyden tähän. Esimerkiksi maistereiden nopea työllistyminen (2 %) koulutustaan vastaaviin tehtäviin (2 %) on rahoitusmalliin sisältyvä vaikuttavuusindikaattori. Ja joltakin osin myös sektoriministeriön kanssa sovitulla harkinnanvaraisella rahoituksella – strategisten painotusten, valtakunnallisten tehtävien ja toiminnan uudistamisen perusteella – saattaa olla yhteys yhteiskunnalliseen vaikuttavuuteen (24 %). Vaikka Kansallisen koulutuksen arviointikeskuksen korkeakoulujen laatuauditeissa, Suomen Akatemian tutkimushankkeiden arviointikriteeteissä ja kauppatieteellisten yksikköjen tärkeimmissä laatujohtamisjärjestelmissä (AACSB, EQUIS) vaikuttavuus on jollakin lailla mukana, yliopistojen sovittuja tuotantomääriä laajemman yhteiskunnallisen vaikuttavuuden raportointi ja sitä hyödyntävä arviointi Suomesta kuitenkin puuttuu.

Esimerkkejä vaikuttavuusraportoinnista maailmalta

Monissa maissa, kuten Iso-Britanniassa (Research Excellence Framework), Hollannissa (Strategy Evaluation Protocol) tai Australiassa (Engagement and Impact Assessment) on kehitetty ratkaisuja yliopistojen vaikuttavuudesta raportointiin. Britannian REF, kuten sen edeltäjä RAE, lienevät maailman tunnetuimpia yliopistojen vaikuttavuuden arviointimalleja. Alkuperäinen tarve valtion tutkimusrahoituksen kohdentamiselle korkeakouluille tutkimuksen laadun perusteella syntyi Britanniassa, kun korkeakoulutuksen duaalimalli lopetettiin vuonna 1992. Alusta saakka ulkopuolisten paneelien arviot tutkimuksen laadusta ovat vaikuttaneet suoraan yliopistojen saamaan valtion rahoitukseen. Kuten suomalainen JUFO- pisteytysjärjestelmä, myös alkuperäinen RAE-arviointi palkitsi teoreettisista julkaisuista ja suosi näin perinteisiä tiedeyliopistoja. REF-malliin on lisätty vaikuttavuuden arviointi (impact case studies), jonka mukaan arvioinnissa huomioidaan tiedejulkaisujen lisäksi myös tutkimustoiminnan laaja vaikuttavuus yhteiskunnassa. Vaikuttavuuden arviointi perustuu yliopistojen kirjoittamiin narratiivisiin kertomuksiin siitä, miten niiden tutkimus on muuttanut esimerkiksi lainsäädäntöä, terveydenhuoltoa tai taloutta.

Hollannin SEP perustuu ajatukseen tiedeyksiköiden arvioinnista niiden itse määrittelemien päämäärien ja strategian pohjalta. SEP:n päätavoitteena on tutkimuksen laadun ja yhteiskunnallisen relevanssin ja tästä aiheesta käytävän jatkuvan dialogin ylläpitäminen. Arviointiin liittyy itsearviointiraportti, joka kertoo yksikön tärkeimmistä saavutuksista kuuden vuoden tarkastelujaksolla sekä tältä pohjalta tarkennetuista päämääristä ja strategiasta. Raportin muotona on koherentti narratiivi, jota tuetaan faktoilla ja täydennetään yhdellä vaikuttavan tutkimustapauksen laajemmalla esittelyllä. Arviointia ohjataan kolmen näkökulman avulla: 1) tutkimuksen laatu; 2) yhteiskunnallinen relevanssi, ja; 3) tiedeyksikön elinkelpoisuus. Yhteiskunnallista relevanssia arvioidaan tutkimuksen vaikutusten, tutkijoiden yhteiskunnallisen vuorovaikutuksen ja tutkimuksen hyödynnettävyyden perusteella. Vaikutusten arvioinnissa on huomioitu siihen liittyvät ongelmat, jotka johtuvat tutkimuksen vaikutusten usein pitkistä viipeistä ja monista muodoista. Raportissa voidaankin siksi nostaa esiin sellaisten tutkimusten vaikutukset, jotka ovat tulleet esiin viimeisen kuuden vuoden aikana, vaikka tutkimus olisi toteutettu huomattavasti aikaisemmin. Lisäksi tutkimuksen vaikutuksina voidaan huomioida sekä taloudellisia, sosiaalisia, kulttuurisia, kasvatuksellisia tai muun tyyppisiä hyötyjä yhteiskunnalle. Elinkelpoisuuden arvioinnin kohteena on yksikön strategisten tavoitteiden, johtamisen ennakointikyvyn ja resurssien riittävyyden muodostama kokonaisuus. Arviointiraportit ovat julkisia ja niistä tiedottaminen on tiedeyksikön hallituksen vastuulla, osana yhteiskunnallista tilivelvollisuutta.

Australian EI-arviointi erottaa edellisistä poiketen tutkimuksen vaikuttavuuden ja tutkimusyksikön sitoutumisen vuorovaikutukseen valittujen yliopiston ulkopuolisten organisaatioiden kanssa. Arvioinnilla on haluttu tehdä näkyväksi tutkijoiden vuorovaikutus tutkimustulosten loppukäyttäjien kanssa ja kuinka tutkimuksen avulla saadaan aikaan todennettavaa taloudellista, sosiaalista, ympäristö- ja kulttuurivaikutusta. Sitoutuminen tekee näkyväksi pitkäaikaisen yhteistyön esimerkiksi sairaaloiden tai merkittävien yritysten kanssa. Vaikutukset yhteiskuntaan eivät synny usein yksinomaan tutkijoiden toimesta, vaan siihen tarvitaan pitkäjänteistä yhteistyötä, yhteistyön mahdollistavaa kulttuuria, luottamuksen ansaitsemista, koulutukseen osallistujia, kouluttajilleen kiitollisia ja ylpeitä alumneja tai vaikkapa yritysten osittain rahoittamia professoreita. Australian EI vuodelta 2018 jäi toistaiseksi ainoaksi kaikkia yliopistoja koskevaksi arvioinniksi. Siihen liittyvien palautteiden pohjalta vaikuttaa siltä, että raporttien laatiminen aiheutti tutkijoille liian suuren hallinnollisen taakan ja lopputuloksena syntyneitä tutkimusinstituutioiden rankingejä, pisteytyksiä ja luokitteluja ei ole pidetty kovin luotettavina tai järkevällä tavalla kannustavina. Uutta arviointimallia kuitenkin kehitetään, koska poliittinen paine tutkimuksen vaikuttavuusarvioinnille säilyy. Suunnitelmana on integroida vaikuttavuus osaksi yleistä tutkimusarviointia, hyödyntää enemmän automaattista tiedonkeruuta ja olemassa olevia tietovarastoja.

Suomen malli – mitä ja miksi?

Mutta mikä olisi Suomen yliopistosektorin ratkaisu tulevaisuudessa? Tarvitaanko vaalien alla muutakin perustelua yliopistojen rahoitukselle, kuin tutkintomäärien kasvu ja sijoitus kansainvälisissä tutkimusrankingeissä? Ehkä tilausta olisi aktiivisemmalle tutkimusryhmien, tiedealojen ja yliopistojen vaikutuksista kertomiselle. Onko perustelu nykyiselle rahoitusmallin indikaattorikeskeisyyden säilymiselle teoreettisen tutkimuksen ja taiteellisen vapauden suojelussa? Vai olisiko yliopistojen ohjauksen uudistamisessa Suomessakin parempi tavoitella nykyiseen ohjausmalliin tunnetusti liittyvien kannustinongelmien, eli kapeutuvan tutkimuksen laatuajattelun (julkaisufoorumirankingit, ks. Dora) ja lyhytjänteisen julkaisumäärien lisäämiseen kannustavan tuottavuusajattelun, korjaamista ja huomioimaan paremmin toiminnan laajat yhteiskunnalliset vaikutukset? Vastuullisuuden osoittamisessa yliopistoille ja tiedeyksiköille eri mekanismien (OKM, SA ym.) kautta kohdennetun tutkimusrahoituksen käytössä voisi mielestäni aivan hyvin liittää velvoitteen raportoida toiminnan laajasta vaikuttavuudesta. Toinen asia on, kannattaako tähän liittyen luoda kuinka paljon uusia indikaattoreita, tai työläitä arviointikäytäntöjä, tai kytkeä vaikuttavuustavoitteita yliopistojen rahoituksen perustaksi. Jos jotain strategia- ja vaikuttavuussisältöjä yliopistojen ja ohjaavan ministeriön sopimusneuvotteluihin meillä jo liittyisikin, jonkinlainen yliopistojen vaikuttavuusraportointi tekisi tästä julkisempaa ja kaikille avoimempaa.

Jos loppuyhteenvetona jotakin ehdottaisin, niin 1) jonkinlainen Suomen viitekehys toisi raportointiin arvioinnin mahdollistavaa järjestelmällisyyttä; 2) tarve ja muoto vaikuttavuusraportoinnille määrittyy ajankohtaisten ongelmien pohjalta, ja; 3) ei kannata haukata liian suurta palaa kerralla, vaan alkuun sopivat tavoite voisi olla vaikuttavuustietietoisuuden lisääminen.

Viittaukset:
Australian Research Council (2019). Engagement and Impact Assessment 2018-19: National report
Dora (2013) San Francisco Declaration on Research Assessment
Julkaisufoorumi (JUFO)
Opetus- ja kulttuuriministeriö (2023). Korkeakoulujen rahoitusmallien uudistaminen vuodesta 2025 alkaen: Työryhmän raportti. Opetus- ja kulttuuriministeriön julkaisuja 2023: 36.
REF 2029 (2024). Initial guidance and transition arrangements. Research Excellence Framework
VSNU, KNAW & NWO (2020). Strategy Evaluation Protocol 2021-2027
Yliopistolaki 24.7.2009/558

Jukka Pellinen

Johdon laskentatoimen professori, Jyväskylän yliopisto; Professoriliiton valtuuston puheenjohtaja

Lue lisää kirjoittajalta