Institutnätverkets modell för att bedöma institutens genomslagskraft tas i bruk i början av 2025.
Nätverkets mål för genomslagskraften har i en gemensam intern process definierats som hållbar internationalism.
Syftet med den nya modellen för effektutvärdering är att komplettera den statistik som sedan 2017 samlats in för att påvisa verksamhetens genomslagskraft.
Det teoretiska ramverket för effektutvärderingen är förändringsteori (Theory of Change). Institutens genomslagskraft utvärderas i förhållande till i vilken utsträckning de lyckas uppnå de effekter som nätverket har definierat som mål, vilka är definierade i enlighet med att nätverkets aktiviteter, om de förverkligas, bidrar till de långsiktiga målen för social förändring och genomslagskraft.
Genom insamling av effektdata fokuserar nätverket i allt högre grad sin utvärdering på effekterna av institutens arbete och aktiviteter på deras målgrupper, intressenter och samhället i stort. Effektdata samlas in genom fyra enkäter riktade till institutens målgrupper: 1) Medarbetarundersökning, 2) Partnerundersökning, 3) Publikundersökning, 4) Institutens självutvärdering. De insamlade uppgifterna kompletteras med uppföljningsundersökningar och intervjuer.
Utarbetandet av modellen för utvärdering av genomslagskraft har varit en lång utvecklingsprocess
Kulturinstitutens genomslagskraft har tidigare utvärderats i rapporten ”Vientiä, vaihtoa, vaikuttavuutta: Selvitys kulttuuri- ja tiedeinstituuttien merkityksestä Suomelle” (Cupore, 2012) och i rapporten ”Mitä olisi, jos kulttuuri- instituutteja ei olisi? – Selvitys Suomen kulttuuri-instituuttien vaikuttavuudesta” (Miltton, 2023).
Vetenskapsinstitutens genomslagskraft har tidigare behandlats i undervisnings- och kulturministeriets publikation ”Tieteelle tarkoitettujen rahapelitoiminnan voittovarojen käytön arviointi” (2018).
Baserat på rekommendationerna i rapporterna inledde Finlands kultur- och vetenskapsinstitut rf (SKTI) 2022 arbetet med att utveckla en modell för insamling av data om nätverkets genomslagskraft.
Under 2023 genomförde SKTI, i samarbete med Sini Rinne-Kerridge, konsult vid National Council for Voluntary Organisations (NCVO), en serie workshops om förändringsteori för hela institutnätverket. Syftet var att ta fram ett gemensamt effektmål för hela nätverket och att definiera de önskade effekterna. Minst en representant från varje institut deltog i workshopparna.
Teman för workshopparna var:
- Systemförändring och förändringsteori (Systems change and Theory of Change)
- Resultat och målgrupper (Outcomes and audiences)
- Prioritering och antaganden (Priorisation and assumptions)
- Mätning (Measuring)
Arbetet resulterade i en gemensam förändringsteorikarta och ett narrativ som beskriver stegen och målen i processen för att utveckla modellen för genomslagskraft.
Workshopserien avslutades i slutet av 2023. Därefter skapades den faktiska utvärderingsmodellen, dvs. effektindikatorer, frågor och frågeformulär för instituten för att samla in effektdata. Som ett pilotprojekt användes frågeformulären under hösten 2024 i det för 10 institut gemensamma projektet pARTir.
I början av 2025 kommer frågeformulären att rullas ut till alla institut. Den effektdata som samlas in genom enkäterna kommer att analyseras både på institutnivå inom instituten som en del av institutens eget utvecklingsarbete, och på nätverksnivå av SKTI.
Referenser:
”Mitä olisi, jos kulttuuri-instituutteja ei olisi? Selvitys Suomen kulttuuri-instituuttien vaikuttavuudesta”, Miltton 2023. https://valtioneuvosto.fi/hanke?tunnus=OKM018:00/2023 https://valtioneuvosto.fi/-/1410845/selvitys-suomen-kulttuuri-instituuttien- vaikuttavuudesta-valmistunut
”Vientiä, vaihtoa, vaikuttavuutta: Selvitys kulttuuri- ja tiedeinstituuttien merkityksestä Suomelle”, Cupore 2012, Saukkonen, Pasi; Mitchell, Ritva; Kontkanen, Riitta https://www.cupore.fi/julkaisut/vientia-vaihtoa-vaikuttavuutta-selvitys-kulttuuri-ja- tiedeinstituuttien-merkityksesta-suomelle/
”Tieteelle tarkoitettujen rahapelitoiminnan voittovarojen käytön arviointi ”, Opetus- ja kulttuuriministeriön julkaisuja 2018:9, Raivio, Tuomas; Sepponen, Susanna; Pessala, Piia; Vaahtera, Anu; Hjelt, Mari https://julkaisut.valtioneuvosto.fi/handle/10024/160537
National Council for Voluntary Organisations (NCVO)
https://www.ncvo.org.uk/