Evaluation methods for community-based organisations : sense of community, engagement and resilience in sports clubs and community centres in Finland

Abstract

This study explores impact and performance evaluation methods and variables within community-based organisations. The focus is on community centres and sports clubs in Finland. The research examines three indicators of organisational performance and social impact: sense of community (SOC), engagement, and resilience. To assess these dimensions, the study compares two types of evaluation methods, visitor-based and unit-based evaluation, which are assessed using the case tools Melvio and HCforsports.

A literature review establishes theoretical links between SOC, engagement, and resilience in communities internationally, forming a conceptual foundation for empirical analysis. SOC definitions and evaluations are assessed between the two cases, highlighting similarities and differences in approaches. In sports clubs, SOC and resilience are assessed using HCforsports indices: the Conviviality Index (CI) and the Resilience Index (RI). The underlying scoring algorithms are examined and remodeled using surrogate modelling and sensitivity analyses. The underlying algorithms are complex relations of a unit, and the multi-model sensitivity analyses reveal associations between variables. CI is positively associated with all variables - participation, goal-orientedness, criticality, and unanimity. Resilience is shown to be a function of moderate CI values and a moderate number of club stakeholders. Engagement is examined in community centres using Melvio data, applying Kaplan-Meier survival analysis and Random forest models. Key factors influencing engagement include the number of socioeconomic risk factors, and non-native mother language. Additionally, the spring season indicated a positive association. The Random forest model also identifies some well-being indicators (surveys) as relatively important predictors of visit count per visitor, although these findings require further validation.

The final part of the study compares visitor-based and unit-based evaluation methods, offering practical recommendations. Given the complexity of measuring SOC, engagement, and resilience, the study advocates for triangulation, combining both methods for the evaluation of impact and performance. These findings contribute to a more holistic performance assessment framework for Finnish community-based organisations.

Tässä tutkimuksessa tarkastellaan yhteisöorganisaatioiden vaikuttavuuden ja suorituskyvyn arviointimenetelmiä ja vaikuttavuusmuuttujia. Tutkimuksen kohteena ovat yhteisötalot ja urheiluseurat Suomessa. Tutkimuksessa analysoidaan kolmea indikaattoria, jotka kuvaavat organisaation suorituskykyä ja vaikuttavuutta: yhteenkuuluvuus, sitoutuminen ja kestävyys. Näiden ulottuvuuksien arvioimiseksi vertaillaan kahta menetelmää: yksilötason ja yksikkötason arviointi, joita tarkastellaan case-työkalujen Melvio ja HCforsports avulla.

Kansainvälisessä kirjallisuuskatsauksessa muodostetaan teoreettiset yhteydet yhteisöjen yhteenkuuluvuuden, sitoutumisen ja kestävyyden välillä, jotka toimivat empiirisen analyysin käsitteellisenä perustana. Yhteenkuuluvuuden määritelmiä ja arviointitapoja tarkastellaan case-työkalujen välillä, tuoden esiin lähestymistapojen yhtäläisyyksiä ja eroja. Urheiluseuroissa yhteenkuuluvuutta ja kestävyyttä mitataan HCforsports-indekseillä: Conviviality Index (CI) ja Resilience Index (RI). Näiden indeksien taustalla olevat algoritmit muodostavat muuttujista komplekseja relaatioita yksikkötasolla. Tässä työssä indeksit mallinnetaan korvikemallien (surrogate models) ja herkkyysanalyysien avulla, muuttujien välisten yhteyksien valottamiseksi. CI on positiivisesti yhteydessä kaikkiin mitattuihin tekijöihin: osallistuminen, tavoitteellisuus, kriittisyys ja yksimielisyys. Kestävyys taas muodostuu keskinkertaisista CI-muuttujista ja seuratoimijoiden määrästä. Yhteisötaloissa sitoutumista analysoidaan Melvion datan pohjalta hyödyntäen Kaplan-Meierin selviytymiskäyrää ja Satunnaismetsä-mallia. Sitoutumiseen vaikuttaviksi tekijöiksi tunnistetaan sosioekonomisten riskitekijöiden määrä ja muu kuin kansalliskieli äidinkielenä. Lisäksi kevätkaudella on myönteinen yhteys sitoutumiseen. Satunnaismetsä-malli osoittaa, että joillakin hyvinvoinnin alkukyselyvastauksilla on suhteellisen suuri kontribuutio käyntikertojen määrään, mutta nämä havainnot edellyttävät lisäarviointia.

Tutkimuksessa vertaillaan yksilötason ja yksikkötason dataa, ja esitetään käytännön suosituksia kokonaisvaltaisemman vaikuttavuuden ja suorituskyvyn arviointikehyksen kehittämiseksi suomalaisissa yhteisöorganisaatioissa. Koska yhteenkuuluvuuden, sitoutumisen ja kestävyyden kaltaisten laadullisten indikaattoreiden mittaaminen on monimutkaista, tutkimus suosittaa triangulaatiota, tässä tapauksessa yksilö- ja yksikkötason datan yhdistämistä, jotta vaikuttavuutta voidaan arvioida kattavammin.