Les chiffres permettent de suivre les évolutions, de comparer les résultats et de piloter un projet. Les témoignages, eux, donnent du sens aux données et éclairent les mécanismes de changement. Dans une démarche de mesure d'impact social, l'enjeu n'est donc pas de choisir entre qualitatif et quantitatif, mais de savoir à quel moment utiliser chaque méthode et comment les combiner efficacement.
Quelle est la différence entre données qualitatives et données quantitatives ?
Avant de choisir vos indicateurs ou votre méthode de collecte, il est essentiel de distinguer deux grandes familles de données utilisées en mesure d'impact. La méthode quantitative s’appuie sur des questions fermées. Sous forme de chiffres clés, les réponses servent à mesurer une activité ou un effet. Elles sont plus faciles à analyser que les données qualitatives.
La méthode qualitative se base elle, sur des questions ouvertes qui contribuent à décrire une situation, un besoin ou une problématique de vos bénéficiaires. Les réponses prennent alors la forme de textes, d'observations.
Les indicateurs d’impact objectifs et subjectifs reflètent des données quantitatives.
- Les indicateurs objectifs prennent la forme de données chiffrées, montants ou pourcentages et mesurent un effet.
- Les indicateurs subjectifs mesurent la perception par un acteur d’une situation et s’appuient sur des observations ou des déclarations. On utilisera pour cela des indicateurs à échelle linéaire, sélections uniques et multiples…
Une fois les données à collecter identifiées, reste à choisir la méthode la plus adaptée à votre public et à vos ressources.
Quelles méthodes pour collecter des données d'impact ?
Les méthodes de collecte n’ont pas toutes le même coût, ni la même précision. Le choix dépend surtout de votre public et de la relation que vous avez avec lui.
- Données déjà disponibles : Peu coûteuses, rapides à exploiter, mais elles donnent surtout des informations factuelles (profil, participation). Elles ne permettent pas d’évaluer le ressenti ou les changements vécus.
- Enquête en ligne : Efficace lorsqu’on a les contacts et que les bénéficiaires sont à l’aise avec le numérique. Cela permet de collecter des données quantitatives auprès d’un grand nombre de personnes, mais la précision qualitative reste limitée.
- Entretien à distance (téléphone / visio) : Plus engageant qu’un questionnaire en ligne. Il permet des réponses plus nuancées mais demande davantage de temps et d’organisation.
- Entretien en personne : La méthode la plus riche pour comprendre les changements vécus, mais aussi la plus coûteuse en temps. Très utile lorsque la relation humaine est centrale, ou si les personnes ont des difficultés avec les outils numériques.
- Groupe de discussion : Méthode qualitative collective permettant de faire émerger des perceptions partagées. Elle demande une animation maîtrisée et un temps dédié.
Il n’y a pas de « bonne » méthode en soi : on choisit celle qui est réaliste, adaptée au public, et cohérente avec les ressources disponibles.
Pourquoi combiner données qualitatives et quantitatives dans une mesure d'impact ?
Les données qualitatives peuvent servir à différents moments dans la mesure d’impact ou dans la vie du projet. Tout d’abord, au moment de la définition de la théorie du changement ou du projet. Réaliser des entretiens qualitatifs avec vos parties prenantes, notamment celle pour qui vous souhaitez mesurer les effets du projet, permet de mieux identifier les problématiques qu’elles rencontrent, leurs besoins non couverts et leurs attentes vis-à-vis du projet. C’est ce que font les centres sociaux dans le cadre du « diagnostic du territoire » avant la rédaction du projet social qu’ils présentent ensuite à la CAF.
⚠️ Un conseil : limiter le nombre d’entretiens pour ne pas être submergé d’éléments à analyser (5 entretiens suffisent).
Dans le cadre d’évaluation d’impact, une étude qualitative approfondie est fréquemment associée aux indicateurs d’impact. L’évaluation d’impact est généralement ponctuelle, réalisée le plus souvent en fin de programme par un tiers.
Il est aussi pertinent d’intégrer des questions ouvertes dans ses enquêtes en ligne, cela permet de collecter des verbatims mais aussi d’ouvrir la discussion. Les bénéficiaires peuvent ainsi expliciter les aspects du projet qui leur ont le plus plu et faire des suggestions d’amélioration.
⚠️ Un conseil : encore une fois, limiter les questions ouvertes. La clé des enquêtes est qu’elles ne soient pas trop longues à remplir pour vos bénéficiaires (5 à 8min max) et que la place soit laissée aux indicateurs d’impact.
Pour la gestion de l’impact de sa structure, on privilégiera les méthodes quantitatives qui permettent de suivre des indicateurs dans le temps et leur évolution pour vous aider à améliorer et valoriser vos activités. La collecte de verbatims vous apporte quant à elle des témoignages utiles pour votre communication. Combinés aux chiffres, ils permettent de raconter une histoire, celle de votre projet, et d’humaniser la donnée et les parcours de vos bénéficiaires.
Conclusion
Au fond, la question n'est pas de savoir si le qualitatif est plus pertinent que le quantitatif, ou inversement. Les deux répondent à des besoins différents et sont complémentaires.
Les données quantitatives permettent de mesurer, comparer et suivre l'évolution des effets dans le temps. Les données qualitatives aident à comprendre pourquoi ces effets se produisent, à identifier des besoins émergents et à donner de la profondeur aux résultats.
Pour la plupart des organisations, une démarche de mesure d'impact social efficace repose sur un équilibre simple : s'appuyer principalement sur des indicateurs quantitatifs pour piloter l'activité, tout en intégrant quelques temps de collecte qualitative aux moments clés du projet. Cette combinaison permet à la fois d'améliorer ses actions, de rendre compte de leur utilité et de partager des résultats plus parlants avec ses partenaires, financeurs et bénéficiaires.
En définitive, la meilleure méthode n'est pas la plus sophistiquée, mais celle que votre organisation sera capable de mettre en œuvre de façon régulière et durable.
Pour aller plus loin
👉 1ère étape de sa démarche : construisez votre théorie du changement
👉 Définissez vos indicateurs avec notre guide
👉 Vous souhaitez être accompagné pour mener votre démarche ? Prenez rendez-vous avec un expert !