Evaluer sa médiation, retour sur le 4e MIAMS
Publié par Echosciences Occitanie, le 28 juillet 2022 1.7k
Les MIAMS, Midis Inter Acteurs-Actrices de la Médiation Scientifique, sont les rendez-vous en ligne du réseau Science(s) en Occitanie. Le principe : échanger, partager, le temps d'une pause déjeuner et en toute convivialité, des expériences, bonnes pratiques et nouvelles idées pour renouveler ses actions de culture scientifique. La 4ème édition des MIAMS a mis en lumière la question de l’évaluation des médiations.
Nombre de participants, âge moyen… Souvent, les évaluations de nos actions sont réduites à des données chiffrées, parfois mal mesurées, sans recul et sans possibilité de véritablement s’emparer des résultats. Mais alors comment évaluer au mieux son projet et par quels bouts le prendre ?
Pour nous éclairer deux intervenantes ont partagé leurs retours d’expérience et conseils le temps de midi :
- Marlène Stricot, responsable des études au Quai des Savoirs ;
- Axelle Hubert, évaluatrice indépendante au service des acteurs et actrices de la culture et de l'éducation scientifiques, anciennement cheffe de projet / évaluation pour le Groupe Traces.
Avant de se lancer dans une évaluation
Avant toutes choses, il ne faut pas avoir peur de l’évaluation ! Si certains résultats sont négatifs, ce n’est pas forcément que les objectifs n’ont pas été atteints. Dans tout projet, il y a des points positifs et négatifs et un résultat négatif est un résultat qui compte également.
L’évaluation est avant tout une étude, avec une démarche scientifique. Il est essentiel avant d’entreprendre un travail d’évaluation d’identifier ce que l’on veut questionner (éléments à améliorer, fréquentation, identification des failles…) et de prendre le temps de bien formuler les questions de départ (Est-ce que l’action est en adéquation avec les besoins de la structure ? Quelles sont les attentes des bénéficiaires ?...).
Peut-on évaluer un apprentissage ?
Pour les intervenantes, il n’est pas possible d’évaluer les apprentissages à la sortie d’une exposition par exemple. De plus, un projet de médiation n’a pas en général comme objectif premier que le public reparte avec des acquis, mais plutôt que le public découvre ou vive une expérience.
Néanmoins, des études sur les apprentissages en psychologie cognitive existent en questionnant notamment le public à la sortie d’expositions et 6 mois plus tard. Mais cela nécessite alors un travail très spécifique.
Définir les indicateurs et les outils
Après avoir défini ses questions de départ, on peut alors définir des indicateurs qui peuvent être aussi bien objectifs (chiffres et taux, comme le nombre de participants) que subjectifs (témoignages, opinions, perceptions…).
Pour mesurer les indicateurs choisis, il est nécessaire de développer des outils adéquats quantitatifs et/ou qualitatifs en fonction de ses objectifs : questionnaires, entretiens, livre d’or…
Le qualitatif peut prendre plus de temps car en général ce sont des entretiens qui peuvent durer 1h30. Dans ce cas, il ne faut pas oublier de valoriser la participation du public en prévoyant notamment des cadeaux pour les remercier. Un questionnaire va être plus rapide (environ 3/5 minutes) mais ne va pas pouvoir tout mesurer. En général un seul outil ne va pas suffire, il vaut mieux combiner des questionnaires et des entretiens.
Pour Marlène Stricot et Axelle Hubert, les questionnaires auto-administrés (en libre accès sur une table ou en ligne) sont à éviter si c’est possible. Remplir un questionnaire avec la personne interrogée permet de capter plus d’informations et de la faire davantage parler.
Cependant, dans certains cas comme de grands événements qui réunissent beaucoup de public, il peut être difficile de prendre le temps de faire le questionnaire avec chaque personne. Dans ce cas, pour augmenter le nombre de réponses, Marlène Stricot a expérimenté une technique sur un des événements du Quai des Savoirs : des personnes de l’équipe ont demandé directement aux participants leurs mails pour leur envoyer par la suite un questionnaire. Le taux de réponse a été plutôt élevé, puisque les personnes qui ont donné volontairement leur mail se sont en quelque sorte engagées.
De manière générale, diffuser un questionnaire de retour après un événement sans disposer de mails et seulement sur les réseaux sociaux fonctionne peu. Ce qui peut éventuellement fonctionner à ce moment-là est de faire apparaître sur son site une fenêtre pop up à condition que le site soit suffisamment fréquenté.
Il existe également d’autres techniques que le questionnaire ou l’entretien comme le « tracking shadowing » qui consiste à regarder plusieurs usagers, les suivre et noter diverses informations comme le temps consacré à une visite par exemple.
Organiser la collecte des données
Quand vous savez ce que vous devez évaluer et avec quels outils, il faut choisir comment s’y prendre et définir comment va s’organiser la collecte (qui, quand, par qui).
L’évaluation peut se faire à différents moments de la médiation, et même dès sa conception. L’idéal est de concevoir l’évaluation en même temps que le projet. L’évaluation peut aussi se faire pendant la médiation avec un dispositif in situ. Si c’est une exposition ou un projet qui tourne, l’évaluation peut alors être utile avant chaque nouveau cycle.
Concernant le choix des personnes qui vont s’occuper de l’évaluation, il vaut mieux que ce soit des personnes extérieures au projet pour éviter les excès d’affect. Confier l’évaluation à des tiers permet de trouver une posture de retrait et d’impartialité : si vous avez suffisamment de moyens, vous pouvez faire appel à des cabinets ou à des chercheurs pour avoir une analyse plus fine.
Une évaluation : forcément beaucoup de temps et d’argent ?
Le côté fastidieux de la collecte de données et la mobilisation de personnel peut constituer un frein à se lancer dans l’évaluation. Il faut en effet des personnes dédiées pour se saisir des outils, faire les questionnaires, assurer les observations... Mais l’évaluation peut s’adapter au projet et aux contraintes de la structure et prendre des formats différents. Parfois il n’est pas utile de se lancer dans des dispositifs fastidieux. Des évaluations simples peuvent suffire selon les objectifs : est-ce que le public comprend les consignes ?...
De plus, il n’est pas forcément nécessaire de faire une évaluation sur un grand échantillon de personnes pour avoir des résultats pertinents.
Grandes ou petites structures, grands ou petits moyens, il est donc envisageable de se lancer dans l’aventure de l’évaluation à condition de bien définir en amont ses questions de départs, ses objectifs, ses indicateurs et ses outils.
