Encore cette année, j'ai pu assister à quelques conférences données à l'occasion du Salon du Livre 2013. Je vous retranscris ci-dessous celle qui m'a parue la plus intéressante parmi les quelques unes dont j'ai été témoin. Notez bien néanmoins, qu'il s'agit d'une retranscription à partir de mes notes : certains intervenants parlaient assez vite et l'ensemble des communications étaient denses. J'ai donc fait mon possible pour noter le plus de choses possibles, mais les phrases reproduites ci-dessous ne sont pas exactement celles qui ont été prononcées par les intervenants. J'espère néanmoins leur être restée relativement fidèle.
***
Evaluer la bibliothèque
Les intervenants :
Pierre-Yves Renard,
directeur du
Bibliopôle
(réseau de lecture du conseil général du Maine et Loire)
Animé par
Martine
Poulain, directrice de la bibliothèque de l’
INHA
Valérie Alonzo et Pierre-Yves Renard ont co-dirigé
l’écriture du livre
Evaluer la bibliothèque, paru en
décembre 2012 au Cercle de la Librairie. C'est à l'occasion de cette parution qu'était organisée cette rencontre.
Intervention de Valérie Alonzo :
Aujourd’hui, il y a consensus sur la nécessité de
l’évaluation en bibliothèque. On a
observé un essor récent lié à l’évolution de l’environnement institutionnel.
Il existe un aspect idéologique. Le fait qu’on aboutisse
à des indicateurs chiffrés donne une impression d’objectivité. L’évaluation des
politiques publiques se faisait auparavant dans un contexte d’aisance budgétaire et d’un gouvernement socio-démocrate.
Elles avaient pour objectif des politiques publiques mieux adaptées, organisées
par des organismes centralisés. Aujourd’hui, nous sommes plutôt dans un contexte de restrictions budgétaires et
de gouvernement plus conservateur, il s’agit plutôt de justifier et de guider
les réductions de budget.
L’essor qu’a connu l’évaluation des bibliothèques s’est fait
plutôt dans ce contexte. Mais il ne s’agit pas seulement d’une aide à la prise
de décision mais aussi de montrer les capacités de l’Etat à mener des
politiques publiques.
D’autre part, le niveau
d’intervention a changé. La décentralisation
n’est certes plus une nouveauté du coté de la lecture publique. Mais le
phénomène a fait une apparition plus récente en bibliothèque universitaire du
fait de la LRU. Ses effet ont inclus
des démarches de contractualisation, un questionnement des objectifs au niveau
local comme national, etc. On fait face à une pluralité d’acteurs : décideurs locaux, usagers, instances
d’évaluation et de contrôle. La contractualisation
a entraîné une segmentation : les contrats se font sur des objectifs
ciblés. En bibliothèque universitaire, on divise les étudiants en catégories (les licences, les élèves en
difficultés, etc.). Les bibliothèques doivent se distinguer les unes des
autres : elles proposent donc de nouveaux services, répondent à des
demandes ciblées qui font donc l’objet d’indicateurs
morcelés.
Les travaux à mener se complexifient : alors quels
indicateurs pour mesurer le portrait des bibliothèques ? Il faut
interroger ses objectifs. Il faut adopter plusieurs
points de vue (le citoyen, l’usager, le contribuable) et la réponse à ces
demandes ne se fait pas de la même façon. Les incertitudes quant aux missions
se traduisent par un travail se recentrant sur la satisfaction des
utilisateurs. On va donc faire des mesures de coût et d’impact pour arriver à
se comparer dans le temps et avec d’autre (benchmarking).
La comparaison
dans le temps se fait depuis un moment via l’utilisation de tableaux de bord. Cela permet
d’observer les évolutions et de fixer des objectifs à atteindre.
Le benchmarking
pose des questions méthodologiques du fait de l’hétérogénéité des données et
des établissements. Il est effectué le plus souvent au niveau national car il
est plus facile de savoir ce que l’on compare. La collecte au niveau national
de ce type de données est connue et l’on dispose d’un réservoir de statistiques
important et sur le long terme, ce qui est très utile pour dégager des
synthèses et chercher des informations à la source de manière fine.
Les comparaisons
internationales sont importantes mais plus difficiles. Il s’agit de montrer
des tendances, de chercher des pistes d’évolutions.
Dans le cas d’une démarche
qualité, on va retrouver la question de l’usager. On y a souvent recours
dans le cadre d’une volonté de diagnostique de la fonction d’accueil (sur lesquelles les bibliothèques travaillent de
plus en plus). Elle répond à une ambition d’amélioration des services.
La Charte Marianne
est beaucoup utilisée dans les collectivités locales. Elle est souvent mise en
place par ce biais en bibliothèque. Elle a été déclinée en une boîte à
outils : Qualibib. Il s’agit
d’une bonne introduction à la démarche qualité, proposant des exemples très concrets
sur ce qui peut être mesuré.
La BnF, la BPI et les BU se la sont appropriée. Un
accélérateur a été mis en place par la DGME.
Les enquêtes de publics existent depuis très longtemps en
BM. Elles sont surtout intéressantes si elles sont mises en place
régulièrement. Il faut ensuite communiquer
auprès des publics à la fois les résultats
de l’enquête et les démarches ensuite
mises en place.
En BU, leur utilisation a augmenté avec l’arrivée de LibQual+, enquête américaine transposée
en France. Cette enquête insiste beaucoup sur la satisfaction telle qu’elle est
perçue par le public, ce qu’il pense.
Les enquêtes se sont développées sous la pression
institutionnelle et en réponse à des constats alarmants ou alarmistes sur la
baisse de fréquentation des bibliothèques, l’utilisation des documents en
ligne.
La recherche est l’expérimentation concernant le coût et l’impact des bibliothèques
est une entreprise délicate. Des travaux sont en cours au niveau international
pour aboutir à des normes AFNOR / ISO.
Combien coûte un prêt ? Combien coûte un
utilisateur ? Pourquoi voudrait-on mesurer ça ? Beaucoup de moyens
sont déployés pour mesurer l’impact, mais à quoi cela sert-il ? Il s’agit
d’adresser les missions de la bibliothèque. D’un point de vue social, on va
étudier l’impact sur les utilisateurs
(l’utilisation de la bibliothèque permet-elle un changement de comportement, de
connaissances, de compétences ?) mais
aussi sur les communautés (en quoi la présence de la bibliothèque est-elle
valorisante pour la communauté ?). Des travaux sont en train d’être menés
au sein de l’IFLA et notamment sur des retours d’expérience nord-américains.
La valeur de la bibliothèque peut se traduire en valeur
monétaire pour des services tels que la formation à la recherche documentaire
ou la fourniture de documents.
Il est de plus en plus difficile de dresser le portrait
des bibliothèques. Elles sont très dynamiques et ont beaucoup d’atouts. Les
bibliothèques possèdent déjà une tradition
d’échange sur les pratiques et de retours d’expérience. La question reste
posée quant à la sélection des
indicateurs : il faut qu’ils permettent de répondre à des politiques
ciblées tout en permettant d’obtenir une vision générale des bibliothèques.
La question de la temporalité
doit prendre en considération la possibilité de mettre à jour la communication
interne et externe de la bibliothèque. Elle peut suivre le rythme de l’année
budgétaire ou des mandats des élus dont dépend la bibliothèque.
La définition des
indicateurs doit répondre à la question : que cherche-t-on à
mesurer ? Sur le sujet, des normes internationales sont en cours de
révision.
Intervention de Pierre-Yves Renard :
Le nom « Bibliopôle du conseil général » met en
avant le commanditaire, souligne son intervention. On est toujours tiré entre la satisfaction du public et la satisfaction
des missions assignées par la puissance publique. C’est sur ces dernières
qu’on possède le moins d’éléments.
L’évaluation peut se faire à la fois en interne et entre
bibliothèques. Il existe pour cela des outils et des concepts. Mais l’évaluation change-t-elle la
bibliothèque et sa façon de fonctionner ? Il s’agit là de l’étape
suivante de réflexion.
L’évaluation prend parfois l’aspect d’un affreux spectre managérial. Le livre dont la
publication a donné lieu à ce débat a pour objectif de donner aux
bibliothécaires les connaissances nécessaires pour savoir comment jouer ce jeu.
En France, il n’existe pas d’exemple d’une structure
pilotée principalement par l’évaluation. Les outils et les méthodes viennent
surtout de la sphère privée qui a
pour objectif la maximisation du profit. L’évaluation est toujours marquée par
cette origine, il n’existe pas d’outils complètement adaptés. Dans le contexte
actuel de restrictions budgétaires, l’évaluation garde cette orientation.
Il existe un problème de maturité de l’organisation publique. La commune, le département
raisonnent-ils aussi sur l’évaluation de manière aussi avancée ? Les
responsables ne sont ni recrutés ni sanctionnés vis-à-vis d’objectifs atteints
ou non. Il y a des intentions mais pas d’explicitation. Or évaluation dit explicitation : on met des chiffres sur des
activités, on voit comment cela fonctionne.
Les établissements n’ont pas toujours d’idées très
claires quant à leurs objectifs à
atteindre. C’est moins le cas en BU (par exemple : « soutenir la
réussite en licence ») mais cela reste assez flou en lecture publique (par
exemple : « toucher le plus grand nombre »). On reste donc à la
surface des choses, on ne va pas au bout de la logique d’évaluation. La
responsabilité de cet état de lieux va aux bibliothèques mais aussi aux élus
qui ne sont pas toujours explicites dans leurs demandes.
En contre-exemple, on peut nommer la
bibliothèque de Mississauga, au
Canada. Elle fait l’objet d’un processus
d’efficacité organisationnelle comprenant un management annuel, un plan
stratégique sur trois ans avec un dialogue sur les objectifs et les moyens avec
la municipalité, un processus d’organisation du workflow. Au final, 50% de la
population de la ville est inscrite à la bibliothèque.
Qu’est-ce que
mesurer le succès ? C’est se confronter aux intentions des bibliothèques
et non à leurs moyens, à leurs voisins ou aux établissements plus riches.
Il n’y a pas de maturité complète du processus
d’évaluation dans les bibliothèques française. Dans les démarches d’évaluation, le plus intéressant n’est pas le
résultat mais le processus.
Les BDP sont des relais pour l’évaluation car elles touchent
un grand nombre de points d’accès au livre. Sur le réseau du Maine et Loire,
une démarche a été engagée : la commune doit mettre un certain nombre de
moyens pour que le Bibliopôle puisse intervenir. Dans ce dialogue avec les élus,
l’évaluation est un levier qui a permis de faire avancer les choses. Le service
a augmenté via cette démarche évaluative et non via les résultats de
l’évaluation. L’évaluation peut être un vecteur de succès en bibliothèques en
permettant de demander des moyens.
Transition de Martine Poulain :
L’évaluation permet de poser
des objectifs et des sous-objectifs situés dans le temps, ce qui n’est pas
assez fait en bibliothèque. Mais ces
objectifs peuvent aussi s’avérer différents voire contradictoires en
fonction des différents types de bibliothèques, même au sein d’un même réseau.
Intervention de Iégor Groudiev :
L’ambition du ministère de la culture est de repenser le dispositif de statistiques
concernant les bibliothèques. Cela concerne le pilotage national mais aussi
la mise à disposition d’un outil pour se mettre dans une démarche d’évaluation
à tout niveau en lecture publique. Certains établissements ont peu de moyens
techniques et financiers à y consacrer. Le ministère cherche à répondre à ce type
de besoins au travers d’un dispositif pouvant convenir à tous les échelons.
L’outil de collecte est un formulaire comportant plus de
400 items. L’objectif était de créer un espace de saisie convivial ;
néanmoins, les données restent complexes à collecter.
Un nouveau site à vu le jour :
l’observatoire de la lecture publique. Il propose des outils permettant
de connaître l’état national, l’historique des indicateurs et la démarche
d’évaluation établissement par établissement.
L’an dernier la synthèse sur le site était très
détaillée. D’ici avril, la synthèse 2011 sera mise en ligne, avec
une analyse du point de vue national et quelques extrapolations en valeur
absolue. Cette synthèse est très dense et les aspects méthodologiques sont très
développés.
Un outil cartographique
sera mis à disposition afin de consulter les données sur l’ensemble du territoire
français à toutes les échelles. Il sera possible de comparer (notamment pour faire du benchmarking), de voir la structuration des équipements. Il y
aura pour chaque commune un rapport
statistique détaillé mis en regard de données démographiques et d’éléments
spécifiquement bibliothéconomiques.
Si cette synthèse ne se substitue pas à une démarche
d’évaluation locale (elle ne prend pas en compte les besoins spécifiques de la
tutelle), elle peut néanmoins, en particulier pour les petites structures, permettre
de croiser les éléments, d’avoir un retour sur les données
remplies pour les statistiques nationales.
Le dispositif est en cours de mise en place. Il fait
l’objet d’un partenariat avec les conseils généraux et les BDP : un tiers
des départements français sont pour l’instant couverts mais l’on espère atteindre l’exhaustivité pour
l’an prochain.
Discussion
Martine Poulain : Avant,
l’optique géographique prenait le pas sur les données par établissement.
Iégor Groudiev : Désormais,
le rapport circonstancié de l’année en cours et de l’ensemble des années
précédentes ayant été saisies par l’établissement sont exportables en PDF.
Pierre-Yves Renard : le
rôle des BDP est d’assister les communes les plus petites dans le remplissage
des statistiques. L’observatoire de la lecture publique devrait permettre
d’obtenir des retours particulièrement intéressants car on manquait de données
sur ces toutes petites bibliothèques.
Iégor Groudiev : Le
ministère de la culture a pour vocation de traiter les données provenant des
bibliothèques qui dépendent de son périmètre historique. Certes, dans certaines
communes, le CDI fait office de bibliothèque municipale. Mais la tâche ici est
déjà considérable sans prendre en plus en compte ce genre de cas.
Valérie Alonzo : L’apport
interne de l’évaluation va se faire lors du travail sur la procédure. Il faut
qu’il y ait une transmission du travail effectué, qu’il y ait collaboration.
L’évaluation va pouvoir impacter la politique documentaire et le travail sur
les collections.
***
Les autres conférences que j'ai pu retranscrire sur ce blog :
