Dans deux précédents articles portant sur le thème général des Français et des mathématiques[1], nous avons adopté des perspectives complémentaires permettant de situer le niveau des élèves français en mathématiques : une première perspective synthétique a permis de constater une dégradation du niveau dans le temps, de manière relativement transversale du point de vue des compétences et des niveaux scolaires évalués ; une seconde perspective centrée sur l’enquête TIMSS 2019 nous a permis de réaliser une comparaison plus fine des distributions du niveau en mathématiques dans sept pays. Nous proposons dans ce troisième et dernier article de faire un pas de côté par rapport à ces analyses en questionnant les outils et les données qui sont à leur fondement.

Les données et les indicateurs dont sont issus les résultats que nous avons présentés sont produits par des institutions (l’IEA, l’OCDE et la DEPP)[2] situées au croisement des mondes académique, économique et politique. Ces institutions exercent une influence significative sur les politiques éducatives à l’échelle nationale et internationale. Il nous semble donc important d’étudier et de questionner les choix théoriques et méthodologiques qui ont présidé à la production de ces données et de ces indicateurs. Notre démarche repose sur l’idée que ces choix, aussi techniques soient-ils, sont étroitement associés à des manières normatives de concevoir le fonctionnement des systèmes éducatifs et leurs finalités, dont le chercheur ou la chercheuse utilisant ces données doit être pleinement conscient.e afin de les manipuler et de les interpréter à bon escient.

Le recours à une évaluation quantifiée et standardisée de la performance des élèves pour piloter les systèmes éducatifs et organiser le débat public autour des réformes à mettre en œuvre est un choix qui n’est pas dénué d’une signification politique. Nous voudrions donc présenter brièvement quelques critiques qui ont été adressées à ces grandes enquêtes d’évaluation des acquis (en particulier à l’enquête PISA, celle ayant eu le plus grand retentissement médiatique et politique). Ces critiques ont été émises par des observateurs soucieux de mettre en avant le caractère politique de ces indicateurs lesquels sont, d’après eux, trop souvent présentés comme le reflet neutre, et par conséquent incontestable, du bon fonctionnement des systèmes éducatifs.

Nous présenterons ensuite quelques travaux du sociologue de l’éducation Xavier Pons, qui permettent de mettre en perspective ces critiques en décrivant finement, à partir du concept de configuration d’action publique, les effets du recours croissant à l’évaluation standardisée du niveau des élèves sur les politiques éducatives nationales.

Les critiques adressées aux indicateurs du niveau des élèves comme instrument de l’action publique : une conception utilitaire voire marchande de l’éducation.

Un premier type de critiques à l’égard des évaluations du niveau des élèves comme outil de gouvernance du système éducatif – et en particulier d’évaluation de la qualité de l’enseignement des mathématiques – concerne plus directement PISA, et est spécifique à la France. On retrouve chez nombre de commentateurs l’idée que les indicateurs produits par PISA concernant les mathématiques ne sont pas pertinents pour évaluer les élèves français car ils reposent sur une conception utilitaire de la compétence mathématique, fort éloignée de l’esprit que ces auteurs prêtent à l’enseignement des mathématiques en France. Cet enseignement serait davantage tourné vers les mathématiques savantes, et privilégierait donc les aspects formels et procéduraux de la discipline. Pour le dire autrement, nous enseignerions en France avant tout “les maths pour les maths” et non “les maths pour la vie quotidienne” qui sont évaluées par PISA. L’enquête échouerait donc à évaluer de façon pertinente les savoirs et les savoir-faire mathématiques qui sont au cœur de l’apprentissage dans le système scolaire français.

Un autre type de critiques concerne moins directement PISA mais plus globalement le mode de gouvernance des politiques éducatives associé au recours aux grandes enquêtes d’évaluation des élèves comme indicateur unique de la qualité des systèmes éducatifs.

Le sociologue Romuald Normand[3] propose sur cette question une perspective de sociologie des sciences en s’intéressant à ce qu’il nomme “le paradigme de l’école efficace”, c’est-à-dire à une tradition de recherche visant à produire des savoirs sur l’école afin d’“isoler et identifier les facteurs permettant d’augmenter l’efficacité de l’école et les résultats scolaires des élèves”. Son travail permet d’observer comment les savoirs de l’école efficace se sont d’abord formalisés et stabilisés dans le monde scientifique, avant d’être “sédimentés et capitalisés dans des instruments de mesure au service du management et de la politique”, puis de connaître “un troisième mouvement d’extension” en s’implantant dans des organisations internationales comme l’IEA ou l’OCDE où ils sont aujourd’hui centraux.

Alexander Wiseman[4] analyse quant à lui l’inflation de ce qu’il nomme l’“evidence-based educational policymaking” comme un phénomène mondial. Il le rapproche de la montée du nouveau management public (“new public management”) et en particulier des politiques d’”accountability” qui se répandent dans les instances de gouvernance des systèmes éducatifs à travers le monde, et dont on sait combien elles sont critiquées, – il propose d’ailleurs lui-même une critique détaillée de ces modes de management de l’action publique dans le cas de l’éducation -.

Enfin, dans leur livre “Le Nouvel Ordre Éducatif Mondial”[5], Laval et Weber proposent une critique encore plus politique et radicale de ce qu’ils analysent comme un phénomène de mondialisation et de mise en marché de l’éducation. Ils décrivent la “domination d’un nouveau modèle d’éducation inspiré par une logique économique de type libéral” porté par l’OMC, la Banque mondiale, l’OCDE et la Commission européenne. Ces organisations internationales produisent notamment selon eux un travail symbolique en fournissant des conseils, des analyses et des rapports “au nom d’une rationalité universelle dépolitisée” qui conduit à concevoir l’éducation “comme un bien privé, individuel, marchandisable, dont le principal bénéfice serait de nature économique”. Ils décrivent en particulier l’OCDE comme “la boîte à idées du nouvel ordre éducatif mondial” (et exerçant notamment une très forte influence sur la Commission européenne), et ses analystes comme étant pris dans une “bulle discursive qui fonctionne par et pour elle-même”, ce qui conduit les auteurs de l’ouvrage à affirmer que l’institution “donne l’impression d’avoir sacralisé son propre langage”.

En somme, tous ces auteurs cherchent à décrire l’usage croissant pour l’élaboration des politiques éducatives à grande échelle des tests nationaux et internationaux d’acquis des élèves comme ayant été favorisé historiquement par des groupes ayant des intérêts politiques et économiques précis. Ils appellent à la vigilance quant à la dépolitisation de la question scolaire et la rationalisation de l’action publique en matière d’éducation à laquelle conduisent d’après eux les nouveaux modes d’évaluation standardisés des systèmes éducatifs. En d’autres termes, l’usage de ces instruments de mesure de l’action éducative et de son efficacité aurait pour conséquence de masquer les intérêts de ces institutions internationales derrière une prétendue neutralité scientifique et gestionnaire.

Quelles conséquences effectives sur les politiques éducatives à l’échelle nationale ?

Néanmoins, ces travaux demeurent très généraux et se focalisent la plupart du temps sur un contexte international flou et difficile à observer concrètement. Comme le fait remarquer très justement Keita Takayama[6] :

What these theories overlook is that global dissemination of education practice, policy, and discourse is ‘the work of human actors and institutions, constituted by everyday practices that are historically specific and locally articulated’. The focus of analysis in studies on the relationship between globalisation and education thus must be placed on the ‘dialectic process’ through which global converging forces, or ‘big policies’, become nationalised and localised in a ‘small world’. This emphasis on local players and context in the face of external globalisation pressure is crucial to understanding ‘vernacular globalisation’, more nuanced and situated effects of globalisation on education policy in a specific national and local context.

Dans cette perspective, de nombreux travaux ont eu pour ambition de documenter précisément, à l’échelle nationale, l’impact de la diffusion des tests nationaux et internationaux d’acquis des élèves sur le débat public et les politiques éducatives[7]. Ces travaux permettent de constater en premier lieu que les conséquences de cette diffusion de l’”evidence-based policymaking“ en matière d’éducation sont extrêmement variées selon les contextes nationaux, et presque indépendantes du contenu effectif des tests : on sera étonné d’observer, par exemple, que la publication des classements PISA 2000 et 2003 a conduit à des débats bien plus intenses et à des réformes bien plus profondes au Japon qu’en Angleterre (où elle n’a eu presque aucun effet), alors que ce premier pays était bien mieux classé que le second.

Dans le cas belge, Maroy et Mangez[8] se demandent si la diffusion des classements PISA produit “une rationalisation de l’action publique ou une politisation de la connaissance”. Selon ces auteurs, un phénomène de rationalisation de l’action publique signifierait que “le politique devrait, sinon écarter toute forme de référence aux valeurs et aux finalités normatives […], au moins dans le domaine des moyens, de la “gouvernance”, du “pilotage” ou de la “régulation des systèmes”, […] se baser sur des faits et sur une conduite quasi technique des systèmes”. Or, leur analyse du cas belge les conduit à mettre en doute le fait que PISA permette “d’évacuer l’incertitude sur les moyens et les voies à suivre pour améliorer le système”. Ils concluent au contraire que “la neutralisation des points de vue normatifs et politiques dans la recherche de “solutions efficaces” qui s’imposeraient par la vertu des connaissances apportées par les enquêtes internationales ne se produit pas ; on assiste plutôt à leur transfiguration dans des termes et une rhétorique qui empruntent au vocabulaire de la démonstration “scientifique””.

De fait, les perspectives critiques à l’égard des politiques de “testing” que nous avons tâché de résumer ici nous semblent bien témoigner de ce phénomène de mise en débat dans le champ politique d’instruments initialement conçus dans le monde scientifique, comme le décrivait Normand. Nous nous proposons, pour finir, d’évoquer en détail deux articles relatifs à la France qui adoptent une perspective de sociologie de l’action publique sur ces questions, et qui nous semblent aller dans le sens des conclusions de Maroy et Mangez dans le cas belge. Le premier rend compte des conséquences à l’échelle nationale de la diffusion d’une enquête internationale, et le second s’intéresse à l’évolution des politiques de testing mises en œuvre à l’échelle nationale.

Le premier travail que nous voulons évoquer est un article publié par Nathalie Mons et Xavier Pons en 2013 dans la Revue Française de pédagogie[9]. Dans ce papier les auteurs s’intéressent à la diffusion en France des résultats de l’enquête PISA, et proposent d’”envisager les connaissances énoncées dans le débat public au nom des palmarès[10] comme les produits plus ou moins durables de configurations d’action publique à l’œuvre au moment de leur publication”. Ils distinguent alors trois périodes successives, liées à trois configurations d’action publique distinctes.

La première correspond à la publication des premiers résultats de PISA en 2000, lesquels ne connaissent pas un fort retentissement dans le débat public. Selon les auteurs, cela peut s’expliquer par le fait que le gouvernement n’a pas intérêt à remettre en cause le bilan du quinquennat en matière de politiques éducatives à l’approche de la présidentielle, que la DEP[11] incite immédiatement à la prudence quant à l’interprétation des résultats, et que les autres acteurs (académiques, médiatiques, professionnels de l’éducation) n’ont pas les compétences statistiques pour se saisir d’une étude qui est de fait extrêmement technique.

Dans une seconde période allant de 2001 à 2004, les débats se centrent autour des limites méthodologiques de l’enquête, ce qui est lié notamment selon les auteurs au rôle central de la DEP dans la structuration du débat public sur l’enquête.

Enfin, de 2004 à 2008, les auteurs font état d’un besoin d’indicateurs sur les performances du système éducatif pour piloter les politiques publiques au niveau national (LOLF) et européen (stratégie de Lisbonne). PISA est par conséquent davantage mobilisé, ce qui s’inscrit selon eux dans un changement plus général de gouvernance des systèmes éducatifs (que nous avons décrit plus haut). La couverture médiatique du classement est plus importante, et les critiques méthodologiques moins présentes. Certains acteurs politiques s’emparent des résultats à l’appui de leurs propositions, les syndicats d’enseignants se positionnent contre l’usage des classements et les chercheurs en éducation commencent également à s’emparer des données pour produire leurs propres résultats. En somme, on assiste durant cette période à une extension du débat public sur PISA et à une politisation croissante de ses usages.

Les auteurs font remarquer que le débat français sur PISA a deux spécificités comparé à d’autres pays européens : en premier lieu, l’importance de la critique méthodologique portée notamment par la DEPP dans le cadre d’un argumentaire plus général pour justifier les résultats français (lequel est moins efficient depuis 2005 mais encore repris aujourd’hui par certains acteurs), et en second lieu l’importance prise dans le débat par les élites administratives, notamment la DEPP, qui finit par s’imposer dans le cadre d’une “concurrence entre les évaluateurs et leur science de gouvernement”.

Pons et Mons concluent finalement de leur analyse du débat public français relatif au classement PISA que ce dernier n’a pas vraiment conduit à recadrer les politiques éducatives : il est principalement mobilisé pour confirmer les opinions et les positions déjà existantes d’acteurs souhaitant s’approprier la légitimité d’un dispositif bénéficiant d’un fort crédit scientifique et institutionnel.

Ce phénomène peut être également compris à l’aide du concept d’”externalisation in educational borrowing” que Takayama[12] emprunte à Schriewer et Steiner-Khamsi dans son analyse du cas du Japon. Ces auteurs constatent que l’éducation étant un domaine fortement médiatisé où la demande de légitimisation de l’action publique est extrêmement forte, il est parfois nécessaire pour les acteurs de chercher des références externes pour légitimer leur action :

“In times of rapid social, economic, and political change, however, the common practice of internal referencing cannot effectively constitute a source of legitimacy for the perpetuation of the existing system, nor for the introduction of new measures”.

C’est pourquoi les acteurs se tournent vers la référence à des pays étrangers ou à un prétendu consensus international pour légitimer leurs positions et en minimiser le caractère controversé. Selon Xavier Pons et Nathalie Mons, la mobilisation de PISA par des acteurs politiques variés est de plus rendue possible par “la richesse technique et la plasticité axiologique de PISA” qui fournit de fait suffisamment d’indicateurs et d’instruments (au-delà du seul classement) pour légitimer des positions diamétralement opposées.

Dans un second article publié en 2020[13], Xavier Pons s’intéresse cette fois aux tests nationaux d’acquis des élèves, sur une période plus longue, en reprenant la notion de configuration d’action publique au cœur du précédent article. L’argument central de ce travail est que la trajectoire des politiques publiques en termes d’évaluation des élèves suit un processus conjoint d’étatisation, de rationalisation et de politisation, ces deux derniers phénomènes n’étant pas nécessairement exclusifs l’un de l’autre. L’usage d’évaluations nationales n’implique pas selon lui de transformation des modes de gouvernance traditionnels : elle s’intègre au contraire dans des modes traditionnels de régulation qui lui préexistent.

Afin de soutenir ces thèses, Pons décrit cinq configurations d’action publique permettant d’appréhender les évaluations nationales des élèves en France depuis 1973. De 1973 à 1988, il décrit en détail l’internalisation par des acteurs du ministère de l’Éducation Nationale de compétences existantes dans le monde académique. L’usage des évaluations des élèves est selon lui pensé dès l’origine par les acteurs publics comme un outil d’évaluation du système scolaire. Cette première période correspond à un processus d’étatisation à la fois cognitive et institutionnelle, caractérisé par une faible politisation et une faible rationalisation.

De 1989 à 1997, l’auteur décrit la systématisation par Lionel Jospin, alors Ministre de l’Éducation nationale, des évaluations diagnostiques et la réaction des syndicats de professeurs qui ne veulent pas que l’on porte atteinte à leurs libertés pédagogiques – ce qui arriverait si les évaluations des élèves devaient se transformer en outil d’évaluation des professeurs – qui conduit finalement à un consensus après des concessions de la part du ministère. Cette période constitue la poursuite du processus d’étatisation institutionnelle et cognitive, avec une politisation et une rationalisation croissantes des évaluations.

De 1997 à 2007, Pons décrit l’émergence de nombreuses critiques à l’égard des évaluations diagnostiques. Celles-ci émanent à la fois du nouveau ministère de Claude Allègre, des syndicats de professeurs, des chefs d’établissement, des chercheurs… Il s’agit selon l’auteur d’une phase d’incertitude caractérisée par la création d’une multitude d’instruments qui sont de courte durée. C’est dans ce contexte que l’enquête CEDRE est lancée en 2003, mais cet outil est critiqué car il ne convient pas aux exigences de la LOLF (2006). Il s’agit donc d’une phase de forte politisation et de très faible rationalisation correspondant à un processus d’étatisation ambivalent qui passe par les réactions suscitées par les nouveaux instruments.

De 2008 à 2012, on observe une période d’instrumentalisation politique des évaluations nationales. Xavier Darcos crée de nouvelles évaluations en CE1 et CE2 qui visent à fournir aux parents un retour sur l’efficacité des professeurs et des écoles. L’introduction de ces tests  provoque une controverse durable dans le monde de l’éducation, laquelle se prolonge jusqu’à l’élection présidentielle suivante. Cette controverse se structure autour des critiques méthodologiques portées par la DEPP et par la mauvaise adaptation des instruments à l’égard de la LOLF. On observe ici encore une phase de politisation croissante qui s’accompagne d’une rationalisation faible voire négative.

Enfin, Pons décrit la période allant de 2012 à 2017 comme une période de retrait politique et de stabilisation technique des instruments. Les évaluations des élèves sont placées à l’arrière-plan par les responsables politiques à partir de 2012. Cet apaisement politique permet à la DEPP de stabiliser ses outils, avec en conséquence une forte centralisation de l’évaluation qui n’est presque pas portée par des acteurs plus locaux comme les académies. CEDRE se stabilise en particulier, et est très consensuel, même si ponctuellement instrumentalisé politiquement. Pour résumer, il s’agit d’une période de faible politisation et de forte rationalisation, qui conduit à une étatisation étroite des évaluations.

Ce second article, comme le premier, doit nous inciter à mettre en perspective les critiques formulées à l’égard des évaluations des élèves comme instrument de mesure de la qualité des systèmes éducatifs : si ces outils ont été forgés et diffusés dans des contextes fortement marqués par une idéologie néolibérale, on peut constater que, du moins en France, ils n’ont conduit ni à une dépolitisation des controverses en matière d’éducation, ni à une réelle transformation des modes de gouvernance. Si donc les réflexions que nous avons présentées dans cet article doivent nous inciter à la prudence quant à l’interprétation et à l’usage des données produites par la DEPP, l’IEA et l’OCDE en matière d’évaluation du niveau d’acquis des élèves, il nous semble particulièrement bénéfique de garder en tête cette idée d’une “richesse technique et [d’une] plasticité axiologique”[14] de ces instruments qui permettent notamment au chercheur en sciences sociales d’en faire un usage raisonné et particulièrement productif pour l’exploration des mécanismes sociaux à l’origine de la réussite ou de l’échec en contexte scolaire.

 

Mots clefs : mathématiques – enseignement – évaluation – politiques éducatives – testing

[1] Les Français et les mathématiques : le niveau baisse, mais encore ? https://variances.eu/?p=6665 , Les Français et les mathématiques : ce que nous apprend l’enquête TIMSS 2019, au-delà des moyennes et des classements https://variances.eu/?p=6685

[2] IEA : International Association for the Evaluation of Educational Achievement ; OCDE : Organisation de coopération et de développement économiques ; DEPP : Direction de l’Evaluation, de la Prospective, et de la Performance,

[3] Normand, « L’école efficace ou l’horizon du monde comme laboratoire ».

[4] Wiseman, « The Uses of Evidence for Educational Policymaking ».

[5] Laval Christian, Weber Louis, et Institut de recherches historiques, Le nouvel ordre éducatif mondial.

[6] Takayama, « The Politics of International League Tables : PISA in Japan’s achievement crisis debate ».

[7] Takayama; Grek, « Governing by Numbers »; Maroy et Mangez, « Rationalisation de l’action publique ou politisation de la connaissance ? »; Mons et Pons, « Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? »; Michel et Mons, « PISA et les politiques éducatives »; Pons, « National Testing in Education in France ».

[8] Maroy et Mangez, « Rationalisation de l’action publique ou politisation de la connaissance ? »

[9] Mons et Pons, « Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? »

[10] C’est-à-dire les classements PISA

[11] Direction de l’Évaluation et de la Prospective (ancien nom de la DEPP)

[12] Takayama, « The Politics of International League Tables ».

[13] Pons, « National Testing in Education in France ».

[14]  Mons et Pons, « Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? »

Colombe Saillard
Les derniers articles par Colombe Saillard (tout voir)