PISA. Commentaires et enseignements d’une comparaison internationale

[Une fois de plus une partie des commentaires suscités par la publication des données de l’enquête PISA 2015 s’en prend à la démarche d’enquête – pire parfois s’en tient là, comme si le dénigrement du thermomètre pouvait encore aujourd’hui (la méthode a eu ses beaux jours dans les années 2000) dissimuler la mauvaise fièvre qui affecte notre système éducatif. Critiquer les procédures de PISA c’est enfoncer une porte ouverte, et que l’on sache aucun chercheur en France ne les défend en tant que telles. Les reproches méthodologiques que l’on peut leur adresser ne sont pour autant pas de nature à enlever aux résultats leur valeur d’alerte, et ce qu’ils nous disent à la fois : et de l’évolution de la situation au fil du temps ; et de l’ampleur des inégalités sociales devant les savoirs de l’écrit, non seulement en valeur relative par comparaison avec les autres systèmes nationaux, mais sans doute plus encore en valeur absolue, sachant le potentiel d’apprentissage de tous les enfants, ceux des « quartiers » inclus.

Aussi nous a-t-il paru pertinent de reprendre l’étude qu’on pourra lire ci-dessous, initialement publiée en 2009…

L’enquête de 2015 ne nous dit rien de fondamentalement neuf. Elle a toutefois l’avantage de confirmer que, conjuguée à la plus stricte austérité budgétaire, la première mise en œuvre des politiques de socle commun, politiques qui renoncent ouvertement à une école de la réussite pour tous, ne pouvait qu’aggraver une situation déjà très préoccupante (les jeunes qui ont été enquêtés cette fois-ci sont des produits du socle Fillon, auquel succède aujourd’hui le socle Peillon, dont on ne voit d’ailleurs vraiment pas pour quelle raison il donnerait de meilleurs résultats).

Rappelons quelques données de PISA 2015 concernant les élèves de France :
* Le score moyen des élèves de 3e en retard est juste en dessous du niveau de la moyenne des élèves du Mexique ou de la Turquie ;
* il est inférieur à celui des élèves de 2nde professionnelle...
* ... qui est lui même inférieur à ceux des élèves de 14 ans en 3e (sans retard) ;
* seuls les élèves de seconde générale et technologique sans retard rejoignent le score moyen des élèves de Finlande, du Canada ou d’Estonie ;
* la dégradation en valeur absolue des performances des jeunes générations dans notre pays concerne au premier chef les élèves des milieux populaires, mais elle affecte aussi les acquis des meilleurs élèves, comme le montrent les travaux de la DEPP-MEN.]

PISA. Commentaires et enseignements d’une comparaison internationale

par Jean-Pierre Terrail (2009)

La parution du petit livre de Baudelot et Establet sur PISA [1] vient réactualiser avec bonheur la question de la comparaison internationale des systèmes éducatifs, et apporter un éclairage fort sur un sujet controversé. Il nous fournit l’occasion de revenir sur ces controverses et sur les enseignements de l’enquête PISA.

Pour l’essentiel : financée par l’OCDE et conçue par des chercheurs australiens, PISA soumet tous les trois ans (2 000, 2 003, 2 006), dans chacun des pays enquêtés (57 en 2006), environ 5 000 jeunes scolaires de 15 ans à une épreuve de « compétences » de 210 minutes portant sur trois domaines : la compréhension de l’écrit, la culture mathématique, la culture scientifique. L’enquête porte en outre sur les caractéristiques économiques et socioculturelles des familles des élèves enquêtés (et le profil de leur établissement scolaire). Elle permet ainsi de comparer les performances des adolescents sous l’angle tant de leur moyenne que de leur dispersion dans chaque pays ; et de rapporter ces performances aux ressources des familles, en mesurant ainsi ce qu’elles doivent en propre à l’action des systèmes scolaires.

Les résultats de l’enquête ont été très mal reçus en France, de droite comme de gauche, tant sans doute parce qu’elle classe la France à un rang d’efficacité moyenne assez modeste, pour un pays développé aussi fier de sa culture (autour de la 17ème place), que parce que ce classement souligne les limites d’efficacité des dispositifs pédagogiques en vigueur. Les critiques ont été de deux ordres. On a voulu imputer les bonnes performances des premiers – et notamment de la Finlande, vainqueur emblématique de la comparaison – non aux caractéristiques de leur système éducatif mais à celles du contexte national : ainsi pour la Finlande a-t-on évoqué à l’envi sa faible immigration, ses inégalités sociales réduites, etc. Mais on reviendra un peu plus tard sur la pertinence de cet argument, pour examiner d’abord la seconde critique. Celle-ci porte sur la nature des épreuves visant à évaluer les élèves, qui leur demandent moins de restituer des connaissances que de montrer leur capacité à les mobiliser dans des situations de la vie courante. Or, à la différence des systèmes scolaires anglo-saxons, l’école française (en tout cas jusqu’à la fin du collège) reste beaucoup plus centrée sur la transmission des savoirs que sur la formation des compétences : ainsi s’expliquerait le médiocre classement de la France par PISA.

Savoirs et compétences

A cette seconde critique, Baudelot et Establet opposent deux arguments. Ils notent d’abord que ce qui est demandé aux enquêtés, au titre de mesure de leurs « compétences », ce n’est effectivement pas de restituer tels quels des savoirs acquis, mais de montrer qu’ils sont capables de les mobiliser dans des situations de la vie courante. Ils en concluent que « les compétences évaluées par PISA reposent davantage sur la compréhension globale des concepts que sur l’accumulation de connaissances spécifiques » (p. 25). Autrement dit : même si les questions posées par PISA peuvent apparaître plus ou moins décalées par rapport au type d’évaluation familier aux élèves français, la capacité d’y répondre correctement n’en témoigne pas moins d’une intégration intelligente des savoirs enseignés. Le second argument vient conforter celui-ci, en le validant à sa façon. Baudelot et Establet observent en effet que les performances réalisées par les élèves enquêtés en France par PISA recoupent largement, en matière de niveau comme de dispersion, les évaluations faites par les chercheurs français du ministère de l’Éducation nationale (DEPP) ou par le ministère de la Défense, et correspondent bien à la structure des diplômes obtenus en fin de parcours. Les « compétences » mesurées par PISA ont donc, de fait, à voir de près avec les savoirs de la culture écrite effectivement appropriés par les enquêtés français.

Ce constat invite sans doute à réfléchir plus avant les rapports entre « savoirs » et « compétences ». Rien n’interdit, à cet égard, de prévenir à l’encontre d’une acception réifiante et substantialiste de la notion de « compétences », qui en ferait une chimère analogue aux « aptitudes » de Binet [2]. Après tout les chercheurs de PISA, comme tous les scientifiques, peuvent bien avoir leur « philosophie spontanée », pour reprendre la formule d’Althusser : ce n’est pas à la qualité de cette philosophie qu’on peut mesurer la pertinence de leurs résultats de recherche.

Les chercheurs d’ESCOL ont ainsi mené une analyse secondaire particulièrement intéressante, centrée sur l’appropriation de la langue écrite, à partir de PISA 2000 [3]. Examinant une centaine de cahiers de réponse à l’enquête, ils observent la fragilité de la notion de compétences. Certains enquêtés réalisent d’une question à l’autre des performances très variables : comment donc, les concernant, définir un niveau de compétence déterminé (et donc, par principe, stable) ? Et, conjointement, les réponses trahissent bien d’autres choses que des « compétences ». Ces observations invalident-elles les données de PISA en tant qu’elles indiquent le niveau d’acculturation littératienne des enquêtés ? L’enquête à laquelle ont procédé en propre les chercheurs d’ESCOL, en soumettant à leur tour plusieurs centaines d’enquêtés aux questions de PISA, semble au contraire les confirmer largement. Le traitement des réponses les a amenés à distinguer cinq catégories d’élèves selon le type et le niveau de leurs performances. Le poids respectif de ces catégories dessine une configuration qui recoupe sensiblement les conclusions des chercheurs de PISA. On note en outre que les enquêtés aux performances instables se concentrent dans l’entre-deux des élèves moyens. C’est assez logique : à un pôle les meilleurs élèves maîtrisent pleinement les connaissances à partir desquelles ils élaborent leurs réponses ; à l’autre pôle les élèves en difficulté se définissent à l’opposé comme dépourvus des bases essentielles des savoirs lettrés. Rien d’étonnant qu’ils fournissent les uns et les autres un niveau de performances assez constant. Entre ces deux pôles, les élèves moyens se caractérisent par une appropriation très inégale des savoirs de base. Ils s’attachent à faire leur métier d’élève et à fournir les bonnes réponses, mais la conjonction de ressources intellectuelles lacunaires, de l’intuition et d’une longue expérience des évaluations ne leur permet de répondre correctement que par intermittence. L’instabilité de leurs performances reflète l’état de leur culture scolaire plus qu’elle ne disqualifie l’enquête PISA.

Structures sociales et efficacité éducative

Revenons alors au premier type d’objection adressé à PISA, selon lequel le classement des systèmes éducatifs dépend davantage des caractéristiques des nations que de celles de leur école. Il nous faut, pour mesurer sa portée, examiner plus avant les enseignements de l’enquête.

Il semble bien, de fait, que l’efficacité dans la formation des jeunes générations ne soit pas sans rapport avec les caractéristiques générales des pays concernés. Baudelot et Establet observent ainsi que les pays les plus performants présentent au moins tendanciellement des caractéristiques communes : ce sont des pays riches, de taille plutôt réduite, et où les inégalités sociales sont modérées. Il y a certes des exceptions parmi les nations performantes : le Japon par sa population nombreuse, la Corée du Sud et la Nouvelle-Zélande par leur PIB modeste (et il aurait été intéressant, pour savoir si la richesse économique est une condition indispensable à une formation efficace des jeunes, d’inclure Cuba dans l’enquête). Quant à l’influence de l’ampleur des inégalités sociales, on ne saurait la considérer de façon unilatérale : si elle va de pair avec de faibles inégalités scolaires, c’est aussi parce que de faibles inégalités scolaires favorisent, à l’inverse, la réduction des écarts économiques et sociaux.

D’un côté donc il paraît avéré que le volume des ressources économiques et la cohésion sociale (population peu nombreuse avec peu d’inégalités) représentent les conditions nationales les plus favorables à une formation efficace des jeunes. On ne saurait cependant s’en tenir là, comme le suggère l’existence d’exceptions : certains pays qui ne réunissent pas toutes les conditions favorables sont pourtant parmi les plus performants, et à l’inverse certains de ceux qui réunissent ces conditions ne sont que moyennement performants. La qualité de la formation des jeunes générations dépend donc tout aussi bien des caractéristiques des systèmes éducatifs eux-mêmes.

L’efficacité de l’école commune

Il est frappant à cet égard d’observer, et Baudelot et Establet insistent beaucoup, à juste titre, sur ce constat, que les pays les plus performants ont adopté le principe d’une école à tronc commun. Ce tronc commun se différencie nettement du type de parcours que met en œuvre l’école unique à la française : non seulement il reporte au-delà de 16 ans toute orientation vers des filières spécialisées, mais il assure aux élèves un parcours véritablement commun qui exclut toute forme de pré-orientation : redoublement, classes d’enseignement spécialisé, classes de niveau, etc. Et puisque le classement des élèves n’a de nécessité que là où l’on doit les trier pour les orienter (ce que le fameux décret Berthoin de 1959, socle fondateur de notre école unique, soulignait très clairement), et que la notation des élèves n’a de sens que là où il est nécessaire de les classer, ce type de tronc commun permet de se passer des évaluations classantes, c’est-à-dire des notes, comme c’est le cas par exemple en Finlande.

On retrouve dans ce constat le principe connu de longue date selon lequel l’hétérogénéité cognitive des communautés d’élèves est la forme de regroupement qui assure la meilleure progression moyenne. Le rapport Coleman l’avait montré en 1966 aux Etats-Unis par la comparaison des établissements : les élèves noirs progressaient plus vite dans les écoles mixtes que dans les écoles noires. Au sein d’un établissement donné, la répartition des élèves en classes de niveaux homogènes creuse les écarts et baisse les performances moyennes, comme l’ont montré Kerckhoff en Grande-Bretagne (1986), Gamoran et Mare aux Etats-Unis (1989), Duru-Bellat et Mingat en France (1997). L’enquête PISA vient confirmer ces résultats de recherche à la très grande échelle de la comparaison internationale.

On ne saurait trop souligner la portée de cet apport de PISA. Les systèmes éducatifs les plus performants ne sont pas seulement ceux qui diffèrent plus longtemps l’orientation, ce ne sont pas seulement ceux qui refusent les classes de niveau, ou qui, tout en maintenant l’orientation et les classes de niveau, prétendent doter tous les élèves d’un « socle commun de connaissances » : ce sont ceux qui ont supprimé les évaluations classantes, lesquelles seules rendent possibles les orientations ou les pré-orientations précoces ainsi que la constitution de classes de niveau. La différence est radicale. Supprimer les notes, c’est changer toute l’école. C’est remplacer l’école unique par une forme d’école commune.

Qui transmet les savoirs : la famille ou l’école ?

PISA nous donne le moyen de vérifier que ce sont bien les caractéristiques de leur système scolaire, et pas seulement celles de leur structure sociale, qui assurent l’efficacité éducative des pays comparés.

L’enquête mesure en effet très précisément les ressources des familles des élèves qu’elle évalue, ressources économiques mais aussi culturelles tels les diplômes des parents, l’importance de la bibliothèque familiale, etc. Elle permet ainsi de rapporter la réussite de l’enfant aux ressources de son environnement familial, et d’apprécier leur écart. Or il s’avère que les pays les plus performants sont ceux dans lesquels les performances des élèves sont les plus indépendantes des ressources de leurs familles, ceux donc dans lesquels l’école réussit le mieux à assurer par elle-même la transmission des savoirs (même si cette réussite n’est jamais totale : aucun pays n’échappe à l’influence de l’origine sociale sur la réussite scolaire). Les pays les plus performants sont ceux dans lesquels, si l’on préfère, l’efficacité de l’école en matière de progression cognitive des élèves les moins dotés au départ est la plus élevée.

Dans les pays moins performants, à l’inverse, les familles ont une plus forte responsabilité dans les acquisitions cognitives des jeunes. Les inégalités scolaires, dans ces pays, reflètent les inégalités sociales au lieu de les réduire, voire les aggravent. Le cas de la France est à cet égard intéressant. PISA distingue cinq catégories d’enquêtés selon leurs ressources familiales (ces catégories étant homogènes d’un pays à l’autre, définies par le même niveau de ressources) ; et mesure les écarts entre les performances moyennes des élèves les mieux dotés et celles du groupe des élèves les moins dotés. La comparaison internationale est spectaculaire : cet écart est le double en France de ce qu’il est en Finlande, en Corée du Sud ou en Islande. L’école française, si l’on préfère, corrige beaucoup moins les inégalités sociales que celle de ces derniers pays. Et si l’écart entre les performances d’ensemble des jeunes français et celles des jeunes finlandais ou coréens n’est pas aussi marqué, c’est bien au développement culturel d’ensemble de la société français qu’on le doit, qui permet qu’une partie significative de la formation des jeunes générations soit assurée dans le milieu familial. Les pays globalement les moins performants sont logiquement, dans ces conditions, ceux qui cumulent une école inégalitaire et une pénétration moins ancienne et moins affirmée de la culture écrite dans l’ensemble de la vie sociale.

Les enseignements de PISA

Si la discussion doit se poursuivre concernant les modalités de l’enquête PISA, concernant aussi ses soubassements théoriques (s’agissant notamment des rapports entre savoirs et compétences), concernant d’ailleurs aussi tout ce qu’on peut en tirer qui n’a pas encore été exploité, les données dont on dispose sont suffisamment robustes pour autoriser d’ores et déjà quelques conclusions fortes.

La première concerne bien sûr la marge de jeu ouverte dans chaque pays à l’action scolaire : l’école n’est nulle part condamnée à prendre acte purement et simplement des inégalités sociales et à les transcrire en inégalités scolaires. Elle ne s’émancipe certes jamais complètement de l’influence des inégalités sociales ; mais la réalité de ses marges d’action rend irrecevable la boutade récurrente : « Donnez-moi une bonne société, je vous donnerai une bonne école ! ». Quant à l’école française, l’ampleur de ses gains d’efficacité possibles invite à poser la question des transformations à envisager avec beaucoup d’audace, bien au-delà de simples ajustements.

La seconde conclusion qu’on peut tirer de PISA est relative à l’efficacité d’un véritable tronc commun. Depuis un demi-siècle, la sociologie de l’éducation a accumulé les recherches, aux Etats-Unis, en Grande-Bretagne et dans différents pays francophones, qui montrent le caractère profondément inégalitaire de la mise en concurrence des élèves. Les différentes conséquences de cette mise en concurrence, qui implique le classement des élèves et la différenciation des parcours, qu’il s’agisse de la notation, du redoublement, de l’affectation aux classes d’enseignement spécialisé, aux classes de niveau, etc. aboutissent systématiquement à creuser les écarts, à produire et renforcer les inégalités scolaires. Le bilan de ces recherches est tout à fait probant, et laissait présumer l’efficacité supérieure d’une suppression radicale de toute mise en concurrence, et d’une substitution, pour ce qui est de la France, d’une « école commune » à l’actuelle école unique. Les écoles Freinet ou Montessori relèvent de ce type d’école commune, sans notation des élèves, et l’on sait de longue date qu’elles n’empêchent pas d’apprendre. Ce que montre PISA, c’est qu’une telle école est possible à l’échelle nationale, et qu’elle s’y avère particulièrement efficace.

Un troisième enseignement de PISA a trait à la relation entre le niveau moyen des performances des élèves enquêtés et leur dispersion. Comme le soulignent là encore Baudelot et Establet, la comparaison internationale montre que là où les systèmes scolaires sont les plus efficaces, les performances des élèves se resserrent vers le haut : autrement dit que l’efficacité globale d’un système scolaire va de pair à la fois avec une forte réduction de la proportion de jeunes en fort échec, et avec une augmentation significative du nombre des élèves classés dans la meilleure catégorie de performances. Il n’y a pas d’opposition, si l’on préfère, entre la qualité de l’enseignement, le renforcement de l’élite et la réduction de l’échec scolaire. Le fameux « dilemme » entre la qualité de l’enseignement, l’exigence culturelle, et la promotion de tous les élèves, qui opposerait « républicains » et « pédagogues », et « paralyserait » la transformation du système scolaire français, apparaît ainsi comme un faux dilemme [4].

Observons, pour terminer, que PISA est loin de tout dire sur la question d’une école efficace. Elle convainc quant au grand intérêt du principe d’une école commune qui confronte les élèves au savoir, mais pas les uns aux autres, en supprimant les notes et donc les luttes pour le classement. Mais supprimer la concurrence est une chose : savoir comment on organise les apprentissages en est une autre. Il ne suffit pas de supprimer notes et redoublements pour résoudre les problèmes des élèves en difficulté. Qu’en Finlande on n’entre pas dans le lire-écrire avant sept ans, qu’on y apprenne à lire avec la syllabique, sont des détails qui donnent aussi matière à réflexion. Une meilleure connaissance des expériences nationales qui marchent mieux que d’autres est assurément indispensable.

[ Note complémentaire du 8 décembre 2010 :

Le texte qui précède a été mis en ligne en 2009, et se réfère aux enquêtes PISA effectuée en 2000, 2003 et 2006. Les résultats de l’enquête PISA la plus récente (2009) viennent d’être rendus publics en décembre 2010. Ils confirment les performances très moyennes sinon médiocres du système éducatif français, tout en relevant une forte augmentation (un tiers !) de la proportion d’élèves en grande difficulté de compréhension de l’écrit en fin de scolarité au collège, proportion qui passe de 15 à 20% dans les dernières générations. Cette observation converge avec les études du ministère de l’éducation nationale qui relèvent qu’après avoir stagné à un niveau peu satisfaisant entre 1987 et 1997, la maîtrise de la langue écrite à l’entrée en 6ème se dégrade entre 1997 et 2007.

Il faut bien mesurer ce que signifie la formule « en grande difficulté de compréhension de l’écrit » en fin de collège : neuf années d’école (au moins) qui n’ont pas permis de prendre un peu pied dans la culture écrite. Et cela concerne 20% d’une cohorte, soit environ… 150 000 jeunes par an !

En regard, le gouvernement Sarkozy-Fillon et le ministère s’acharnent à restreindre les moyens financiers et humains du service public d’éducation et à dégrader la formation des enseignants, et proposent pour toute solution la politique dite du « socle commun de compétences ». Croyait-on que le problème de ces 150 000 jeunes était de n’avoir pas réussi à apprendre à lire, écrire et compter correctement ? Non ! Bernard Hugonnier, directeur adjoint à l’éducation de l’OCDE, commentant PISA 2009, nous explique doctement que « le système éducatif à ce stade continue a faire de la transmission de connaissances, dans chaque discipline, comme un « petit lycée », au lieu de travailler à l’acquisition de compétences ». Ah mais, et n’allez pas nous embêter avec des travaux de recherches qui montrent à l’envi que les « compétences » ne sont jamais que la manifestation de connaissances bien intégrées ! Et haro sur le collège, qui « ne donne pas une deuxième chance » (celle de l’acquisition des compétences, bien sûr) aux élèves en difficulté (entretien avec B. Hugonnier, Le Parisien.fr, 7-12-2010).

Peut-on dire plus clairement que la politique du « socle commun » ne vise pas à donner à tous les jeunes un accès véritable à la culture écrite, mais à préserver une école à deux vitesses tout en masquant (derrière le dérisoire 100% d’élèves au socle commun) son caractère ségrégatif ? Car cette politique ne touche en rien aux apprentissages fondamentaux, elle se contente de proposer un vernis d’employabilité aux jeunes qui arrivent au collège après être passé à côté de leur scolarité élémentaire : je sais me mettre en rang, écouter mes camarades avant de prendre la parole et respecter les autres, manipuler un ordinateur et contrôler un écran, dire bonjour en anglais (de Wall Street bien sûr)… 150 000 jeunes livrés chaque année sur le marché du travail sans défenses ni qualification, qui évitent d’avoir à investir dans la suppression des postes de travail les moins qualifiés, ça n’est tout de même pas dénué d’intérêt !

Quoiqu’en ait monsieur Hugonnier, on ne voit pas en quoi ces « compétences » vont supprimer « les grandes difficultés de compréhension de l’écrit » des intéressés. La véritable démocratisation scolaire dont notre pays a aujourd’hui le plus grand besoin passe d’abord par une amélioration très sérieuse de l’efficacité des apprentissages fondamentaux. Et en matière de « compréhension de l’écrit » l’expérience montre qu’un taux de réussite de près de 100% est possible dès le CP dans les quartiers populaires : à condition de mettre en œuvre des dispositifs pédagogiques qui manifestent une réelle exigence intellectuelle à l’égard des élèves, tout en leur donnant les moyens de surmonter les difficultés d’apprentissage (concernant la lecture, cf. par exemple http://leslettresbleues.fr). En sachant que la mise en place généralisée de dispositifs pédagogiques plus efficaces passe par une réforme d’ensemble de notre système éducatif (cf., sur ce site, les textes consacrés à l’école commune, à l’appel des 50 chercheurs, etc.).]