Magazine PROF n°9

Dossier PISA n’est pas le bulletin des enseignants

Un thermomètre à prendre pour ce qu’il est

Article publié le 01 / 03 / 2011.
Article paru en ligne uniquement.

Léger mieux en compréhension de l’écrit, stagnation à la baisse en cultures mathématique et scientifique. Qu’y a-t-il derrière ce résumé de PISA 2009 en Communauté française ? Que dit cette enquête de notre système scolaire ? Des performances des élèves ? De l’efficacité du travail en classe ? De sa qualité ? Douze pages d’analyse, pour vous aider à en juger.

Des questionnaires top secret, des élèves soustraits de leurs classes pour y répondre sous la conduite d’un examinateur extérieur, des écoles tirées au sort, une correction loin des regards des équipes pédagogiques puis, plus d’un an et demi après, un battage médiatique d’une semaine centré sur quelques chiffres clés et sur un classement entre des pays et régions du monde aussi diverses que le Monténégro, Shangai, le Qatar, le Pérou, la Corée ou la Communauté française de Belgique. La pointe de l’iceberg PISA, c’est ça. Et elle alimente les fantasmes.

« L’enquête PISA détermine dans quelle mesure les élèves qui arrivent en fin d’obligation scolaire ont acquis certaines des connaissances et compétences essentielles pour pouvoir participer pleinement à la vie de nos sociétés modernes, en particulier en compréhension de l’écrit, en mathématiques et en sciences » ⁽¹⁾. Cette orientation, critiquée par ceux qui y voient une aliénation de l’éducation à l’économie, implique qu’on n’y évalue pas « la faculté des élèves à reproduire ce qu’ils ont appris, mais [que PISA] vise surtout à déterminer dans quelle mesure ils sont capables de se livrer à des extrapolations à partir de ce qu’ils ont appris » ⁽²⁾.

Pour les professionnels de l’enseignement que vous êtes, c’est plus qu’une nuance : PISA ne mesure pas le « rendement scolaire » et ne peut donc être vu comme le bulletin des enseignants ! Qui ont raison d’affirmer, en, réplique aux ritournelles obsessionnelles des thuriféraires de PISA, que l’enseignement, c’est bien plus et bien autre chose que cette version standardisée de la compréhension de l’écrit et des cultures mathématique et scientifique, sorte d’esperanto universel garantissant une place (de choix ?) dans l’eldorado mondialisé.

Pour autant, peut-on jeter PISA avec l’eau du bain ? Évidemment non. Simplement, ce thermomètre est à prendre pour ce qu’il est : très rigoureux (lire ci-dessous), et destiné non pas à évaluer le travail en classe, mais à orienter les politiques éducatives qui, elles, influenceront les pratiques enseignantes. C’est d’ailleurs l’hypothèse qui prévaut en Communauté française pour expliquer les progrès observés entre 2000 et 2009 en lecture.

Un progrès équivalent à un tiers d’année scolaire

Car il y a progrès, même s’il faut se garder de tout triomphalisme : en lecture, alors que la moyenne internationale a faibli (de 500 en 2000 à 493 en 2009), celle des élèves de la Communauté française a progressé de 14 points, passant de 476 à 490. Le progrès se note surtout entre 2006 et 2009 : + 17 points (de 473 à 490), un écart statistiquement significatif et qui correspond à « plus ou moins un tiers d’année scolaire » ⁽³⁾, selon la P^re Dominique Lafontaine, qui dirige l’Unité d’analyse des systèmes et des pratiques d'enseignement, à l’ULg ⁽⁴⁾.

En culture mathématique, la moyenne en Communauté française (488) se situe légèrement sous les moyennes OCDÉ (496) et européenne (491). Comme on le verra plus en détail en pages 21 et 22, la différence filles-garçons, au profit de ceux-ci, est importante : 25 points contre 12 en moyenne OCDÉ. Enfin, avec 15 et 19 points de moins que les moyennes européenne et OCDÉ, la situation est moins avantageuse pour la culture scientifique, même si la légère baisse enregistrée entre 2006 et 2009 (de 486 à 482) équivaut à celle de la moyenne européenne (500 à 497).

Des écarts entre élèves dans tous les pays

Ces scores permettent de nous situer ou d’élaborer des hypothèses quant aux performances des uns et des autres, mais il convient de relativiser : « Les écarts entre les pays ne représentent toutefois qu’une partie de la variation globale de la performance des élèves. Répondre aux besoins d’un effectif d’élèves d’une telle diversité et combler les écarts de performance qui s’observent entre eux reste un énorme défi dans tous les pays » ⁽⁵⁾. Selon la P^re Lafontaine, « 11% des différences de résultats se situent entre pays, contre près de 90% à l’intérieur de ceux-ci ». Et on voit bien sur la figure ci-jointe les écarts entre « nos » élèves.

Sur ce terrain, PISA 2009 confirme ce qu’on savait déjà : alors que les scores moyens observés en Communauté française sont inférieurs aux moyennes OCDÉ, flamande et germanophone, l’écart entre les 25% d’élèves les plus faibles et les 25% d’élèves les plus forts est systématiquement plus grand, comme l’indique la figure ci-contre. Et c’est là toute l’ambivalence des résultats de nos élèves : hormis en culture scientifique, les 25% d’élèves les plus forts obtiennent à PISA 2009 des scores supérieurs à la moyenne OCDÉ. Et même significativement supérieurs pour ce qui est de la compréhension de l’écrit. Mais entre les plus forts et les plus faibles, les écarts de plus de 150 points équivalent, selon les analystes, à plus de quatre années d’étude !

En outre, si l’on croise les résultats des élèves avec des données individuelles ou liées aux écoles qu’ils fréquentent, la Communauté française présente également des écarts considérables : 136 points entre les plus et les moins favorisés socioéconomiquement ; 151 points entre les 25% d’écoles les plus fortes et les 25% d’écoles les plus faibles. On peut se réjouir que 37 des 110 écoles testées (qui scolarisent 40% des 3102 élèves de l’échantillon) dépassent en lecture les scores moyens de la Corée et de la Finlande. Et que la moitié des élèves soient dans des écoles ayant un score supérieur à la moyenne OCDÉ. Mais il est difficile de passer sous silence que les 25% d’écoles les plus faibles cumulent les difficultés : niveau socioéconomique plus faible, moins de dix livres à la maison, près de 50% d’élèves immigrés et de 80% d’élèves en retard.

Trop d’élèves faibles, mais pas de nivellement par le bas

Depuis l’électrochoc de PISA 2000, l’objectif que s’est assignée la Communauté française consiste à améliorer les résultats des élèves les plus faibles. En compréhension de l’écrit, une partie du chemin a d’ailleurs été faite : la proportion d’élèves les plus faibles a diminué de 5% alors qu’en moyenne OCDÉ, elle a crû d’1%. À l’inverse, la proportion de très bons lecteurs a augmenté de 2% alors qu’elle a régressé d’autant en moyenne OCDÉ. Il n’en reste pas moins que « la Communauté française reste parmi les systèmes éducatifs des pays industrialisés qui comptent la plus grande proportion d’élèves faibles » ⁽⁶⁾, soit 23%, juste avant… le Mexique.

Une autre façon de mesurer le chemin parcouru (toujours en lecture) consiste à observer quelles catégories d’élèves progressent. Filles et garçons le font, mais les unes de 8 points, les autres de 18. L’écart au profit des premières est désormais l’un des dix plus faibles parmi les 74 pays ou régions examinées (26 points contre 39 en moyenne). Évolution encourageante aussi quand on compare les résultats des élèves d’origine belge (+13 points) et issus de l’immigration (+39), même si ces derniers affichent un score moyen plus faible (448 contre 508). En outre, ces progrès ne se sont pas faits au détriment des meilleurs élèves, qui ont aussi amélioré leurs résultats en lecture.

Comment expliquer cette amélioration ? Tant la ministre de l’Enseignement obligatoire que les responsables de l’Administration de l’Enseignement et de la Recherche scientifique et la Pre Lafontaine y voient le résultat d’une mobilisation générale. « La convergence des référentiels de compétence, des programmes, des outils d’évaluation, a progressivement mené le monde de l’école à une autre approche de la lecture », indiquait la ministre Simonet lors de la présentation des résultats PISA 2009. « Ce travail de qualité, en profondeur et dans la durée, associant tous les partenaires, institutionnels et de terrain, porte aujourd’hui ses fruits. Même si la modestie reste de mise, ces résultats sont de nature à restaurer la confiance, principalement chez tous les acteurs de terrain ».

Cette mobilisation générale semble avoir produit des effets auprès des jeunes eux-mêmes. Les questionnaires personnels remplis par les 3109 élèves de 15 ans après l’épreuve elle-même permettent de dégager notamment un indice d’attitudes positives envers la lecture et un indice relatif à la diversité des textes lus. Sur ces deux plans, la situation s’améliore en Communauté française, se rapprochant de la moyenne OCDÉ, et ce sont surtout les garçons (traditionnellement plus faibles en lecture) qui ont progressé chez nous. Et l’équipe de la P^re Lafontaine de conclure que « la lecture-compréhension a sans doute été LE chantier des années 2000-2010 » ⁽⁷⁾. Pourra-t-on en dire de même pour les maths en 2010-2020 ?

⁽¹⁾ OCDÉ (2011), Résultats du PISA 2009 : Savoirs et savoir-faire des élèves – Performance des élèves en compréhension de l’écrit, en mathématiques et en sciences (Volume I), p. 18. http://dx.doi.org/10.1787/9789264097643-fr
⁽²⁾ Ibidem
⁽³⁾ Selon la façon très complexe d’apprécier la « valeur ajoutée » d’une année d’études, les analystes la font correspondre à un écart de 30 à 40 points sur l’échelle PISA. Dans ce dossier, nous avons opté pour 40 points.
⁽⁴⁾ BAYE A. et al, La lecture à 15 ans. Premiers résultats de PISA 2009, dans Les Cahiers des Sciences de l’Éducation, n°31, Unité d’analyse des systèmes et des pratiques d’enseignement (aSPe), Université de Liège, 2010, p. 12.
http://www.enseignement.be/download.php?do_id=7697
⁽⁵⁾ OCDÉ (2011), Résultats du PISA 2009, p.13.
⁽⁶⁾ BAYE A. et al, op.cit., p. 12.
⁽⁷⁾ Id., p. 17.