En avril 2017, Pascal Jedryka, principal adjoint du col¬lège Gaston Baty de Pélussin (dans la Loire), anime deux journées de réflexion pédagogique au cours des-quelles il est envisagé une expérimentation afin d’élever l’efficacité de lecture des élèves entrant en sixième à la rentrée prochaine. Il choisit d’utiliser la plateforme elsa qui propose un entraînement individuel et « volontaire » d’au moins 40 heures mais, par prudence, il insère son usage dans un suivi partagé avec des professeurs prêts à penser que leur pédagogie serait encore plus intéressante si leurs élèves étaient de bons lecteurs. Donc, au cours du premier trimestre, deux heures hebdomadaires seront prélevées sur l’horaire des disciplines habituelles, et les élèves seront accompagnés par des enseignants veillant à une prise en main informatique devant déboucher sur leur autonomie avec la plateforme au second trimestre. Au fond, ce qui questionne ce principal, c’est comment des élèves sortant de CM2 – et sans doute encore peu habitués à prendre personnellement en main des outils autonomes d’entraînement – ont besoin d’être suivis au début ? Et, sans doute aussi, comment des professeurs de disciplines différentes se sentent collectivement responsables de la maîtrise du langage écrit dont dé¬pend la réussite dans l’enseignement secondaire ?

À la rentrée 2017, le collège comptant six classes de 6ème, les enseignants souhaitent la constitution d’un groupe « expérimental » et d’un groupe « contrôle », chacun de 3 classes. Et vogue la galère : les licences distribuées permettant un entraînement d’une année, une évaluation approfondie des 2 groupes se fera donc à l’entrée en 5ème, en septembre 2018. Survient alors un imprévu heureux. Le ministère de l’Éducation demande que les élèves de 6ème de tous les collèges passent, fin novembre/début décembre 2017, des épreuves dans plusieurs disciplines sous forme d’un dialogue personnel avec l’ordinateur. Les réponses sont directement retournées au service ministériel émetteur (sans enregistrement ni des questions ni des réponses au niveau de l’établissement) et les collègues recevront seulement la position (Fragile, Insuffisante, Satisfaisant ou Très bonne) de chaque élève dans chaque discipline. À ce moment de l’année scolaire, nombreux sont les enseignants des 6ème témoins et expérimentales qu’intrigue un éventuel effet de ces deux premiers mois d’entraînement avec elsa. Il est décidé de comparer les classes pour les deux épreuves dénommées de « lecture » par le ministère : littéraire et documentaire. Toutes les garanties sont prises au niveau du collège pour que des informations totalement anonymes soient transmises à l’AFL, qui les donne à analyser sur le plan statistique à une équipe de recherche en Sciences du Langage de l’UQAM (Québec). C’est de cela qu’il va être brièvement rendu compte ici.

1. Population

Ces élèves viennent d’une quinzaine d’écoles rurales (publiques et privées). Dans leur dossier scolaire, les enseignants du primaire ont donné une appréciation sur l’efficacité de leur lecture. On constatera dans la suite des résultats qu’ils ont – sans recours à une épreuve commune et sans concertation inter-écoles – une perception assez juste du niveau de leurs élèves ; et donc, que le ministère, en construisant ses outils, et les enseignants, en formulant une appréciation, parlent bien de la même chose. Donc, trois facteurs (sexe, groupe et qualité de lecteur à la fin de CM2) seront utilisés comme variables indépendantes pour analyser – toutes choses égales par ailleurs – la variable dépendante qu’on cherche à expliquer : la performance en lecture mesurée à la fin du premier trimestre par les outils du ministère. Au total des six classes : 146 élèves sont décrits ainsi...

2. Observe-t-on un effet de l’entraînement avec Elsa ?

Il s’agit donc de comparer la performance en lecture des élèves (mesurée par le ministère) selon chacun des trois facteurs, les deux autres étant neutralisés. Pour ce faire, il nous faut d’abord construire la variable indépendante, celle qu’on cherche à expliquer, celle qui représente au mieux le niveau de lecture des élèves à la fin du premier trimestre de 6ème. Dans un second temps, nous chercherons à expliquer les différences de niveau dans cette mesure de la lecture à l’aide de différentes variables indépendantes (explicatives) dont, bien évidemment, le fait de s’être entraîné avec la plateforme elsa.

2.1. Construction de la variable Lecture

Les données issues de l’évaluation ministérielle renseignent deux rubriques très générales (Lecture de textes documentaires et Lecture de textes narratifs) et sont représentées par quatre modalités (Fragile, Insuffisante, Satisfaisant ou Très bonne). Cette situation est en soi assez problématique pour au moins deux raisons : d’abord, faut-il traiter ces deux mesures de manière isolée, comme si la lecture différait fortement en fonction du type de texte à lire et, ensuite, la précision de la note obtenue est un peu floue à cause du choix de ce type d’enregistrement de données. Pour l’écrire rapidement, si on imagine une note sur 100 divisée en 4 parts égales, deux individus ayant l’un 45 et l’autre 55 seront classés dans deux catégories différentes tandis que deux autres individus ayant 30 ou 45 seront dans la même, alors que leur écart est plus important. Qui plus est, un survol de la distribution de ces variables montre une surreprésentation de la modalité Satisfaisant avec près de 80% des élèves positionnés à cette valeur, ce qui – si rien n’était fait à notre niveau de traitement – nous contraindrait à des analyses statistiques de peu d’envergure. Pour avancer dans l’analyse, tout en réglant ces deux problèmes, nous avons choisi de combiner ces deux variables en utilisant une analyse factorielle (ici une analyse en composantes principales) qui va nous permettre, si elle fonctionne, de n’avoir plus qu’une seule valeur combinant les deux mesures prises sur les deux types de textes et de rendre ainsi continue la mesure du phénomène à expliquer, la lecture. Les résultats de cette analyse factorielle nous indiquent qu’environ 60% de la variance est porté par la première composante (représentée par l’axe horizontal), la seule qui soit réellement interprétable (sa valeur propre est la seule à être supérieure à 1). La figure qu’on obtient montre très nettement que les deux mesures vont dans le même sens sur cet axe qui les unifie. L’interprétation est simple : plus

un élève est dans une position positive sur cet axe, meilleur il est en lecture, et ce dans les deux épreuves. Cette position [1], ce sera donc la mesure, pour chaque élève, de sa performance en lecture dans la suite de nos analyses.

2.2. Analyse de la performance en lecture

Pour analyser la variance de la performance en lecture et chercher à trouver des variables qui expliqueraient sa variation, nous introduirons, au sein d’une analyse réalisée au moyen du modèle linéaire général, comme variable dépendante (variable à expliquer) la performance en lecture – telle que calculée précédemment – et comme variables indépendantes (variables explicatives) le sexe de l’élève, son groupe (elsa vs. Contrôle) et son niveau de départ en lecture [2]. L’introduction de cette variable est importante à plus d’un titre : d’abord, elle permet de « contrôler » le niveau de départ dans les équations du modèle et, de ce fait, de pouvoir observer un effet du genre ou du groupe quel que soit le niveau de départ des élèves. Ensuite, puisque ce type d’analyse inclut les interactions entre

chacune des variables indépendantes rentrées dans le modèle, nous pourrons observer également si l’entraînement agit de manière différente selon le niveau de départ des élèves. Une synthèse des résultats de cette analyse se trouve dans le tableau 1.

2.3. Que voit-on ?

2.3.1. La puissance du modèle

Ici, il s’agit de savoir si les variables explicatives font, ensemble, correctement leur travail et, si oui, comment elles le font. Le premier résultat (ligne 1 du tableau 1) indique que le modèle est statistiquement significatif, c’est-à-dire que les variables explicatives expliquent la performance globale de lecture avec une chance très infime que ce résultat soit dû au hasard. En outre, la ligne 10 du tableau 1 nous indique que 32% de la variance de la performance en lecture est expliqué par le modèle. Il s’agit ici d’un excellent résultat et ce pour deux raisons au moins : d’abord plus la variable à expliquer représente un « construit » complexe (et la lecture en est un !), plus sa facilité à être expliquée par quelques variables est réduite ; ensuite parce que nous avons peu de variables explicatives dans ce modèle et on comprendra sans peine qu’en rajoutant des informations manquantes (par exemple le niveau d’études des parents, ou le nombre de livres dans la maison...) dans les variables explicatives, on gagnerait facilement en qualité d’interprétation et, sans aucun doute, on augmenterait encore la part de variance expliquée.

En bref, nous avons ici un modèle très robuste qui nous permet de regarder avec confiance les contributions intrinsèques des variables indépendantes à la performance générale en lecture.

2.3.2. Effets des variables isolées

Le tableau 1 nous montre les significativités statistiques des variables prises isolément. Pour rappel, ces effets sont exprimés en tenant compte des autres variables dans le modèle, donc en les « contrôlant ». On observe que le genre (ligne 3) n’a pas d’effet significatif sur la performance en lecture. En revanche, on observe :

A) Un effet du niveau de départ

La ligne 5 du tableau 1 nous indique la significativité de cette variable et la ci-dessous nous renseigne sur son interprétation. Les élèves, filles ou garçons, dans le groupe elsa comme dans le groupe contrôle, ont de meilleures performances en lecture s’ils sont déjà performants à la fin du cycle 3. Près de 30 points d’écart entre les plus et les moins performants... rien de bien révolutionnaire ici, un résultat tout à fait attendu.

B) Un effet des 2 mois d’entraînement (variable Groupe)

Le tableau 1 (ligne 4) nous indique que cette variable a une incidence importante sur la performance finale en lecture. Et ce, quel que soit le niveau de départ des élèves, ou leur genre.

L’écart de performance entre les collégiens qui se sont entraînés et ceux du groupe contrôle, est de plus de 7 points soit un gain de 16,45% pour ceux qui ont travaillé avec elsa, par rapport à la performance de ceux qui ne l’ont pas utilisée. Rappelons que l’épreuve du ministère mesure, sur deux textes différents, la compréhension qu’en ont les collégiens de 6ème, c’est-à-dire l’efficacité de leur lecture. Si on appliquait ce gain moyen aux résultats des épreuves internationales, la France pourrait être moins soucieuse du niveau de ses élèves.

2.3.3. Effets des variables en interaction

Le tableau 1 montre que seule l’interaction entre le groupe et le niveau de départ est significatif. La figure suivante illustre cet effet...

On observe ici que l’entraînement est le plus efficace pour les élèves les plus faibles au départ, ce qui ne veut pas dire qu’il n’agit qu’à ce niveau, puisque les meilleurs en CM2 restent significativement meilleurs après l’entraînement. Cependant, on voit nettement que les élèves dont la performance était jugée insatisfaisante au CM2 effectuent le progrès le plus important, passant de 29 à 46, soit une augmentation d’environ 58%. Les élèves moyens ne progressent pas, tandis que les plus forts en CM2 voient leurs performances [3] augmenter de 8%.

3. Quelques remarques à l’intérieur du groupe expérimental

Est-il possible d’ébaucher quelques hypothèses à partir des données recueillies quant à l’entraînement proprement dit ? Tous les élèves ont eu approximativement le même temps d’entraînement puisque celui-ci était inclus dans un emploi du temps surveillé, ce qui ne dit d’ailleurs rien de leur concentration effective. Donc, cette durée ne « varie » pas. En revanche, ce qui varie, c’est le nombre de plans effectués pendant cette quinzaine d’heures. Pour le moment, deux informations pourraient être tirées.

3.1. Relation entre le niveau initial au CM2 et le nombre de plans

Une simple analyse de la variance (ANOVA) – prenant comme variable dépendante le nombre de plan effectué par chaque élève et en variable indépendante son niveau de lecture en CM2 (en trois modalités) – nous permet d’observer une relation significative entre ces deux éléments (F(2, 73)=23,71 ; p<0,001). La figure suivante (NUMERO) montre très clairement que les élèves les plus faibles en CM2 font significativement moins de plans pendant la même durée d’entraîne¬ment, ce qui ne les empêche pas de progresser.

On voit que les élèves mauvais lecteurs au CM2, ont effectué en moyenne cinq plans et demi tandis que les autres (bons ou très bons), dans le même temps, en ont fait un peu plus de deux supplémentaires. Ceci s’explique aisément et renvoie implicitement à une question de vitesse de lecture : les élèves faibles lecteurs lisent moins vite (d’après ce nombre de plans sur elsa) et comprennent moins bien d’après l’épreuve du mystère. Qui se permettra de faire l’hypothèse qu’il peut y avoir un rapport entre ces 2 données ?

3.2. Nombre de plans avec elsa et performance en lecture

La corrélation entre le nombre de plans effectués et la performance générale en lecture n’est pas significative (r=0,134 ; ns). Ce qui inciterait, à ce stade, à penser que – selon ce qui a été présenté en 2.3 et l’absence d’effet significatif du nombre de plans effectués – c’est le temps d’entraînement qui compte (0 heure pour le groupe témoin, une quinzaine d’heures pour l’ensemble du groupe expérimental) et non le niveau « objectif » de difficulté de l’entraînement qui intervient. Ce qui confirme l’importance, dans ce logiciel, de « l’écoute » permanente qu’il opère afin que l’élève s’entraîne toujours à son meilleur niveau personnel.

Merci donc au ministère de l’Éducation, dont les outils d’évaluation en lecture encouragent l’AFL à poursuivre ses productions et ses recherches...