A la fin de l’année scolaire passée, nous avions, avec la participation active de l’Antenne Maîtrise des langages de l'Académie de Nantes, procédé à une évaluation en lecture d’élèves de sixième qui s’étaient, ou non, entraînés sur le logiciel ELSA. Notre objectif était d’essayer de mesurer les éventuels bénéfices que ces élèves en avaient retirés. A cette occasion, notre passage dans les collèges et les rencontres que nous avons eues avec leurs responsables ont montré combien ils appréciaient des avantages à la mesure de l’investissement qu’ils avaient consenti en achetant ce logiciel. Quoiqu’il en soit, et sans mésestimer cet aspect des choses, nous avons voulu proposer une méthode d’évaluation des compétences de lecture la plus rigoureuse possible et extérieure à ELSA.

Un article, actuellement en relecture, présente de manière très exhaustive la méthodologie employée, décrit de manière précise les épreuves et présente certains résultats d’analyses statistiques parfois poussées. Nous voudrions ici présenter certains résultats.

Notre objectif était de comparer des groupes d’enfants de sixième qui avaient comme caractéristiques de s’être entraînés avec ELSA, mais de manière différentes. Dans un premier temps, cinq groupes avaient été constitués, de manière transversale aux collèges :

Un groupe, A, fait office de groupe contrôle et ne suit aucune activité particulière autour de la lecture. Deux groupes, B et C, prennent une séance par semaine sur l’horaire normal de français pour mener des activités avec le (ou à partir du) logiciel : le groupe C consacre une partie de cette séance hebdomadaire à des activités de théorisation, telles qu’elles ont pu être décrites par ailleurs. Le groupe B quant à lui, consacre la totalité de ce temps à des activités d’entraînement devant l’ordinateur. Le groupe D, lui, fonctionne sur le même schéma que le groupe C, mais les élèves font un gros investissement temporel au cours de cette année de sixième, puisque 2 séances hebdomadaires sont consacrées à l’entraînement. (tableau 1)

Tableau 1. - récapitulation des groupes

Le problème de la présence du groupe Z illustre une des critiques de Troia (Voir Bonnes pages, pp. 61 – 67 de notre précédent numéro et pp. 37 de ce présent numéro). Nous voulions comparer les élèves ayant suivi une séance hebdomadaire d’entraînement sur ELSA par semaine, avec d’autres élèves ayant consacré eux aussi une séance à des activités autour de la lecture, mais qui n’avaient pas utilisé ELSA. Malheureusement, nous n’avions pas bien pris en compte les temps totaux d’activités : les élèves de ce groupe Z utilisaient des heures en plus de l’horaire de français pour mener ces activités. Aussi, la répartition des temps en fonction des groupes n’était-elle pas équivalente et nous avons dû faire disparaître ce groupe de notre étude.

Pour sélectionner les élèves appartenant à chacun des groupes, une souche a été constituée par tirage au sort dans le groupe B. A partir de cette souche, l'appariement s'est fait pour les autres groupes en respectant les critères suivants :

• la note globale obtenue à l'épreuve de Français de l'évaluation 6ème ;
• la note globale obtenue à l'épreuve de Mathématiques de l'évaluation 6ème ;
• l'âge ;
• le sexe.

Ces quatre indices ont été systématiquement observés, avec une tolérance de ±5% pour les notes de français et de mathématique. Au total, nous avons constitué une population de 85 élèves se répartissant respectivement dans les groupes en effectif de 21, 19, 22 et 23 élèves. On compte 36 garçons et 49 filles. Une analyse de variance ANOVA entre les groupes constitués sur la note de français à l'évaluation sixième corrobore leur homogénéité (F(3,81)=0.02 ; p=0.99, non significatif).

L’évaluation des performances en lecture s’est faite avec deux épreuves différentes, toutes deux passées sur ordinateur. Ces épreuves, déjà utilisées lors de la recherche sur la lecture chez les 5-8 ans (voir A.L. n° 47, sept. 94, p.28 et Principe alphabétique et lecture. revue du CERSE – Université de Caen), serviront à une évaluation menée dans certains quartiers ZEP.

La première épreuve s’attache à décrire une forme de lecture très courante, sans doute à l’œuvre dans plus de 60 % des situations ordinaires, celles où il s’agit de travailler simplement sur l’explicite du texte et qui correspond à ce que l'ex Direction des Études et Prospective du Ministère de l'Éducation Nationale décrivait comme une "compétence approfondie". Neufs textes courts s’affichent successivement, l’élève indique qu'il en a terminé la lecture et répond alors à une question. L’épreuve s’arrête lorsque 3 réponses correctes sont données à la suite. On précise à l’élève qu’on cherche à mesurer sa vitesse efficace de lecture, c'est-à-dire celle qui le fait aller vite en lui assurant la meilleure issue, ici la réponse à une question posée après chaque lecture d'un texte. Les textes sont diversifiés (presse, documentaire et fiction).

La seconde épreuve fait travailler sur l’implicite du texte, ce que l'ex DEP dénommait "compétence remarquable" et dont sembleraient disposer moins de 20 % des élèves entrant en sixième. Il s’agit de franchir ce que dit le texte pour atteindre l’intention de l’auteur et apprécier les moyens qu’il emploie.

Un texte de fiction de Gianni Rodari, long de 1 526 mots, présenté sur un écran d’ordinateur, permet de nombreuses interprétations, en partie par l'usage que fait l'auteur de différents épilogues. L’élève peut parcourir à sa guise les 9 pages écran pendant le temps qu’il estime nécessaire. Ensuite, il répond à des questions par un système de QCM, le texte n’étant alors plus consultable. Un barème a été étalonné par un groupe d'enseignants et de bibliothécaires pour différencier les degrés d'interprétations et ne pas s'enfermer dans le tout ou rien. Ainsi, toutes les réponses sont possibles mais certaines témoignent d'un niveau supérieur de compréhension.

A partir de ces deux épreuves, nous avons construit trois indices différents, à l’aide d’une analyse en composantes principales. Ce type d'analyse factorielle est particulièrement utile quand on veut combiner dans un seul facteur plusieurs variables car il est en effet possible de synthétiser la corrélation entre deux variables dans un nuage de points à travers leur combinaison linéaire. Les trois variables construites ont été une performance générale de lecture, une mesure de la compréhension et une mesure de la vitesse de lecture. Nous privilégierons ici les résultats à la performance générale en lecture, dans la mesure où cet indice combine au mieux les deux autres.

Nous nous trouvons donc en présence de quatre groupes homogènes quand à leur niveau en début de sixième, d’une description d’activités différentes quant à la lecture pendant l’année scolaire, et d’épreuves en fin de sixième évaluant les performances en lecture.

Les résultats à la fin de la sixième sont étudiés par une analyse de variance (MANOVA). Bien que les groupes soient homogènes, ce plan multivarié permet de neutraliser les différences dues au niveau de départ (donné par les notes en français et en math à l'évaluation 6ème prises comme covariants) et par l'introduction dans le modèle des variables Sexe, Catégorie Socio Professionnelle (CSP) et familiarité avec l'informatique (présence de l'ordinateur à la maison).

Les résultats généraux de cette analyse de variance révèlent que trois variables agissent de manière significative sur la performance de lecture : la CSP, la note de départ en français et le type de pédagogie. Le test multivarié étant significatif, nous pouvons conclure que l'effet GROUPE est avéré [Effet du groupe : F(3, 74)=3.1664, p<0.03]. Les trois groupes utilisant ELSA (B, C, D) ont de meilleurs résultats que celui ne l'utilisant pas. D'une manière générale, les résultats sont meilleurs pour les élèves qui ont en commun d'avoir utilisé une partie de leur horaire de français à un entraînement à la lecture à l'aide de l'outil informatique.

Ces résultats suggèrent l'importance d'un temps de travail assez long avec cet outil. On remarque en effet que le groupe utilisant une partie du temps consacré à ELSA pour mener des activités de théorisation ont des résultats légèrement inférieurs à ceux consacrant la totalité de leur horaire à l’entraînement proprement dit (même si la différence entre les deux groupes n’est pas significative et interdit de ce fait les conclusions de causalité entre théorisation et moins bons résultats). Quoiqu’il en soit, il semble bien qu’un temps suffisant d’entraînement soit un point central dans la qualité de l’entraînement.

Pour mieux appréhender cet effet-temps, nous avons affecté à chacun des élèves le temps réel d'utilisation du logiciel tel qu'il figure dans la dernière ligne du tableau 1. La variable à expliquer étant cette fois continue, nous utiliserons la technique de la régression multiple. Comme nous cherchions ici à affiner au maximum le modèle explicatif, nous avons éliminé un certain nombre d’individus, dont la différence entre la note attendue et la performance réelle excède un écart-type : 11 individus ont été supprimés des analyses.

Le tableau 2 montre les résultats de cette analyse (pour la compréhension de ce type de tableau : Jean Foucambert, Lire les recherches sur la lecture, A.L. n°69, mars 2000, pp.39 – 49)

On note en premier lieu le poids prévisible du niveau initial en français (bêta = 0.52 ; p=0,0034) dans la performance finale de lecture. Certaines catégories de CSP ont aussi une influence, positive pour les cadres, négative pour les ouvriers). Pour autant, le facteur temps d'utilisation du logiciel joue, toutes les autres variables étant contrôlées, un rôle très important bien que moitié moins fort que le niveau initial en français (bêta = 0.25 ; p=0,0034).

On pourra également se référer à la tolérance qui signale la pertinence de la variable temps d'entraînement, puisqu’elle est égale à 0,91 dans ce modèle, c'est à dire qu'elle n'est absolument pas redondante avec la contribution des autres variables indépendantes.

Il ressort de ces résultats que l'utilisation d'une partie de l'horaire de français pour renforcer les compétences techniques des processus de lecture a des conséquences positives incontestablement significatives.

Mais nous pouvons encore aller plus loin sur le temps d'entraînement nécessaire à l'obtention des effets attendus. Ce type d’analyse permet d’évaluer le temps d’entraînement sur ELSA nécessaire pour que tous les élèves atteignent au moins le niveau de performances des 15 % des élèves les meilleurs (cette proportion de 15 % correspond à la proportion d’élèves qui, d’après les évaluations ministérielles, maîtrisent les compétences remarquables). Le groupe A qui n'a suivi aucun entraînement nous sert de référence. La moyenne de sa performance en lecture en fin d'année est de 43 points dans une distribution, pour la population totale des 4 groupes, de moyenne 50 et d'écart-type 20. La performance, dans le groupe A, au-dessus de laquelle se trouvent 15% des élèves se situe à 56 points, à mi-chemin entre les moyennes des groupes C et D. Il s'agirait donc, pour le groupe A, sans doute représentatif de la population standard des élèves de sixième, d'élever sa performance moyenne de 13 ou 14 points. On voit dans le tableau 2, à la colonne coefficient, que chaque minute hebdomadaire d'entraînement élève la performance de lecture de 0.1415 point. Il faut alors miser sur une utilisation hebdomadaire d'environ 92 minutes pour amener la moyenne générale au niveau des 15 % actuellement les meilleurs.

Nous avons précisé plus haut pourquoi le groupe Z avait disparu de l’étude : ses membres avaient des activités lecture en dehors de l’horaire de français. Ce qu’on cherche à contrôler par ces restrictions, c’est que les effets observés ne soient pas simplement dus à une participation plus importante à des activités, et que ce seul effet-temps soit responsable d’une amélioration de la lecture. On pourrait objecter que cette conditions défavorise les groupes ELSA puisqu’ils travaillent moins longtemps en français que les élèves de ce groupe Z. Pour éviter tout malentendu, nous avons enlevé ce groupe.

Les activités menées à l’intérieur de ce groupe Z sont de natures très variées, puisqu’on y aborde et pratique successivement différents aspects de la lecture. On y trouvera donc :

• Des comités de lecture
• Des préparations de défis-lecture
• Un travail sur le roman policier : travail d’analyse des romans policiers mené au CDI puis production d’une nouvelle policière (scénario et recherches au CDI).
• Des travaux en CDI (utilisation des outils de recherche).
• Une autre activité est menée par les professeurs de français au CDI pour présenter les livres lus, découvrir des albums, favoriser l’emprunt de livres.
• Des échanges oraux sur les lectures.
• Des séances sur le logiciel LIREBEL

Les résultats de ce groupe Z sont sensiblement les mêmes que ceux du groupe témoin, c’est à dire du groupe qui ne mène aucune activité spécifique ayant comme ambition d’améliorer les compétences de lecture des élèves. A titre d’illustration, nous fournissons ici la moyenne des groupes pour la variable " vitesse de lecture ", en ayant, une fois encore, éliminé l’influence du niveau de départ (notes en français et en math à l’évaluation sixième).

L’analyse de variance entre les groupes reste très significative (F(4, 86)=5.1940, p=.00085) et montre une augmentation de la vitesse de lecture d’environ 40 % entre les élèves ne pratiquant pas ELSA et ceux l’utilisant une séance par semaine (avec ou sans théorisation) et de 80 % avec les élèves utilisant ELSA durant deux séances hebdomadaires.

Cette étude se proposait en premier lieu d'évaluer les effets de l'usage d'un logiciel d'entraînement pour améliorer les performances en lecture dans le cadre de l'emploi du temps ordinaire de la classe de sixième. Il ressort que :

1. l'absence d'investissements techniques spécifiques relatifs à la lecture provoque en fin d'année des performances significativement inférieures à celles produites par un entraînement régulier dont la durée vient pourtant en déduction de l'horaire de français.
2. l'élévation des performances est d'environ 40 % pour cinquante-cinq minutes d'entraînement par semaine et de 75 % pour un entraînement hebdomadaire de 75 minutes.

En second lieu, il s'agissait d'en savoir davantage sur le temps d'entraînement nécessaire à l'obtention des effets attendus. Nous avons montré que 92 minutes hebdomadaires d’entraînement permettaient à tous les élèves de sixième d’atteindre au moins les compétences de lecteurs des 15 % les meilleurs. Cette durée dépasse l'heure proposée par les textes officiels dans le cadre d'une seule année d'utilisation, mais rien n'empêche, comme cela se produit déjà dans certains collèges, de permettre aux élèves d'avoir un accès libre (par exemple par la présence d'ordinateurs au CDI) à des outils d'entraînement à la lecture, ce qui offrirait le temps nécessaire, sans amputer excessivement les moments d'enseignement. Qui plus est, cette étude ne préjuge pas des résultats d’un entraînement systématique à la lecture sur plusieurs années, de la fin du cycle 3 au collège. Rappelons qu’ELSA permet à chaque élève d’arriver au collège avec " l’histoire " mémorisée de son entraînement qui pourrait assurer une continuité fructueuse. Quoiqu’il en soit, si les temps alloués en sixième par les textes ministériels ne suffisent pas à l’amélioration des résultats en lecture, une mise à disposition de ces outils pédagogiques semble nécessaire, grâce à des contrats passés avec les élèves et à l’accès plus individualisé aux équipements informatiques.

Bien entendu, on ne limitera pas la maîtrise de l’écrit au seul accès facilité à un logiciel d’entraînement, mais l’appropriation des capacités techniques grâce au logiciel ne saurait être oublié du parcours d’un jeune collégien. Mais ces élèves qui, à la fin de la sixième, ont la capacité de lire deux fois plus d'ouvrages que les autres, ne vont-ils pas développer une expérience de l'écrit du seul fait de leur plus grande facilité à s'y mouvoir ? N’était-ce pas ce qu’écrivait il y a déjà quelques années Jean-Claude Passeron : "On mesure, à travers les vitesses de lecture, les divers seuils de cet accès à une lecture flexible qui est une condition sine qua non d'une utilisation réelle de l'écrit."

Denis FOUCAMBERT