Evaluer : Quel referentiel

Evaluer: uel référentiel? q Avec une préface de Jacques Ardoino

Gérard Figari

MÉTHODOLOGIE DE L4 RECHERCHE

Évaluer: que1 référentiel?

c

--

0 LIVRARIA ESCOLAR EDITORA -

Telel 757 50 55 LISBOA

- FU 757 24 91

PÉDAGOGIES EN DÉVELOPPEMENT Direction De Ketele Jean-Mane, Belgique Comité scientifique internationa1 Ben-Omar Boubker, Maroc; Chevrolet Daniel, France; Girard André, Québec; Tapia Claude, France; Tahin Claudine, Côte d'Ivoire et Roosen Antoine, Belgique.

Evaluer : que1 référen tiel? Avec une préface de Jacques Ardoino

Gérard Figari

O De Boeck-Wesmael s.a. 1994

Rue des Minimes 39 - B 1000 Bmxeiles Toute reproduction d'un extrait quelconque de ce livre, par quelque procédé que ce soit, et notarnment par photocopie ou microfilm, est stnctement interdite. Pnnted in Belgium D 199410074165

ISSN 0779-9276 ISBN 2-8041-1911-4

Au jeune philosophe d o n t le regard étonné e t critique porté sur cet ouurage fut si salutaire, a Joel, mon fils.

TABLE DES MATIÈRES

Préface

........................................................................................

....................................................................................

Introduction La question ................................................................................ Les t e m e s du débat ................................................................... 1 Les dispositifs éducatifs : objets de notre temps .............................. La notion de dispositif éducatif ...................................................... Les interrogations ........................................................................ 2 L'évaluation des dispositifs : quelles réponses a Ia demande ? ................................................... Conceptions et définitions ............................................................ Demandes et pressions ................................................................ Problèmes posés ......................................................................... Recherche d'une réponse théorique et méthodologique ................... 3 Le recours au référentiel en éducation et formation ........................ Une notion fréquemment utilisée .................................................. Un contexte d'évolution des cadres de références ........................... Du cadre de références au référentiel ............................................. Prernière partie :

COMPRENDRE LA NOTION DE RÉFÉRENTIEL ..

La référentialisation ou le référentiel revisité ........................ . . ..............................

1 Trois exemples représentatifs de trois types de référentiels différents ................................................................. 1 Un référentiel pour Ia délivrance des CAP. BP

et BTS par unités capitalisables ..................................................... 2 Un référentiel de formation professionnelle .................................... 3 Un guide pour Ia régulation des systèmes éducatifs .........................

Ambiguités des référentiels ...................... ....

.......................................................

Concepts en cascade : référent. référentiel. référentialisation ............................................. 1 Référent. référentiel ..................................................................... 2 Redevances et distinctions ............................................................ Le référentiel cartésien ................................................................. Le référentiel en linguistique ......................................................... 3 Référentialisation ......................................................................... 4 Apports des concepts de modèle et de système .............................. 4.1 Référentiel et modèle ............................................................ 4.2 Référentiel et système ...........................................................

8

Table des rnatières

5 Les statuts de Ia référentialisation ..................................................

Troisième partie

Le statut opératoire ..................................................................... Le statut méthcdologique ............................................................. Le statut scientifique .................................................................... 6 Vers un schéma de Ia référentialisation .......................................... 6 . 1 Evaluation et référentialisation ............................................... 6.2 Un cadre d'analyse ............................................................... 6 . 3 Un schéma pour décrire un dispositif éducatif ......................... 6 . 4 Schéma pour expliquer, schéma pour réaliser ......................... 6 . 5 Applications ........................................................................

4

Table des ma-

DIIIII FT LU

Des notions cm-

1 L'évaluation 1 Le diagnostic 2 Diagnostic et

~ t - ..

2 L'audit de Ia f o r r r . i 1 L'audit des etablisi

Schéma provisoire, nécessité de modèles .............................................................

60

1 . 1 Les modalirés 1.2 Les limi 2 Audit et é v a i n ,

RETROUVER UN ~ F É R E N T I E LPAR L'ANALYSE DES SITUATIONS EDUCATIVES ..........................

61

3 Le maniement br cd

.........................................................

61

1 Analyse de Ia situation-contexte : infonnation et référentlel ............ 1 Contextes institutionnel, économique et professionnel ..................... 1.1. Contexte institutionnel et plan de formation ............................ 1.2 Contexte économique et formation de formateurs ................... 1 . 3 Contexte professionnel et demande de formation .................... 2 Les problèmes de relations de Ia formation avec son contexte ......... Subtexte plutôt que contexte .....................................................

63

Deuxième partie

Contexte et projet : deux éléments a étudier

((

))

Justifier le choix de I'information ............................................................................

2 Analyse du projet éducatif : Projet et référentiel ............................. Le projet interrogé .................................................................................................

1 Des dispositifs appelés « projets » ................................................... 1.1 Les << Projets d'Action Educative » : un dispositif d'incitation au projet pédagogique ....................... Un dispositif ambitieux ....................................................... Un dispositif important ......................................................... Une étude des effetssur le système éducatif ............................ 1.2 Les Projets d'Etablissements scolaires ..................................... Des définitions encore incertaines .......................................... Les modalités de I'étude ........................................................ Une analyse des traces d'activités de projet dans les établissements scolaires ............................................ Prise en compte du discours dans I'analyse du projet ............... Les conclusions .................................................................... Application d'un schéma explicatif ......................................... .. 2 Des concepts pour analyser les projets ........................................... 2 . 1 Champs conceptuels ............................................................ Des concepts contributifs ...................................................... Des notions connexes ........................................................... 2.2 Le concept de projet dans les dispositifs éducatifs .................... Entre le projet institutionnel et le projet des acteurs : le dispositif Décrypter un système de références ......................................

64 64 66

68 69

des dispositifs 1 Le critère ..........., 2 L'indicateur ........ 2.1 L'indicato-r- -2.2 L'indicc2 . 3 L'indicateu a

.,

Analyser n 'est p s

70 71

Quatrième partie

1

73

Recours au réfé--+

73

Construire un Des problèmes oe

-

4.J

7

9

1 Construire un 1 Préalables I' 2 A Ia 2.1 2.2 2.3 24 2.5 26

recherche d'm3 L'ongine de I'é Le projet d 4 Le plan d ' u Les méthodes i ia deteria référ~ -.-.C

((

2 Construire un réf-

1 L'origine : une comn 2 Le projet d'évaluaba 2.1 L'objet d'erl& 2.2 Une ni3 Le plan d'étude ..... 3 . 1 L'emboitemerit 3.2 Les questin-c i 3.3 Les direi 4 Les mcdes de rrairrn 5 ia référentialiioari c 1

.9

Tabk des matières

DISTINGUER ~ÉVALUATIONDIAGNOSTIQUE ET L'AUDIT ..............................................................

97

Des notions contributives ......................................................................................

97

Troisièrne partie

1 L'évaluation diagnostique ............................................................ 1 Le diagnostic : d e I'objet observé a I'objet interprété ....................... 2 Diagnostic et élaboration des besoins .............................................

100 101

2 L'audit de Ia formation ............................................................... 1 L'audit des établissements scolaires ............................................. 1 . 1 Les modalités ....................................................................... 1 . 2 Les limites ........................................................................... 2 Audit et évaluation ......................................................................

103 105 105 106 107

3 Le maniement des critères et des indicateurs dans I'évaluation des dispositifs éducatifs ........................................................... 1 Le critère ............................................................................... 2 L'indicateur ................................................................................. 2 . 1 L'indicateur comme information pnvilégiée ............................ 2 . 2 L'indicateur comme catégorie représentative .......................... 2 . 3 L'indicateur comme concrétisation d'un cntère .......................

C

b

m UN

109 109 110 111 112 112

.

Analyser n'est pas évaluer ...................................................................................

Quatrièrne partie

99

D'ÉVALUA~ON

Recours eu r é k b n t :élucidation ou construction ? ................................................ Construire un référentiel d'évaluation................................................................... Des problèmes de méthode ..................................................................................

1 Construire un référentiel pour évaluer I'établissement scolaire ....... 1 Préalables : I'établissement scolaire face a ses évaluations ................ 2 A Ia recherche d'un référentiel d'évaluation de l'établissement ......... 2 . 1 L'origine de I'évaluation : un « projet d'établissement ............. 2 . 2 Le projet d'évaluation ........................................................... 2 . 3 Le plan d'étude .................................................................... 2 . 4 Les méthodes d e traitement et d'analyse ................................ 2 . 5 La détermination des critères ................................................ 2 . 6 La référentialisation et le référentiel ....................................... .)

2 Construire un r6férentiel pour évaluer un dispositif de formation .... 1 L'origine : une commande ............................................................ 2 Le projet d'évaluation .................................................................. 2 . 1 L'objet d'étude : le dispositif des Ecoles Thématiques ............... 2 . 2 Une instrumentation adaptée a une demande d'évaluation ....... 3 Le plan d'étude ........................................................................... 3 . 1 L'emboitement des dimensions du problème ........................... 3 . 2 Les questions d e I'évaluation ................................................. 3.3 Les directions d'investigation et les matériaux ......................... 4 Les modes d e traitement et d'analyse ............................................ 5 La référentialisation et le référentiel ...............................................

113

115 115 116 116

1o

T e & matières

3 Construire un référentiel pour évaluer Ia qualité d'un cuniculum ....

157

Le curriculum :un dispositif particulier ...................................................................

157

1 L'origine : une cornrnande ............................................................

Cornprendre Ia commande ........................................................... 2 Le projet d'évaluation .................................................................. 2.1 Des orientations ................................................................... 2.2 Une proposition d'approche méthodologique ......................... 2.3 Des questions de Ia cornmande aux questions de I'étude ........... 3 Le plan d'étude ........................................................................... 3.1 Les dirnensions du problèrne ................................................. 3.2 L'ernboiternent des questions ................................................ 3.3 Les directions d'investigation et Ia construction d'un corps de matériaux ........................................................ 4 Les rnodes de traiternent et d'analyse ............................................ 5 La référentialisation et ]e référentiel ............................................... 5.1 La référentialisation .............................................................. 5.2 Le référentiel ....................................................................... Conclusion

.....................................................................................

Bibliographie ..................................................................................

179 185

premier lecteur, invitant à ter a leur tour leurs r e c p a entendre, ici. d'un poii sous I'angle de 1 . 9 (référence et révérence g et desquelles on attendrdl luation. Une préface est mentaire. De Ia sorte. s'e cation de toute m e : d enfin a son créateur. N'e frelatée possible. de toute Avec le présent traval jet d'éclairer et d'articuler en les assortissant d'une C dispositif m é t h o d o l m donc rassemblées et revisi mulées au fil des années p d'études ou de recherches I'aborde sous des angles micro-sociologique et risque de confusions noml luer des dispositifs éduc

d

Préfacer un texte, c'est vouloir d'une certaine façon, s'y affirmer en tant que premier lecteur, invitant a l'occasion d'autres personnes a le suivre pour ajouter a leur tour leurs regards critiques. Le qualificatif (qx-emieis)n'est donc pas à entendre, ici, d'un point de vue seulement chronologique, non plus que sous I'angle de I'invocation d'une notabilité, ou d'une quelconque autorité (référence et révérence gardées), fréquemment associées à une telle posture, et desquelles on attendrait ainsi, plus ou moins implicitement, une sorte d'évaluation. Une préface est bien plutôt un prétexte initial a s'autoriser au commentaire. De Ia sorte, s'esquissera vraiment ce qui constitue la véritable vocation de toute oeuvre : devoir devenir une sorte d e ((Gelem)) pour échapper enfin a son créateur. N'est-ce pas alors, du même coup, Ia visée Ia moins frelatée possible, de toute entreprise pédagogique ? Avec le présent travail, Gérard Figari se donne effectivement pour projet d'éclairer et d'articuler les notions de référent et de référentialisation, en les assortissant d'une casuistique, dans Ia perspective de vouloir créer un dispositif méthodologique assurant la démarche d'évaluation. S'y trouvent donc rassemblées et revisitées, en cours de théorisation, des données accumulées au fil des années précédentes, a partir d'interventions, de ((chantiers)), d'études ou de recherches. La polysémie du terme évaluation permet qu'on I'aborde sous des angles extrêmement différents : institutionnel et macrosocial, micro-sociologique et relationnel (groupal), instrumental, praxéologique.. . au risque de confusions nombreuses. On choisit ici l'ingénierie. I1 s'agit d'évaluer des dispositifs éducatifs à partir d'un référentiel. Si le dispositif est

I'agencement des différentes parties, des composantes, d'un matériel, d'un appareil, d'une machine, métaphoriquement et abusivement assimilées a des organes (modèles mécaniques ou biologiques sous-jacents ?), le référentiel est un schème d'intelligibilité construit en vue d'un repérage, a partir d'une analyse de situation. ia question qui subsistera néanmoins sera celle de savoir si le référentiel, ainsi élaboré, se voudra révélation, a tout le moins écho, d'une réalité déjà la, ou simplement représentation, parmi d'autres, dynamique et mouvante perpétuellement inachevée et en cours de changement. Nous sommes bien au plan de I'action mais on n'y distingue pas entre praxis et poiesis. Sans exclure pour autant I'intérêt de considérations gastronomiques plus amples, I'auteur d'Evaluer; que1 référentiel ? nous rappelle opportunément que les praticiens de I'évaluation ont également besoin de rudiments pour savoir faire leur cuisine de terrain. Une part importante va donc être concédée a I'instrumentation, en regard de considérations sur Ia problématique d'emploi de l'outil. Avec ce parti-pris organisateur, Ia vision du monde est cartésienne, I'analyse entendant bien conduire a une pus grande transparence, voire au controle comme à Ia maitrise des procédures mises en ceuvre. Nous sommes au seuil d'une praxéologie. Sans doute, on retrouvera, ailleurs et plus tard, la difficulté de savoir comment vont pouvoir s'articuler e n fait l'idéal de simplification et de réduction en éléments plus simples par le jeu de Ia décomposition de Ia Méthode selon R. Descartes avec Ia complexité et le holisme d'une Méthode selon E. Morin a laquelle il sera fait également appel par Ia force des choses. Logique et logique du vivant sont loin de c6incider. ia ((référentialisationn,jouant un peu ici comme une ((boitenoire*, suffira-t-elle a rendre compte d'un te1 changement de paradigme ? Même si elle comporte, pour Gérard Figari, des implications linguistiques évidentes, sur lesquelles nous allons insister, I'idée de référentiel est également comprise au fil de ces pages en tant qu'ensemble articulé et programmé d'aptitudes et de capacités, de compétences, constituant Ia matière et Ia progression éventuelle d'un apprentissage, d'une formation ((aéférentiel d'unités capitalisables)), ((référentiel de diplôme)), ((référentiel de métier. ...). Les Ministères de 1'Education et du Travail privilégient justement cette signification très appauvrie du terme (((catalogued'objectifs hiérarchisés)), ((ensemble des normes d'un évaluateur))).J'ai moi-même, employé I'idée de référentialité, notamment a propos de I'approche multiréférentielle', encore que dans un sens assez différent, finalement plus proche de ce que Gérard Figari appelle ici référentialisation. Plus spécifiquement, Ia multiréférentialité fait partie du vocabulaire attaché a Ia problématique différentielle de I'évaluation et du con-

1.

Cf. J. Ardoino, «L'approche multiréférentielle des situations éducatives et formatives, in Pratique de formation. Analyses, ((L'approchemultiréférentielle en formation et en sciences de I'éducation),,no 25-26, juin 1993. Cette approche est esquissée, en 1966, dans Ia préface a La pédagogie institutionnelle de M. Lobrot (Paris,Gauthier-Villars)et sera reprise dans Education et relations, Paris, Unesco-Gauthier-Villars, 1980.

I

I I

!r

Préface

13

trôle que j'ai élaborée, a partir de 19752, et qui se retrouve dans l'ouvrage D'une évaluation en miettes à une évaluation en acte3, écrit en collaboration avec Guy Berger. C'est peut-être ainsi I'occasion, avec cette préface, de creuser un peu plus ces différentes notions. Le travail de la langue (ou des langues) employée(s), fait, en effet, cruellement défaut chez les formateurs, comme chez les décideurs politiques, ou les gestionnaires, préoccupés par I'évaluation. O n s'en tient trop volontiers, en ces milieux, a l'unidimensionnalité d'un langage ((passe-partoub),médiatique, administratif.. . La littérature intéressant les ((projetsd'établissemenb), le ((partenariat)),les ((objectifs)),les ((compétences)),les ((curricula))peut en attester a l'envi. ia notion de référence tient probablement ses principaux sens de Ia logique et de Ia linguistique, constituant ses registres d'emplois les plus actuels. A partir du latin referre, littéralement rapporter, voire attribuer, se constituent dans notre langue, notamment au cours du dix-neuvième siècle, les termes : référence, référencer, cadre et système de références, ((référé))(Droit), référer, référent et référentiel. La référence est une action, tantôt celle de se référer par rapport a quelque chose, a des coordonnées, a des repères, par exemple, pour se situer, tantôt celle de se rapporter a quelque chose de préexistant et d'extérieur a soi, pour fonder, authentifier, assurer, une opinion, un jugement, un témoignage, un récit. ia première acception conduit a I'idée d'un cadre ou d'un système de référence, et se rapporte toujours, au moins implicitement, a I'espace ou a I'étendue, tandis que Ia seconde implique surtout la caution d'une autorité. Au pluriel, les références, qu'on peut demander, a de futurs employés ou a des fournisseurs, de produire, c'est-a-dire de montrer, d'exhiber, sont des attestations destinées a accréditer I'idée qu'on peut leur faire confiance. Un peu dans le même sens, des catalogues, des échantillons pour les marchands de tissus, des ((nuancierç. chez les imprimeurs quand ils travaillent Ia couleur, serviront également de références. De son côté, le référé est une action juridique a portée uniquement conservatoire, qui tend a résoudre provisoirement, et dans des délais relativement plus rapides, une situation ou un problème pendants, sans pour autant préjuger du ((fond))de Ia question qui fera éventuellement I'objet d'une autre instance. Le terme référentiel est utilisé en physique par Louis de Broglie comme synonyme de ((cadre))ou de ((système))de références, après avoir été employé en mathématiques. Les géologues emploieront a peu près les mêmeç mois ou expressions, a propos du globe terrestre. Pour les sciences du langage, le référent est, d'abord, une chose du monde réel a laquelle se rapporte un item linguistique. Est alors désigné comme référentiel ce qui est censé se rapporter au monde réel (objectif) par opposition aux sentiments (çubjectifs)des locuteurs. ia référence est, de son 2.

Cf. J. Ardoino, NAUfiligrane d'un discours, Ia question du controle et de I'évaluation~),pré-

3.

face a Michel Morin, L'imaginaire dans Ia formation permanente, Paris, Gauthier-Villars, coll. Hornrnes et organisations, 1975. Mairice - A.N.D.S.H.A., Paris, 1989.

14

Préface

côté, ce a quoi le signe renvoie et, corrélativement, ce a partir de quoi la vérité des énoncés peut être évaluée. Sens et référence sont ainsi distingués, le sens correspondant a Ia compréhension4du terme, ou a Ia connotation5 du concept (en reprenant les distinctions classiques de la logique scholastique), tandis que Ia dénotation6 de ce dernier, mais extension7 du terme, correspond à Ia référence. Depuis G. Freges, on sait que deux expressions différentes : ((étoile du matin)) et ((étoiledu sair)) peuvent, en fonction de leur contextualisation-indexicalisation,désigner Ia même réalité, Vénus. Ainsi E. Chartier et Alain sont deux désignations qui ont une référence unique, une seule personne. L'expression ((faireréférence)) a quelqu'un, a quelque chose, renvoie sinon a une réalité, a une chose existant antérieurement, séparément. Georges se réfère a Paul comme a un exemple de bonté. Un te1 usage linguistique de Ia référence suppose chez les différents locuteurs une intelligence commune des réalités auxquelles on renvoie. (dacques9montre que tout dialogue comporte nécessairement un moment référentiel au cours duque], crucialement, s'instaure Ia mutuelle reconnaissance des interlocuteurs par le jeu rétro-référentiel des pronoms personnels - et se construit progressivement leur commune relation au monde - par Ia confrontation de leurs croyances et l'usage co-référentiel des descriptions))lO.I1 nous semble surtout important de comprendre ici que les linguistes sont obligés d'inventer des expressions telles que ((contexteoblique en discours indirect))(Frege) ou ((opacité référentielle)) (Quine) pour tenir compte d'une ambigu~tésubsistant dans tout langage et, par conséquent, d'un défaut de transparence lié aux conditions même de l'intimité, qui ne dépendent pratiquement pas d'une mauvaise utilisation de I'outil, de Ia technique ou de Ia méthodel1, mais sont plu4.

Ençemble des caract8res communs aux individus constituant une classe donnée et, le cas échéant ensernble des traits perrnettant de donner Ia définition du terme. 5. Pour M. Goblot, connotation et cornpréhension sont d'abord pris cornrne synonyrnes, mais certains uréfèrent réserver Ia notion de connotation au conceut et celle de cornuréhension a I'idée. ~ fA.. Lalande, Vocobulaire technique et critique d e Ia philosophie. ~ a r i sPUF, , 1947. 6. La dénotation du concept est I'ensemble des objets qu'il peut désigner. 7. L'ensernble des objets, réels ou idéaw, concrets ou abstraits, awquels s'applique un élérnent de connaissance. 8. G. Frege, Uber Sinn und Bedeunung, traduit en français : Ecrits logiques et philosophiques, Paris. C. Irnbert, 1972. 9. F. Jacques, Dialogues, Paris, PUF, 1979. 10. D. Vernant, art, référence, in Encyclopédie philosophique uniuerselle, ((Lesnotions philosophiques~~, dictionnaire, T. 2, p. 2198. Paris, PUF. 1993. 11. Très expliciternent, certains rnots de Ia langue ne peuvent d'ailleurs avoir de référence qu'en fonction du contexte irnrnédiat (J.-F. Le Ny, art. référence in Grond dictionnoire d e Ia psychologie, Paris, Larousse, 1992, p. 656). Ce sont les indexicaux (pronoms dérnonstratifs, pronorns personnels, adverbes.. .). Mais, tandis que les spécialistes y voient surtout des cas particuliers, ils nous sernblent, en outre, avoir pour rnérite de nous rappeler que tous les rnots d e Ia langue obéissent finalernent plus ou rnoins a c e q u e les ethnornéthodologues, héritiers de Ia phénornénologie interactionniste, appelleront plus tard indexicalité du langage. La cohérence sera donc en linguistique Ia relation renvoyant un pronorn relatif a un rnot ou a une expression antérieur(e) dans Ia phrase ou dans le texte.

I I

I t

I

tôt fonction de Ia nature même de Ia communication et des processus d'altération qu'elle suppose, avec les incidences des intentionnalités et du jeu propre des affectivités au niveau des langues naturelles. Le référent ainsi défini (être ou objet originaires d'une réalité extra-linguistique, telle que découpée par I'expérience, auxquels renvoie un signe linguistique) a été très vite rejeté de Ia problématique proprement linguistique (avec Ia théorie saussurienne du signe), mais les travam sur I'énonciation et b communication lui ont redonné par Ia suite une statut sémiologique (objets. individus ou entités, réels ou imaginaires, mentionnés dans un discours). Trois acceptions voisines en découlent dorénavant : 1" le monde réel, ses objets, des événements, des qualités réelles ou imaginaires : cette signification disparaitra pour Ia sémiotique dans Ia mesure ou Ia réalité concernant le langage est toujours définie comme une réalité «pour I'homme)), catégorisée par une culture; 2" un ((référent externe)), sémiotique du monde, verbalisable ou nommable déja structuré et informé par le langage; 3" un aréférent interne)) qui se présente en tant qu'isotopie servant de terme ab quo a toute évaluation. ((Dans le cas du référent externe, on a affaire a une corrélation intersémiotique (c'est Ia ((référentialisation))), comme celle qui fonde par exemple les modalisations verdictoires - le secret, I'illusion, Ia vénté.. . - sur Ia dimension cognitives des énoncés))12.Contrairement aux espoirs caressés un certain temps, les langues maternelles s'avèrent toujours, avec ténacité, très différentes dans leur fonctionnement des conventions adoptées dans les langages artificiels (mathématiques ou langages de programmation informatique). Pour ceux-ci, des ((identifieurs)),et leur répétition, suffisaient. Dans les discours des langues naturelles, les chaines référentielles n'ont plus rien de cette simplicité toute idéale. On ne peut plus invoquer, comme pour les précédents, un principe d'univocité absolue. Les interlocuteurs sont toujours confrontés a des codes différents. Au cours du même échange ont-ils bien les mêmes référents ? Eventuellement qui décidera de ce qui fera office de langue véhiculaire ? Avec quelles stratégies ? La construction d'automates informatiques n'a en rien contribué aux recherches psycho-linguistiques sur le résolution des anaphores. O n pourra encore distinguer entre Ia valeur référentielle et le référent a partir de I'introduction des concepts de sujet énonciateur et de moment d'énonciation, représentés par des paramètres tels que (6)) (place d'un sujet) et «T» (origine temporelle de I'énonciation). Cette distinction devient utile pour expliquer que le langage, en tant que système de représentation de Ia réalité perçue, est autonome et, tout en restant compatible avec elle, ne dépend pas de I'organisation du monde externe. Au cours de son énonciation, un sujet crée ((parl'intermédiaire d'un système de représentation, des événements et des états qui n'ont aucun correspondant dans le monde de Ia réalité.13. Cette distinction rend encore possible a un sujet d'établir éventuel12. J. Fontanille, in Encyclopédle philosophique universelle, op. cit., p. 2108. 13. J.-P. Desclés, in Encyclopédie philosophique universelle, op. cit., p. 2199.

lement une distance entre les événements effectivement constatés par lui et soit le moment ou ils apparaissent, soit le moment ou ils sont réellement perçus. Enfin, elle permet d'intégrer théoriquement les narrations imaginaires ou le mensonge. Le référentiel apparait, de son côté, dans le cadre d'une psychologie du développement de l'enfant, assez étroitement lié a la génétique piagétienne, comme un système composé d'un ou plusieurs référents et d'une capacité de mise en relations permettant de situer un être ou un objet dans l'espace, éventuellement, plus abstraitement, dans le cadre d'une étendue. Le ((référentielspatial))est, notamment, I'ensemble des activités formant système, par lesquelles I'enfant localise les objets les uns par rapport aux autres, ainsi que par rapport a lui-même. On peut alors distinguer entre des référentiels égocentrés14, céphalocentriques notamment qui assurent Ia stabilité et I'équilibre du corps dans une position de référence fondamentale par rapport a Ia force de pesanteur, et des référentiels exocentrés15 (Structuraux, gestalt perspectives; topologiques, positions relatives de deux objets, rapports d'inclusion ou d'exclusion entre I'un et I'autre : abstraits, tels que Ia géométrie euclidienne)16.On entrevoit alors I'importance singulière de I'espace, ou de I'étendue, comme des propriétés géométriques qui s'y associent, dans l'histoire du terme. Cette emphase encouragera justement une ambition de maitrise, ainsi que de fortes affinités (consistance ?) avec le contrôle. Nous trouvons probablement, Ia, l'une des origines du procès idéologique de reification, de fausse conscience, analysé par G. Luckacs17 et J. Gabel18. C'est pourquoi, aussi bien quant aux repères concrets de I'enfant, qu'en ce qui concerne des cadres de références beaucoup plus abstraits, des référentiels permettant également d'acquérir et d'exercer une intelligence de Ia temporalité sont tout aussi indispensables, même s'ils sont beaucoup moins facilement constitués ou acquis. Faute de telles distinctions, le projet d'évaluation en restera souvent, sans même très bien s'en apercevoir, aux procédures de contrôle les plus classiques, justement tout a fait étrangères au temps.

14. Grâce à eux, I'enfant localise les objets par rapport a lui-même. En fonction des sens (systPmes d e capture) impliqués o n parlera d e référentiels oculocentrés, orocentrés, manuocentré. Certains de ces systèmes peuvent s'emboiter les uns dans les autres. Ainsi les référentiels oculocentré et orocentré s'articulent a I'intérieur d'un référentiel céphalocentré. 15. L'enfant localise te1 ou te1 objet particulier, dont il a besoin, ou qui I'intéresse, par rapport a d'autres objets ou caractéristiques de son environnement qui font alors office de repères. Mais il peut y avoir des référentiels egocentrés actualisés où I'enfant se montre capable d'intégrer et de prendre en compte les caractéristiques spatiales de ses mouvements et déplacements propres. 16. Pour les référentiels exocentrés, Ia localisation est, par définition, indépendante de I'observateur. 17. G. Lukaw, Histoire et conscience de classe, Paris, Ed. de Minuit, 1960. 18. J. Gabel. La fausse conscience, Paris, Ed. de Minuit, 1962.

Cette hétéro-référenciation appellera a son tour Ia notion d'auto-référence, qui nous retiendra quelques instants encore au terme de ce vagabondage terminologique. Dans le Dictionnaire critique de Ia c o m m ~ n i c a t i o n ~ ~ , P. Livet distingue les différentes implications de celle-ci; logiques (nondémonstrabilité),paradoxologiques (indécidabilité)ou pragmatiques (réflexivité). Ce sont surtout ces dernières qui nous intéressent, ici, dans Ia mesure ou eles posent, tout a Ia fois, le caractère nécessaire des contenus implicites de tout discours relevant des langues naturelles, et les conditions rendant possible. ou limitant, I'explicitation de ces contenus implicites, au niveau des actes d'énonciation, d a n s une situation et pour des partenaires donnés. Dans Ia communication, I'intentionnalité propre des uns et des autres reste prise aux jeux du désir, aux liens imaginaires des processus transférentiels et aux rêts inconscients des mécanismes de défense de chacun des interlocuteurs, autant qu'elle obéit aux décrets plus généraux de Ia raison pratique. Ce sont ces données implicites de Ia communication, constituant une opacité naturelle et continuellement renouvelée, qui fondent I'indexicalité du langageZ0et qui permettent de comprendre que si une logique de l'information se donne bien pour idéal Ia pureté, Ia fidélité, I'absence de distorsions, de bruit et de parasitage, il ne saurait en aller de même pour Ia communication qui, elle, Iégitimera par Ia force des choses ((l'infidélité))et Ia ((trahison))a partir d'une visée de réappropriation, donc d'altération et de métissage. A Ia différence des vues traditionnelles de la linguistique et de Ia pragmatique, cette réflexivité apparait, ici, inépuisable. Elle ((échappe))parce qu'elle se recrée, indéfiniment ressourcée par sa durée même. L'altération est histoire plus encore que mémoire. L'évaluation tient fortement a un te1 paradigme. C'est parce qu'elle est tout autant auto-référence que rapport a des référents extérieurs à sa démarche, comme le suggèrent déjà les pistes linguistiques et pragmatiques que nous venons de survoler, que I'évaluation est naturellement contradictoire" en ce qu'elle met en jeu des registres (praxis, poiesis) inspirant des modeles épistémologiques irréductibles les uns aux autres : logique, mécanique, biologique; privilégiant I'universel ou le particulier... Comme le voulait Roland BarthesZ2,elle est alors proprement une fondation de valeur. Son caractère problématique I'emporte largement désormais sur ses dimensions instrumentales. L'optimisation technique ne suffit donc jamais a épuiser les difficultés qu'elle suscite ou rencontre. Le caractère toujours quelque peu amphigourique de son discours ne tient ni a une insuffisance d'éclairage, ni a m défauts de Ia méthode. Janus bifrons, Ia nature de I'évaluation est fonda-

19. Sous Ia direction de L. Siez, T. 1, 2, Concepts transversaw, pp. 231-233, Paris, PUF, 1993. 20. Ici, au sens ethnométhodologiquedu terme ~(indexicalité)) (Bar Hillel, in Mind, 1950). 21. Plus encore, finalement, que le caractère paradoxal sur leque1 les systémiciens, I'école de Palo-Alto notamment, préfèrent insister. 22. R. Barthes, R. Barthes, Paris, Seuil, 1975.

rnentalement double. Ce sont des visées, indéfinies si ce n'est infinies, qui constituent les projets auxquels elle s'applique, avant même les objectifs, les stratégies et les programmes, aussi définis que possible, qui s'efforceront de traduire ensuite ces finalités, pour les rendre opératoires. Si l'évaluation implique bien une situation de communication (ADMEE, 1990), les mat é r i a ~les plus signifiants qu'elle puisse recueillir en vue d'un traitement résident aux marges de I'organisation formelle (du discours, de Ia situation, de I'action ...), dans le non dit plus encore que dans l'énoncé. Le type d'approche caractérisant de telles pratiques évaluatives est. en ce sens, ((clinique)), associant l'écoute a l'observation, requérant I'interprétation. Jeux et enjeux constituent bien deux ordres d'univers qu'on tente d'articuler, autant en vain qu'avec succès, du reste. Quand on parvient a s'accommoder de I'un et de I'autre «...ordre et désordre convenablement maniés expliquent ou du ) ~ ~processus . inscrits dans une temmoins rapprochent bien des c h ~ s e s ) Les poralité, plus facilement polémiques, interfèrent constamment avec les procédures qui veulent en rendre compte, en modifiant ou en hypothéquant celles-ci, au besoin, a partir de Ia négatricité propre aux organismes vivants et intelligents dont ils procèdent. C'est en cela que les outils d'investigation employés n'ont plus grand chose a voir avec I'analyse classique, plus appropriée aux diverses formes de controle, notamment a I'audit, qui, contrairement a l'image suggérée par son étymologie, ne mobilise finalement que le regard d'une inspection panoptique. L'évaluation d'une situation, quand elle ne s'abime pas dans Ia mesure, est finalement un travail d'ordre ethnologique, conférant un statut positif a I'intersubjectivité, créant littéralement la notion d'objet-sujet. h, ou une homogénéisation reste toujours plus ou moins attendue de Ia construction d'un référentiel c'est Ia reconnaissance (multiréférentielle ?) de l'hétérogénéité qui est sans doute proprement évaluative. Que devient alors I'évaluateur dans un te1 contexte ? Si Ia fonction de contrôle peut effectivement constituer un métier, a partir du moment ou elle est généralement exercée par des agents appropriés, toute assimilation hâtive dans le domaine de I'évaluation serait incontestablement malencontreuse. Un regard associé a une écoute, impliqués différemment parce que venant aussi de I'extérieur, I'apport méthodologique éventuel d'une personne-ressource, pour utiles qu'il soient, ne doivent jamais permettre d'oublier Ia fonction auto-référentielle et réflexive liée, avant tout, au groupe ou aux individus, auxquels elle se rapporte, et, par voie de conséquence, attachée a leurs productions respectives. A proprement parler, c'est donc a un double mouvement de référenciation [construction du. des référent(s) externe(s)] et de référentialisation [élaboration du, des référent(s) interne(s)]qu'entend nous sensibiliser Ia méthode de G. Figari.

23. P. Valéy, Eupalinos o u I'architecture, Paris, Gallirnard. NRF, 1944.

AVANT-PROPOS

Une étape dans un itinéraire de recherches sur I'évaluation Cet ouvrage constitue une étape dans un itinéraire de recherche sur I'évaluation éducative. Une étape, c'est-a-dire a Ia fois Ia fin d'une série d'épreuves et le temps d'arrêt préparatoire a Ia suivante. 11 s'agit en effet de réaliser Ia synthèse d'un certain ombre de travaux se rapportant a I'évaluation de situations de formation. Mais une synthèse n'est pas une somme, de même que le tout n'et pas uniquement l'addition des parties : elle consiste ici a reconstruire a Ia fois I'objet d'évaluation (le dispositif éducatif) et I'approche méthodologique (ce que I'on appellera Ia référentialisation). Au fil des études et des recherches entreprises, ces deux dimensions ont livré a I'auteur un sens ajouté : celui des effets de toute organisation éducative en tant que telle sur les résultats de I'éducation et de Ia formation. Pour accéder a ce sens, i1 est apparu nécessaire de définir les référents d'une telle évaluation. Or une étude systématique de Ia notion de référent ne pouvait pas ne pas rencontrer les ((référentiela,instruments très répandus dans I'enseignement technique et dans Ia formation professionnelle. On s'apercevra que cet ouvrage remet en question I'utilisation de ce terme pour définir des programmes, et qu'il en repropose une lecture et une utilisation différente sous le terme de référentialisation. Le cadre étant posé (le dispositif) et Ia méthode fondée (Ia référentialisation) restera a résoudre I'ensemble des problèmes relatifs a I'interprétation des informations livrées par les dispositifs évalués : le rôle des différents processus en cause dans I'enseignement et I'apprentissage et le sens que leur attribue I'évaluation.

INTRODUCTION

La question

Evaluer : que1 référentiel ? Avant même de définir les termes, disons de quoi il s'agit : au moment où les systèmes scolaires comme les systèmes de formation donnent lieu a toutes sortes d'« évaluations il nous parait urgent de réfléchir a ce au nom de quoi on évalue, et de partager cette réflexion avec tous les acteurs concernés (c'est-a-dire brièvement les évalués comme les i( évaluateurs ))), acteurs sans le concours desquels I'évaluation n'aurait plus de sens. D'abord, i1 s'agit de décrypter ce au nom de quoi un objet éducatif est évalué, pour comprendre les résultats les diagnostics les recommandations On examinera alors, a partir d'exemples, comment s'opèrent les analyses de situations éducatives. Ensuite, i1 s'agit d'évaluer (observer, contrôler, auditer ?) une situation éducative : on examinera alors les procédures qui amènent a poser ce au nom de quoi I'évaluation va être menée : un référentiel, peut-être ? On n'hésitera pas a affronter les différents avatars de cette notion. C'est dire que, pour réfléchir a ce problème, on ne va pas recourir au discours vague et aux remarques générales : on définira les concepts a partir de quelques situations étudiées, et on parlera de méthode. Non pour rajouter un guide de plus dans Ia panoplie de I'évaluateur, mais parce que tout jugement proféré dans le domaine éducatif, qu'il porte sur I'individu ou le système, demande a être fondé sous peine d'être insupportable et/ou inopérant, et que seule Ia méthode employée pour proférer le jugement peut constituer un fondement. I1 sera donc proposé ici d'expliciter et de partager cette méthode. )),

((

((

)).

))

)),

((

)),

((

Si la méthode est privilégiée, c'est aussi parce que cet ouvrage s'inspire de travaux de recherche menés sur I'évaluation des phénomènes éducatifs : Ia méthode consiste alors a essayer d'expliquer les causes, celles des propriétés communes comme celles des propriétés particulières de l'objet. Enfin, I'évaluation comporte au moins ceci de commun avec Ia méthode scientifique : elle comprend deux composantes, l'observation d'une part et I'explication d'autre part, composantes qu'on retrouvera tout au long des développements qui vont suivre.

Evaluer les dispositifs éducatifs On ne parlera pas ici de I'évaluation de I'élève ou de I'apprenant en général mais de Ia structure qui l'accueille et qu'on limitera, avec le sens qui en sera proposé, au dispositif éducatif Mais qu'on ne se trompe pas : en évaluant un dispositif, ce sont tous ses acteurs que I'on entreprend d'évaluer, et c'est avec eux que I'évaluation fonctionnera. Maintenant, le lecteur peut entrevoir le titre développé de cet ouvrage : « Evaluer les dispositifs éducatifs : que1 référentiel ? ((

)).

))

-

;

Les termes du débat 1 Les dispositifs éducatifs : objets de notre temps Les réflexions présentées ici ont pour objet principal le fonctionnement des structures éducatives (institutions, organismes et services de formation, établissements scolaires, systèmes et supports de formation d'enseignants et de formateurs, cycles et groupes de formation, curricula, organisations particuiières de projets ou d'autres systèmes de pilotage d'actions éducatives). On peut ne leur accorder qu'un intérêt relatif et considérer qu'elles relèvent surtout des problèmes d'organisation, de stratégie, de planification. On peut aussi penser que ces structures permanentes ou occasionnelles, loin de constituer des regroupements opportunistes de contenus, jouent un role dans I'acquisition des compétences et des qualifications qu'ambitionnent de favoriser tous les systèmes ayant pour fonction essentielle l'éducation ou Ia forrnation. En tous cas, elles ne cessent de faire l'objet de préoccupations de Ia plupart des acteurs sociaux : que1 curriculum faut-i1 envisager pour répondre a te1 besoin de qualification, et comment faut-il le construire ? Quels effets produit un système de formation sur les comportements et les compétences des formés ? Ou bien pourquoi ce système ne produit-il pas les effets attendus ? Mais aussi, quelle stratégie est laissée aux apprenants (les élèves, les étudiants, les stagiaires) dans des situations créées par les uns en direction des autres, et quelles chances ont-ils ainsi de réaliser leurs apprentissages ? Que1 est donc le sens de ces structures (qui seront désignées ici sous le terme de dispositifs éducatifs .), et comment justifient-elles leur fonctionnernent ? Mais on constate fréquemment qu'une réponse (par exemple te1 ou te1 résultat Óbtenu : Ia réussite a des examens ou toute autre procédure de qualification) dépend d'une autre réponse (par exemple un mode de recrutement ou de fonctionnement : Ia sélection ou I'organisation des apprentissages). La structure éducative comporte donc bien des caractéristiques propres, ellesrnêmes en interaction, qu'il parait nécessaire - selon les cas - d'élucider, de construire ou de reconstruire, si l'on veut comprendre sa conception ou envisager son évaluation. Mais Ia notion de structure désigne des réalités fort différentes selon qu'il s'agit de macrostructures (le système scolaire en est un exemple particulièrement étudié), de rnicrostructures (comme les classes ou les groupes de formation) ou encore de mésostructures (organisations intermédiaires devenant de plus en plus des lieux stratégiques du développement des activités éducatives, comme les établissements d'enseignement et de formation). D'autre part, Ia structure évoque surtout une institution stabilisée relevant davantage du champ social et politique que de celui de Ia pédagogie. On ne gardera donc pas ce terme ici. Mais, tout en s'intéressant ((

))

((

((

))

((

))

24

Introduction

plus particulièrement aux mésostructures au sein desquelles se rencontrent les phénomènes relatifs a Ia conception et a I'évaluation de Ia formation, on préférera ici parler de dispositif notion qui évoque les caractéristiques d'un système plus proche des acteurs de l'éducation, de I'enseignement ou de Ia formation. )),

((

La notion de dispositif éducatif

-

Le dispositif

Le terme de « dispositif » qui vient d'être employé est défini par les dictionnaires comme Ia manière particulière dont on agence les divers organes d'un appareil, d'une machine quelconque, et, par extension, le mécanisme, l'apparei1 lui-même. C'est précisément avec ces deux sens-Ia que l'on parlera ici de dispositif : - I'extension, c'est-adire l'appareil lui-même ne désignera que Ia partie visible ou donnée a voir du dispositif (= I'organisme, la filière, le programme de contenus ou d'actions) - le sens premier, c'est-a-dire (4 Ia manière d'agencer »,évoquera les différents phénomènes relatifs a Ia construction du dispositif (= l'analyse des données qui déterminent Ia situation a traiter par I'action de formation, Ia participation des acteurs, les modes de décision et d'appropriation, etc.). ))

((

-

Le dispositif éducatif

Utiliser cette expression c'est poser I'hypothèse selon laquelle le dispositif n'est pas une simple catégorie descriptive des systèmes de formation, mais qu'il est, par lui-même éducatif qu'il joue un role formateur. I1 s'agira donc d'appréhender des constructions élaborées autour de contenus (curricula, cycles de formation), de compétences (délivrance de qualifications) et de tâches (profils professionnels). Le dispositif éducatif désignera donc non seulement le cadre d'une activité de formation mais aussi le construit d'action collective » défini par Crozier et Friedberg (1977) faisant I'objet d'un projet d'apprentissage ou d'une opération d'évaluation : - a long terme et localisés (établissements scolaires et de formation, organismes internes de formation d'entreprises, d'administrations ou de collectivités) - occasionnels et circonstanciels (= cycles de formation, sessions de formation de formateurs ou d'enseignants, projets de modification d'une organisation.. .). Dans tous les cas, i1 sera question de voir, avec quelles caractéristiques et sous quelles conditions, le dispositif pourra être éducatif c'est-à-dire utilisable de manière flexible a des fins d'apprentissage ou de production de résultats. (i

)),

((

((

))

htroduction

-

25

Le recours aux dispositifs éducatifs

L'organisation des systèmes d'éducation connalt, depuis quelques années, une complexification croissante due en particulier a Ia pression conjointe des exigentes de renouvellement technique et professionnel d'une part et de la diversification des traitements didactiques (du fait d'une meilleure compréhension des processus cognitifs) d'autre part. Des dispositifs destinés a favoriser le règlement des problèmes successifs généralement posés dans des contextes d'urgence sociale (sortie du système scolaire sans qualification, situations d'illettrisme, filières sans issues, nécessité de nouvelles qualifications) se superposent sous la forme d'initiatives variées (création de filières nouvelles, formations en alternance, dispositifs d'individualisation, formules d'incitation a Ia recherche de solutions locales comme les PAE, les ZEP, et, plus récemment, les projets d'établissement, mais aussi développement des plans de formation décentralisés). Des logiques hétérogènes et parfois antagonistes s'affrontent : on reconnait Ia nécessité d'une plus grande individualisation des procédures d'enseignement et de formation, en même temps qu'on assume un accueil plus massif dans les lycées et a I'université, c'est-a-dire encore au niveau des mésostructures qui assument ainsi des responsabilités accrues. Les comportements peuvent en être profondément modifiés : les acteurs sont de plus en plus invités a choisir leurs stratégies, a participer a des activités complémentaires de remédiation et a accueillir des modèles de fonctionnement dont I'efficacité semble avoir fait ses preuves dans d'autres organisations Q'entreprise sert de modèle a I'école et I'école s'installe dans I'entreprise). Les solutions a ces problèmes multiples et complexes ne se trouvent plus, ne peuvent plus se trouver uniquement dans Ia seule réforme institutionnelle : une partie d'entre elles sont a rechercher dans Ia modification profonde des pratiques de formation et d'enseignement, ainsi qu'au niveau de I'organisation des dispositifs permettant Ia mise en ceuvre de procédures sociocognitives adaptées aux situations. Le dispositif souvent circonstanciel et éphémère, est un produit de notre temps : il est empreint de technicité, il cherche I'efficacité, il vérifie les résultats. En éducation et en formation, s'il n'est pas référé a un champ de connaissances identifié ou a un système de valeurs cohérent, le dispositif peut devenir soit un objet de manipulations, soit un mécanisme illisible et inopérant. C'est pourquoi i1 mérite investigation et réflexion. ((

((

))

)),

Les interrogations Le role joué par les dispositifs éducatifs est difficile à étudier dans Ia mesure ou ces derniers ne sont pas aisément séparables de leur contexte : ils fonctionnent dans I'intervalle entre I'organigramme du système scolaire ou de formation et Ia situation quasi individuelle d'apprentissage. Néanmoins, si I'on veut comprendre sinon connaitre cet espace trop souvent abandonné au 10-

28

Introduction

gos décisionnel des finalités b, des grands objectifs et de leur nécessaire « opérationnalisation », on est amené a chercher à Ia fois des systèmes explicatifs et des instruments pertinents d'intervention et d'évaluation. Les travaux menés sur cette question et qui seront évoqués au fur et a mesure de I'avancement de l'ouvrage ont conduit a grouper les interrogations sur les dispositifs éducatifs autour de trois séries de questions qui ont paru pouvoir rendre compte de l'ensemble de leurs caractéristiques et de leurs problèmes. Ces questions s'organisent autour de trois dimensions des dispositifs éducatifs qui seront reprises dans les développements qui suivront : - comment traiter les déterminations qui induisen t les choix éducatifs justifiant Ia mise en place de te1 ou te1 dispositif ? I1 s'agira de désigner par 121, non comme I'ont conçu les empiristes, le passage de l'observation des faits a une loi générale qui les explique, mais Ia simple inférence immédiate qui étend une connaissance par un procédé mécanique. On retrouvera ainsi dans cette catégorie les procédures de prise en compte des données d'environnement (facteurs économiques) et des caractéristiques des acteurs (facteurs sociaux) entrainant, induisant des diagnostics (échec scolaire, désintérêt pour Ia formation et les études) et des recherches de solutions (moyens accrus, dispositifs de renforcement). I1 s'agira donc d'expliciter ce qui relève de ce qu'on appellera l'induit. Ce niveau de traitement serait-il a Ia fois indiscutable (les solutions paraissant automatiques et évidentes) et passif (seules des mesures organisationnelles et politiques étant nécessaires aux intéressés) ou bien seraitil conditionné par les méthodologies utilisées et par le degré de compréhension et de participation des acteurs ? - comment expliquer, accompagner et conduire I'élaboration des projets, des programmations, des curricula ? On tentera alors de mieux comprendre Ia construction des dispositifs, en examinant les processus (représentations, comportements, évolutions) et les procédures (négociations, créations de situations, stratégies de pouvoir et de décision) qui définissent I'action éducative proprement dite. On I'appellera le construit. - comment, enfin, observer et interpréter les formes manifestes, et même volontairement données a voir, de cette action ainsi que ses effets, c'esta-dire sa production ? On s'intéressera donc aux caractéristiques des projets finis et surtout a Ia manière avec laquelle les résultats et les effets sont établis, analysés et mis en valeur, c'est-a-dire au produit. ))

((

((

))

On remarquera qu'une préoccupation essentielle traverse ces trois niveaux de traiternent : celle de I'évaluation. On Ia retrouve au premier niveau (induit) avec sa fonction diagnostique qui interprète des données situationnelles ; au second niveau (construit),avec sa fonction de régulation qui accompagne et corrige les processus d'élaboration ; au troisième niveau (produit), avec sa fonction sommative qui élargit Ia portée de I'action éducative a sa dimension de production de compétence et de reconnaissance sociale.

En fait, Ia question centrale consistera a se demander comment accéder à un système de références puis a un modèle de compréhension des dispositifs éducatifs qui permette d'affirmer que ces derniers obéissent a une logique propre, qu'ils produisent des effets qui leur sont propres : les travaux évoqués et les méthodologies présentées constitueront autant de tentatives dans ce sens.

2 Cévaluation des dispositifs : quelles réponses a Ia demande ? Conceptions et définitions Nous amvons ainsi au sujet même de I'ouvrage : les problèmes posés par I'évaluation des dispositifs éducatifs. I1 nous reste donc a définir I'évaluation, ou du moins, car beaucoup d'autres I'ont déja fait, a désigner, parmi les nombreuses et diverses conceptions (et définitions) de I'évaluation en éducation, celles qui serviront, a leur tour, de référence. On prendra les plus simples, les plus générales, afin de pouvoir les appliquer, dans une même visée, aussi bien aux apprentissages individuels qu'aux stnictures et aux dispositifs. Celle de J. Cardinet (1986, p. 13),d'abord : une démarche d'observation et d'interprétation des effets de l'enseignement, visant a guider les décisions nécessaires au bon fonctionnement de l'école 1). On peut aussi rappeler celle formulée par Stufflebeam (1980) : le processus par leque1 on délimite, obtient, et fournit des informations utiles permettant de juger des décisions possibles Même si elle parait redondante, cette deuxième définition, en généralisant le raisonnement et en gommant Ia référence scolaire est plus facilement intégrable dans le contexte de Ia formation professionnelle par exemple. La pratique de I'évaluation des dispositifs aussi bien que les enseignements des travaux de recherche conduisent tout d'abord a penser que les concepts restent communs aux différentes situations d'évaluation, qu'elles çoient individuelles (pour l'apprenant), collectives (pour Ia classe ou le groupe de formation), ou institutionnelles (pour le dispositif ou I'organisme tout entier). Néanmoins, I'évaluation des dispositifs mériterait une définition spécifique. Mais elle ne peut être posée de manière préalable, dans Ia mesure oii elle est en débat. Car si, comme on le verra en évoquant les travaux de recherche, des mesures diverses peuvent être opérées sur les organisations et les établissements, elles ne sont pas a confondre avec des c( évaluations On pourrait s'inspirer de Ia définition qu'a donnée Y. Tourneur (1986)de ce qu'il a appelé Ia macro-évaluation : une démarche systématique de recuei1 et d'interprétation des observations dans le but de faire connaitre le déroulement et les effets d'un projet pédagogique Dans ce cas, Ia notion de projet pédagogique », trop restrictive, serait a remplacer par celle de dispositif ». )).

)).

((

)).

((

((

D'autre part, on patmait penser que 1'. audit » de formation serait en quelque sorte Ia version organisationnelle de I'évaluation des apprentissages : on verra, en seconde partie, l'intérêt de recourir aux perspectives novatrices de cette notion en même temps que les inconvénients qu'il y aurait a I'utiliser comme modèle de I'évaluation des dispositifs. Enfin, I'évaluation d'un dispositif se préoccupe autant des processus que de procédures (travaux de Bonniol et Genthon) et concerne tous les acteurs qui participent au jeu complexe de I'évaluation : il s'agira en particulier des processus d'utilisation des informations par tous les partenaires d'une action de formation dans Ia conduite des apprentissages et Ia recherche de compétences. On introduit ainsi I'idée que, pour le dispositif comme pour l'individu, I'évaluation demande une claire explicitation des enjew (= les décisions a Ia clé) et des critères (= les modes d'interprétation de l'information). C'est souligner enfin I'importance de I'évaluation duns les dispositifs, même a I'occasion de I'évaluation des dispositifs.

Demandes et pressions La demande d'évaluation est forte. La demande sociale, tout d'abord, exprime un désir de compréhension

des phénomènes scolaires, une attente de 11 sorties du système qui soient pertinentes (par rapport a I'emploi et à I'orientation) et, par voie de conséquence, une exigence d'e efficacité » en termes de réussite, mais aussi d'accueil et de fonctionnement. La demande institutionnelle vient renforcer Ia demande sociale : les organisations sont amenées, sous la pression conjointe des évolutions techniques et des lois de Ia rentabilité, de contrôler les effets d'une politique, de réguler les nécessaires adaptations des individus et des groupes aux changements qui ne manquent pas d'affecter leur fonctionnement. La demande internationale, variante de Ia précédente, apparait de plus en plus, sous Ia forme de groupes de travail chargés d'observer I'efficacité comparée des systèmes éducatifs dans les différents états représentés comme, par exemple, celui de I'OCDE-CERI (1989, 1992) et le Groupe franco-québécois (I). La demande pédagogique, enfin, plus diffuse, et non dénuée de contradictions (i1 existe souvent chez les acteurs une peur de I'évaluation), apparait sous Ia forme d'une demande fréquente de formation. ))

(1) La performance et I'efficacité des établissements d'enseignement secondaire, Groupe d e travail franco-québécois sur Ia performance des établissements, Ministère de I'üiucation Nationale de Ia Jeunesse et des Sports (France) et Ministère de I'üiucation (Québec), 1990.

La conjonction de ces demandes laisse apparaitre une forte propension à évaluer au sein et autour de nos systèmes de formation. Citons, en vrac, I'évaluation des Universités (par le Comité National d'Evaluation), l'évaluation des lycées puis des LEP (par l'lnspection Générale), I'évaluation des élèves de CE2 et de 6" (par le Ministère de I'Education Nationale), sans compter le développement des opérations d'audit interne ou externe des dispositifs de formation des secteurs publics et privés.

Problèmes posés

I

i

! E

Face a ces demandes, les réponses sont multiples et ne vont pas sans poser de problèmes parmi lesquels on relève : la confusion qui règne autour d e la notion même d'évaluation : selon les opérations menées, il lui est en effet attribué le sens de controle. de vérification, de comparaison d'indicateurs, de mesure du niveau, de sanction, etc. C'est dire que I'évaluation comme processus de régulation des apprentissages cogéré par les partenaires éducatifs n'apparait pas toujours de manière évidente aux intéressés, au premier rang desquels, bien sur, figurent les évalués ; Ia confusion des rôles qui en résulte entre les décideurs (responsables d'institutions, auteurs de dispositifs d'évaluation), les instances de controle (corps d'inspection par exemple), les évaluateurs externes (dont il va être question ci-après), les acteurs de base (formateurs ou enseignants et apprenants) : les uns collaborent-ils avec les autres ? Aucun de ces partenaires n'est-il pas gêné par l'évaluation de I'autre ? Leurs intetventions sont-elles complémentaires ? Sont-elles comprises par les intéressés ? Ia tendance à la professionnalisation de la fonction d'évaluation. Les pratiques, les méthodes et le langage devenant effectivement de plus en plus spécialisés, mais surtout, les institutions étant de plus en plus désireuses de disposer d'obsetvatoires variés et le plus souvent indépendants, on assiste a l'anivée sur le terrain d'experts, de consultants, de conseillers, d'auditeurs, autant de professionnels de I'évaluation. Deux conséquences contradictoires (mais qui ne s'annulent pas réciproquement) peuvent en être déduites : - on peut penser que l'évolution est bénéfique dans Ia mesure où elle permet a I'évaluation en formation de sortir de l'artisanat et de I'empirique qui Ia caractérisait pour devenir plus technique, plus experte et plus juste lorsqu'elle fait appel au regard extérieur ; - mais on peut aussi craindre I'émergence d'un nouveau pouvoir dans les (et autour des) organisations : celui des évaluateurs. Et le corollaire, s'il était amené a exister, serait inquiétant : Ia déresponsabilisation des acteurs qui pourraient penser que I'évaluation ne serait pas leur affaire mais celle des spécialistes.

Recherche d'une réponse théorique et méthodologique Réponse théorique

L'évaluation concernant les dispositifs pose les mêmes problèmes que l'évaluation concernant les individus. O n entend souvent le contraire : les institutions, organismes, structures relèvent d'autres champs conceptuels (Ia sociologie des organisations, l'analyse des systèmes, Ia psychologie sociale, l'ethnographie, I'analyse institutionnelle, etc.). I1 est vrai que nous avons besoin de ces lectures pour comprendre le fonctionnement des dispositifs éducatifs. Mais il s'agit Ia d'éclairages apportés par la recherche, non d'évaluation proprement dite. Ainsi, on retrouve les deux approches bien connues : - I'approche normative rappelle Ia dimension normative de la note, du classement attribués aux élèves dans une perspective comparative. Elle prend la forme d'indicateurs (taux de réussite ou d'échec, par exemple) permettant de classer les établissements ou les écoles (cf. les palmarès publiés dans la presse). Le dispositif est alors évalué comme un objet ; - I'approche critériée rappelle I'émission du jugement porté sur Ia production de I'apprenant en fonction du critère annoncé, dans une perspective de progrès et de réussite individuelle. Elle prend Ia forme d'un référentiel interne, sorte de cahier des charges ayant prévu les critères de réalisation et d'évaluation des activités de formation. Le dispositif est alors également évalué comme un sujet disposant d'autonomie et peut-être même d'un projet. Sur le plan théorique, Ia réponse est donc a chercher dans Ia définition correcte de ce qui est a évaluer. On ne peut en effet évaluer qu'un objet (c'estadire un établissement, une organisation, un service, un dispositif) déja repéré, défini, circonscrit, ayant donné lieu a une description de ses finalités, de ses fonctions, de ses spécificités - un objet en quelque sorte conceptualisé. Rbponse mbthodologique

On voit bien que, face a une telle complexité, il devient indispensable de disposer d'un cadre de références par rapport auquel il deviendra possible d'envisager, non une accumulation d'études distinctes, mais une évaluation de Ia spécificité et des effets du dispositif tout entier. La réponse est donc a chercher dans Ia référentialisation, c'est-adire dans l'interrogation et le dévoilement d'un système de coordonnées réalisé en fonction du dessein/dessin que les acteurs peuvent en esquisser.

3 Le recours au référentiel en éducation et formation Les deux premiers éléments constitutifs du thème de cet ouvrage viennent d'être définis : évaluer les dispositifs éducatifs. I1 reste a en présenter le troisième : avec que1 référentiel ? Si Ia question est ainsi posée, c'est qu'effectivement, en accord avec tous les auteurs, i1 n'est pas envisagé d'évaluation sans recours implicite ou explicite a un système de références. Les incertitudes ou les divergences portent plutôt sur Ia façon dont on peut accéder a ce système de références qu'on appellera alors peut-être « référentiel ».

Une notion fréquemment utilisée Référentiel d'unités capitalisables référentiel de métier référentiel de diplôme ... ces expressions sont devenues monnaie courante dans les milieux éducatifs et s'emploient fréquemment dans les systèmes de formation. L'expérience montre que, dans I'inflation de I'utilisation de ce terme, diverses acceptions lui ont été attribuées, et que la clarté de Ia notion n'y a pas gagné. Elle demeure cependant essentielle : c'est pourquoi i1 sera entrepris ici, a Ia suite d'un certain nombre de travaux sur l'évaluation des dispositifs éducatifs (Figari, 1989, 90, 91), de faire le point sur les concepts qui Ia soustendent (première partie), de repérer les procédures avec lesquelles se définissent les cadres de références des situations éducatives (deuxième partie) et d'envisager, à partir d'exemples d'évaluation de dispositifs éducatifs, les aspects méthodologiques de leur construction (troisième partie). )),

((

(<

)),

((

))

Un contexte d'évolution des cadres de références Ces questions se posent d'autant plus que les cadres de références reIatifs aux mésostructures sont l'objet de fortes évolutions. On peut en effet, sans crainte de se tromper, émettre I'hypothèse selon laquelle, en France tout au moins, se vit actuellement une rupture entre un ancien système d'éducation et de formation professionnelle, centralisé autour d'un modèle de référence national, et une nouvelle forme d'organisation locale sinon plus autonome, du moins plus interpellée parce que plus investie par les attentes sociales. Cette évolution prend des formes diverses comme Ia décentralisation régionale, les projets d'établissements les systèmes de formation de plus en plus intégrés au fonctionnement des organisations locales et particulièrement a I'intérieur même de l'entreprise. Face a ce déplacement de la complexité d'un niveau institutionnel et national a un niveau plus proche des mésostructures, i1 devient alors nécessaire de disposer d'un système de références adapté a un nouveau contexte et a des données dont le renouvellement est devenu permanent. Selon que1 ca((

)),

dre, c% effet, vont pouvoir se définir les contenus et s'expliciter les choix, s'éclairer les scénarios envisagés par les acteurs, et se justifier les critères qui serviront aux différentes pratiques d'évaluation qui ne manqueront pas de concerner Ia structure et ses dispositifs ? Mais en invoquant des références, fussent-elles multiples, on réintroduit le problème de Ia Iégitimité de leur choix en même temps que le risque de confusion entre recherche de données explicatives et établissement de nouvelles normes. Le problème résiderait alors, non dans l'existence même du cadre de références, mais dans sa justification et sa reconnaissance par les acteurs concernés. Qui, en effet, aurait compétence pour I'élaborer ? Les décideurs, propriétaires des orientations et des priorités ? Les chercheurs, détenteurs d'instruments d'observation et d'analyse ? Les experts, gardiens de Ia norme, même nouvelle ? Ou les acteurs participant a I'action éducative ? En suggérant que, peut-être, tous ces partenaires sont concernés, on entre déjh dans Ia problématique qui a constitué l'élément commun des travaux qui seront utilisés comme exemples, tout au long de I'ouvrage : qu'est-ce qu'un cadre (ou un système) de références ? Comment se justifie-t-i1 ? Une conceptualisation des processus qu'il décrit ou qu'il induit est-elle possible ? A I'aide de quelle méthodologie se construit-il ?

Du cadre de références au référentiel Evoquer un cadre ou un syst6me de références peut souvent vouloir dire désigner un champ scientifique par rapport auquel I'explication d'un phénomène va être fournie : par exemple, on va expliquer le fonctionnement de l'établissement scolaire a partir des savoirs et des méthodes de Ia sociologie des organisations ou de l'analyse de systèmes ou encore de Ia psychologie sociale, ces champs de savoir étant pris comme systèmes de références déja constitués et capables d'apporter, chacun, un sens possible a certains résultats. C'est a peu près le sens qui est donné au mot « référentiel)) (Ardoino, Berger, 1989) : un li système de références, constituant une optique, un type de lecture, une perspective d'analyse privilégiés Mais l'usage courant qui en a été fait dans les milieux de Ia formation en a diversifié les acceptions (Nunziati, 1987) : le référentiel a pu désigner un catalogue d'objectifs hiérarchisés dans le système des Unités Capitalisables, ou un ensemble des normes de l'évaluateur ou encore I'(( ensemble des outils qui permettent de conduire des tâches d'analyse et de synthèse.. . avec les modèles de références qui les sous-tendent En tous cas. i1 y a Ia un concept qui, parce qu'il est différemment utilisé dans le système éducatif et qu'il préside de manière plus souvent implicite qu'explicite a de nombreuses opérations d'évaluation, demande a être questionné et instrumenté de manière a pouvoir favoriser l'explication et l'évaluation des dispositifs de formation. )).

))

)),

)).

Première partie

COMPRENDRE LA NOTION DE RÉFÉRENTIEL

Le parti a été pris d'envisager d'abord les objets extraits de Ia réalité (ici, des référentiels = chapitre 1) pour arriver aux concepts qui les généralisent (ici, ce que I'on appellera Ia référentialisation = chapitre 2). D'abord, il a semblé en effet utile de décrire au lecteur qui ne serait pas familiarisé avec I'utilisation des référentiels ou simplement avec Ia terminologie qui les accompagne souvent de pénétrer progressivement dans le sujet par des exemples. Ensuite, ce procédé permettra de tirer les leçons des ambigúités des instruments, pour clarifier les pratiques, redéfinir les notions et accéder aux concepts qui peuvent les éclairer.

TROIS EXEMPLES REPRÉSENTATIFS DE TROIS TYPES DE RÉFÉRENTIELS DIFFÉRENTS

C'est A partir de trois exemples, pris dans des contextes divers, que I'on tentera d'introduire la réflexion sur les fonctions jouées par les référentiels : dans I'enseignement d'une discipline, dans une instance de formation professionnelle et dans le cadre d'un système éducatif tout entier.

1 Un référentiel pour Ia délivrance des CAP, BP et BTS par unités capitalisables P d u i t s sous la responsabilité du Ministère français de 1'Education Nationale, les référentiels du type de celui qui va être brièvement évoqué ont voulu constituer une alternative pédagogique et docimologique pour les filières concernées. Connus et largement utilisés, ils ont marqué une avancée importante dans le sens d'une individualisation de la formation et d'une tentative d e validation critériée des capacités » à maitriser (DAFCO, 1985-86). Ainsi, par exemple, le référentiel de français (Ministère d e 1'Ed. Nat., 1982) propose-t-i1 d'organiser I'enseignement de cette discipline autour d e grands objectifs comme I'apprentissage de Ia langue, l'acquisition de métho((

COMPRENDRE V\ NOTION DE RÉFÉRENTIEL

36

des qui favorisent I'exercice de la responsabilité et le développement de I'imagination, du jugement, etc. Le système mis en place propose alors de vérifier I'atteinte de ces objectifs en appréciant des productions.. .qui mettent en ceuvre des capacités comme : communiquer oralement, s'informer, se documenter, appréhender (réaliser, apprécier) un message. A Ia suite d'un traitement taxonomique, les capacités précédentes se décomposent a leur tour en compétences caractéristiques a propos desquelles les auteurs ont fixé des critères de réussite permettant d'envisager Ia validation des acquis Voici, a titre d'illustration, des éléments d'un exemple tiré des Unités du Domaine D4 (Français) (Ministère de 1'Ed. Nat., 1982, p. 16) : ((

))

(1

))

)).

((

))

cornpétences caractéristiques être capable de : communiquer avec autrui - écouter - disposer d'un lexique proche du français fondamental - pouvoir utiliser ce lexique selon les agencements des registres oraux -

11

situations possibles

critères de réussite

Toute situation orale avec production qui ait un un auditoire familier... : sens compris par le - demande de renseigne- destinataire (adéquation) ments simples - formulation de consignes simples - réponse simple une demande simple etc.

Le référentiel dont est tiré cet extrait comporte en fait deux dimensions : le découpage d'un champ disciplinaire par capacités e n lieu e t place des contenus : Ia réjérence n'est plus la somme descriptive des savoirs constituant la discipline et par rapport a laquelle se justifierait le choix de séquences d'enseignement, mais plutôt une liste hiérarchisée d'objectifs désignant des capacités jugées constitutives de compétences sociales (savoir communiquer, etc.) auxquelles Ia maitrise de Ia discipline peut prétendre conduire. Paradoxalement, alors que le recours au programme comme référent pouvait comporter, malgré les apparences, une marge de liberté de choix et d'intégration dans toute forme de dispositif séquentiel de formation et d'apprentissage, le recours au référentiel ici évoqué exige une application plus stricte de ses indications dans la mesure où sa raison d'être réside en partie dans Ia logique de sa construction, logique qu'il convient de respecter sous peine de non-sens. O La critique de Ia pédagogie par objectifs ainsi que de Ia pertinence des taxonomies (Tochon, 1988) n'est certes plus a faire et te1 n'est pas I'objet des préoccupations présentes : ce qu'il convient de noter à pro-

-

((

))

pos de cet exemple est surtout Ia forme prise par le (4 référentiel pouvant devenir pour les utilisateurs, de par Ia logique même de la démarche, un guide méthodologique contraignant, fixant et limitant de manière relativement figée un référent pouvant être perçu par des utilisateurs non volontaires et peu informés comme un cadre normalisé, alors que telle n'était pas apparemment I'intention des concepteurs. ))

I

Y

-

Ia détermination d'un mode d'évaluation cohérent avec le dispositif : Un dispositif très élaboré prévoit un controle continu, des pratiques d'évaluation formative, une validation des acquisitions autour de critères de réussite déterminés pour chaque capacité requise, ce qui parait en effet cohérent avec le mode de conception pédagogique préconisé par ce système d'enseignement. O n obtient alors une organisation en niveaux atteints ou non et fonctionnant en vases communicants selon des procédures de tests soigneusement codifiées. O Le référent rassemble ici essentiellement les objectifs a atteindre fixés par les concepteurs et par rapport auxquels sont évalués les résultats. Comme pour Ia conception, I'évaluation utilise le référentiel comme un guide, et plus précisément ici comme un instrument-étalon favorisant une mesure des écarts entre réalité et étalon. On voit bien, a travers cet exemple comment un référentiel devient, pour des raisons tout a fait compréhensibles (dans ce cas, en particulier, par souci de rationalisation d'une démarche par objectifs) un appareil normatif ou amené à être utilisé comme tel.

2 Un référentiel de fonnation professionnelle Le référentiel de formation des agents de maitrise n (AP/RS/FOR, 1988) illustre bien une certaine conception du référentiel dans le domaine de Ia formation professionnelle, indiquée dans le sous-titre : recherche d'une présentation homogène des profils de compétence des agents de maitrise de fabrication et d'entretien Le document en question se donne pour but « d'atteindre les résultats industriels conformes a w objectifs préalablement définis Pour cela, I'agent de maitrise doit avoir les compétences nécessaires pour assurer Ia responsabilité de Ia réalisation de Ia mission : 1 . de conduite des procédés, 2. de maintenance des installations Suit une liste de capacités prescrites par les décideurs déclinant les deux profils précédents, du type : « situer sa responsabilité, analyser Ia situation de I'atelier, etc. » Voici, a titre d'illustration, un extrait de ce référentiel., à Ia rubrique : « O-situer sa responsabilité » : ((

((

)).

)).

)).

((

il est exige

II est demande

il est donne

- un site industr. dans une région...

- identifier les caractéris- - le recensement des

caractéristiques soc., histor., géogr., écon., hurnaines marquantes du pays ou de Ia région - identifier les caractéris- - Ia prise en compte - un service dans un des car. histor., écon., établissement tiques principales d'un humaines du service industriel service a I'intérieur d'un établissement industriel et du site dans une décision industrielle d'organisation... - Ia définition de Ia - situer sa fonction dans - I'appréciation des le contexte relatif a Ia points faibles et forts mission région et au service concernant son intégration dans le milieu correspondant etc. etc. etc. tiques principales de I'environnement d'un site industriel

Chaque capacité est a son tour hiérarchisée en capacités secondaires formulées chaque fois en trois volets : a il est donné (= un site ... un service... une fonction ...) b il est demandé (= d'identifier les caractéristiques principales de I'environnement ...) c il est exigé (= I'appréciation des points faibles et forts concernant son intégration dans le milieu correspondant ...). O Inspiré du précédent (avec les objectifs de capacités a atteindre), le système de références établi ici revêt en réalité une signification différente. En effet, le référent semble être recherché en amont de Ia formation dans l'entreprise elle-même : les résultats industriels attendus par les décideurs constituent bien les éléments par rapport awquels se déterminent les objectifs et les critères de réussite exigés ». Le référentiel constitue essentiellement une description des tâches et des fonctions souhaitées par les décideurs. ((

((

))

((

))

((

3 Un guide pour Ia régulation des systèmes éducatifs Tout en ne prétendant pas au titre de référentiel, le Guide pour Ia régulation pédagogique » édité par I'UNESCO (D'Hainaut,l980, b) en constitue pourtant un exemple. En effet, i1 se veut destiné : a c e w qui ont Ia charge de Ia planification et ... du projet » de création d'((une institution éducative ((

((

))

-

ceux qui gèrent...Ia marche des institutions * ceux qui ont Ia responsabilité d'évaluer le fonctionnement des projets éducatifs M. 11 réunit ainsi, dès le départ, les conditions nécessaires à I'existence d'un dispositif éducatif : Ia conception, Ia formation et I'évaluation, vis a vis desquels i1 est posé comme un système de recours. I1 se définit d'autre part comme un instrument méthodologique servant A détecter les points sur lesquels i1 faut agir pour améliorer un système.. . 11 propose alors une liste de questions fondamentales ... auxquelles on peut ne pas savoir répondre.. . mais qu'il n'est pas inutile de se poser du type : Les buts et les objectifs du système sont-ils adéquats ? Comment le système fonctionne-t-i1 ? Comment pourrait-on améliorer les résultats ou le fonctionnement ? » Ces questions sont a leur tour subdivisées en sous-questions (= les « questions principales »,puis les questions précises constituant autant de rubriques que nécessaire pour recueillir des données et des projets qu'il est envisageable de trouver dans une institution éducative. Pour utiliser ce guide, l'essentiel est de choisir son point d'entrée, de se poser une question pertinente a propos du problème a traiter et d'adapter sa progression dans le guide a I'information qu'on recueille et aux problèmes qu'on découvre.. .

-

«a

«a

)).

((

))

(

)))

((

((

))

Voici, à titre d'illustration un extrait des questions posées aux trois niveaux indiqués (appelées questions fondamentales », questions principales », analyse des effets attendus ou questions précises ))) placées ici en perspective, dans un tableau reconstitué par I'auteur (p. 32). Seules les premières rubriques d'un passage du document sont reproduites : pour examen exhaustif, le lecteur est invité a se reporter a Ia publication en question. ((

((

))

((

((

O Le référent constitue ici Ia proposition d'un cadre de pensée définissant implicitement les contours possibles d'une institution éducative qui laisserait aux acteurs Ia possibilité de tracer sur ce système en pointillés le trait plein représentant I'itinéraire qu'ils ont choisi. Les références sont établies : il reste a déterminer la situation de I'objet considéré (par exemple I'établissement ou le dispositif de formation) par rapport aux axes ainsi fixés. Le document invite, à l'évidence, a élaborer un cadre de références préalable a Ia conception et a l'évaluation d'un système de formation. A Ia différence des exemples précédents, i1 ne fixe pas I'objectif, il invite a le fixer : i1 initie en quelque sorte une démarche de construction dont il sera question plus loin, a propos de la référentialisation ((

((

)).

))

I

Questions fondamentales

1. Quels sont les effets attendus de I'action entreprise ou projetée ?

1

Questions principales

I

Analyse des effets attendus (questions précises)

p

On ddffnira les résuitats attendus en ce qui concerne

A. Quels sont ses buts et 1. les éduqués ses objectifs ? B. Comment pourra-t-on observer s'ils sont atteints ? C. Les buts et les objectifs sont-ils adéquats ? - etc.

2. 3. 4. 5. 6.

I'institution et le projet le système éducatif Ia population.. . I'économie les domaines éthique, idéologique et de Ia compréhension internationale

1. effets attendus en ce qui concerne les éduqués 1.1 Au niveau de ta politique éducative ? O que1 type d'homme veut-on former ?. . . O dans quelle perpective.. . ? O dans quelle optique politique ? O quels besoins individuels et sociaux veut-on satisfaire ? etc.

Ambiguités des dférentiels Certes, ces exemples ont pour caractéristique commune d'être conçus ou utilisés pour justifier I'action de formation, ce qui semble correspondre a I'une des fonctions de base du référentiel. Néanmoins, on y trouve les éléments qui expliquent comment on peut passer implicitement du référent à Ia norme a travers ce qui va être regroupé, pour simplifier, mais aussi pour mieux faire apparaitre le problème, dans quatre types de formulation de référentiels ayant cours dans le milieu de Ia formation : 1. Ia liste de capacités ou de compétences dbterrninées par I'btude d'une situation professionnelle ou scolaire et qui peut demeurer a ce titre purement indicative (référentiels de métiers)

1

T& exem~lesre~résentatifs de trois twm de référentielsdifférents

2. Ia formulation d'objectifs ou de contenus qui prolonge cette première procédure en répondant aux nécessités de programmer le curriculum qui s'ensuivta : on accepte alors, dès ce stade, d'entrer dans une logique particulière d'enseignement par objectifs. Qu'ils soient indicatifs ou impératifs, ils sont construits par des décideurs ou des experts et sollicitent a Ia fois Ia compréhension et I'adhésion des acteurs. L'ensemble des objectifs faisant I'objet d'une formation ou d'un curriculum peut prendre Ia forme d'un référentiel structuré destiné a remplacer un programme (référentiels de diplômes). ))

3. /e système de normes qui ne garde que les grands axes qui président a cette programmation et qui rappelle que, dans le cadre d'un système de références d'émanation institutionnelle fixant les orientations et les contraintes, les acteurs ont le choix des détails (référentiel des projets d'établissements scolaires, en France, par exempie). 4. le document de références, sorte de liste de controle (check-list) qui guide Ia recherche d'informations en proposant des catégories descriptives de Ia situation éducative a construire ou a évaluer, catégories destinées également a provoquer Ia réflexion et Ia prise de décision.

S'il y a hbsitation possible, comme on vient de le voir, sur Ia perception des formes mêmes des référentiels (listes de capacités ou de tâches, systèmes de production d'objectifs, modes de programmation ou systèmes de normes, listes de catégories descriptives ou constitutives d'une situation), il demeure également une ambiguité sur le sens de cette notion qui semble fluctuer entre deux pôles de Ia conception et de I'évaluationd'une action éducative : - Ia fixation ordonnée des contenus et des normes (= des rbféren-

ces, donc) par des décideurs ou des experts, d'une part, - Ia recherche des éléments pouvant expliquer et justifier Ia pro-

grammation et I'évaluation des actions pédagogiques (exemple du cadre de références a construire a partir de catégories). Les référentiels établis, pour faire preuve de leur Iégitimité, mais aussi pour être efficaces (et pour cela il est nécessaire qu'ils soient compris) sont donc amenés a leur tour a citer leurs références, a dire par rapport a quoi ils fonctionnent : on peut ainsi, par Ia mise en abime, rechercher le référentiel du référentiel, etc. C'est par conséquent Ia procédure elle-même qui comporte de I'intérêt, et non le produit pouvant être Iégitimement remis en cause par I'utilisateur suivant : c'est cette procédure qu'on appellera Ia référentialisation n.

CONCEPTS EN CASCADE : RÉFÉRENT, RÉFÉRENTIEL, RÉFÉRENTIALISATION

1 Référent, référentiel Afin de ne pas se limiter au réemploi d'une terminologie que I'on soupçonne par ailleurs de ne constituer que la version provisoire d'une notion plus riche, i1 convient tout d'abord de refaire le chemin na~fdes définitions. II n'est pas inutile d'examiner les origines du mot et les modifications de sens survenues avec les dérivations, ainsi que de repérer I'emploi du terme référentiel)) dans d'autres champs scientifiques afin de mieux mesurer les contraintes mais aussi les libertés que peut apporter I'utilisation d'une famille de concepts utiles a une approche théorique de Ia conception et de l'évaluation des dispositifs de formation. ((

Référent Au début de Ia chaine considérée, le référent, concept apparemment fixé, donne lieu a des utilisations très précises chez les auteurs en matière d'évaluation :

COMPRENDRE L4 NOTION DE RÉFÉRENTIEL

44

-

e n son sens premier, le référent est I'élément extérieur a quoi quelque chose peut être rapporté, référé (cf. latin : referens : renvoyant a). En effet, Ia distinction opérée par Ia linguistique entre sens et référence semble généralement admise : si le sens indique ce que dit une expression, Ia référence explique au sujet de quoi cela est dit. - dans le discours évaluatif, on retrouve le terme référent avec un sens plus restrictif et plus instrumenté, en particulier dans Ia distinction bien connue entre référent et référé (Lesne, 1984 ; Barbier,l985 ; Hadji, 1989). Ainsi, pour Lesne (1984, p. 132), évaluer c'est mettre en relation, de façon explicite ou implicite, un référé (ce qui est constaté ou appréhendé de façon immédiate, ce qui fait I'objet d'une investigation systématique ou d'une mesure) avec un référent (ce qui joue le rôle de norme, ce qui doit être, ce qui est le modèle, I'objectif poursuivi.. .). Le référent désigne chez ces auteurs ce par rapport à quoi un jugement de valeur est porté ...Dans son statut, le référent appartient a I'ordre des représentations d'objectifs ... (Barbier, 1985, p. 294) ; le référé quant a lui représente ce à partir d e quoi un jugement de valeur est porté ... le référé est une représentation des faits.. . La démarche d'évaluation consisterait alors en une réflexion (pour ne pas Ia réduire a une mesure) sur l'écart entre le référent (qui fixe I'état final nécessaire ou souhaitable et j oue un rôle instrumental ))) et le référé (qui désigne Ia partie de Ia réalité choisie comme « matériau pour cette réflexion ou cette mesure). ((

))

((

))

((

((

))

(q

))

(<

))

Référentiel Le terme de référentiel, dérivé du terme précédent, est utilisé dans d& domaines différents et semble se prêter a des manipulations et a des interprétations très diverses. On ne s'attardera pas sur l'adjectif qui conserve le sens du nom référent » et désigne par Ia nature de son suffixe iel» une propriété du nom qu'il accompagne (= tout ce qui renvoie a) et que I'on trouve par exemple dans Ia M fonction référentielle du langage. Mais employé comme substantif, le référentiel prend un autre sens : sa nominalisation indique déja I'idée d'actualisation et évoque un (4 appareil construit. On se trouve alors devant deux cas d e figure possibles : - ou bien le système de références est perçu comme fixé une fois pour toutes, généralisable et normatif, comparable, toutes proportions gardées, au programme scolaire et a sa fonction d'encadrement. - ou bien Ia notion de référentiel demeure fidèle au sémantème commun a référent, référé, etc. : dans ce cas, Ia notion reste large, n'indique nullement une norme et fait même I'objet d'un choix (on peut se référer a te1 ou te1 élément). Mais il est clair que Ia notion ainsi comprise suggère d'expliciter ce choix, ou plus exactement, d'indiquer le lien entre ce choix et I'objet qu'il s'agit ainsi de situer. ((

((

))

))

Concepts en cascade :référent, référentiel, référentialisation

45

2 Redevances et distinctions ii a &é prdcddemment fait appel d'une pah A des ddfinltions générales, d'autre part à des utilisations courantes, dans le monde de Ia formation, de Ia notion de référentiel Mais a partir du moment où il a été avancé qu'il s'agissait Ia d'une notion centrale pouvant rendre compte des préoccupations et des choix méthodologiques de l'évaluation des dispositifs éducatifs telle qu'elle va apparaitre ici, il est devenu nécessaire de Ia replacer dans un contexte scientifique et d'évoquer, voire de comparer sa signification dans différents champs ou elle est employée. On trouve en effet cette notion e n mathématiques, dans Ia théorie de Ia relativité, en linguistique. II ne s'agit pas ici de s'y référer à tout prix, c'est-a-dire au prix d'approximations faciles et sans apport réel au concept étudié, mais au contraire de vérifier : - d'une part les référents de I'évaluateur lui-même : utilisés parfois à son insu, du moins naturellement intégrés, ils nécessitent, puisque te1 est ie sujet même de notre quête, une ré-évocation si non une ré-invocation : ils constituent e n tous cas les redevances à des modèles qui influent sur I'effort de conceptualisation entrepris et doivent par conséquent être repérés. - d'autre part les distinctions à opérer avec les significations existantes. II n'en sera retenu pour ces raisons que deux références directes : celle du référentiel cartésien et celle du référentiel en linguistique ; il conviendra ensuite d'examiner d'autres apports plus indirects (apports des concepts de modèle et de système). )).

((

Le référentiel cartbsien

En mathématiques, Ia notion de référentiel cartésien désigne le système qui consiste a situer un point dans I'espace par rapport a des axes (a 2 ou n dimensions) : c'est en définitive ce qui permet d e repérer la position d'un objet par rapport a un ensemble d'autres objets qui jouent le rôle d e N système d e référence ». Cette définition élémentaire invite h rétablir, parmi les usages qui çont faits de cette notion dans les milieux éducatifs, le statut des données comme éléments de référence, données devenant a leur tour échelles de détermination de coordonnées. II faudra bien alors distinguer ces données de références des objectifs et des normes qui constituent souvent les éléments esçentiels des référentiels invoqués en formation. En tous cas, c'est avec ce sens que Ia notion est employée ici, car elle distingue bien, d'une part, Ia démarche scientifique qui traitera des données (même si dans certains cas ces données sont constituées de recueils de représentations, d'intentions ou d'attentes), d'autre part les démarches décisionnelles, organisationnelles ou pédagogiques. ((

))

COMPRENDRE i A NOTION DE RÉFÉRENTIEL

46

Le référentiel en linguistique

La linguistique, comme science du langage s'intéressant aux signes, a besoin de référer sans cesse ces derniers a la réalité. Cette constante et difficile recherche du référent semble tellement proche des préoccupations évoquées ici, qu'il semble pertinent de rappeler brièvement comment est utilisée Ia notion de référentiel en linguistique. 11 sera intéressant pour Ia réflexion d'évoquer le mode de relation entre le signe et l'objet (c'est-àdire, par exemple - lorsqu'il s'agit d'évaluation des dispositifs éducatifs - entre I'indicateur et le terrain) ainsi que Ia distinction que la linguistique opère entre Ia fonction référentielle du langage et les autres (Arrivé et al. 1986).On examinera alors les apports et les limites du recours aux concepts linguistiques.

-

La référence :un signe a Ia recherche de son objet

En linguistique, on part d u signe (rien ne nous interdit de prendre pour exemple l'expression établissement scolaire ))) e t on établit une référence à I'objet existant (= I'établissement lui-même). ((

Schérna 1 recherche d'une réference a signe

objet

(expression : établissement)

(établissernent)

Dans notre champ d'études, on pourrait dire que les pratiques courantes d'évaluation partent au contraire de I'objet existant (un établissement a évaluer) qui n'a pas encore de signification (sauf celle d'appartenir a Ia catégorie des établissements), et cherchent des signaux de cet objet, signaux porteurs de signification par rapport a Ia réalité qui entoure I'objet (par exemple ce que I'on appelle couramment des indicateurs) : ((

))

Schéma 2 recherche d'indicateurs objet

(établissernent a évaluer)

r signe

(descripteursde I'établissement)

Mais si I'on regarde de plus pres ces pratiques et les méthodes employées, on s'aperçoit d'un fonctionnement sensiblement différent. En effet, l'observateur n'aborde I'objet qu'avec un ensemble de présupposés, de catégories descriptives préformées (instrumentées ou implicites) : il part bien lui aussi de signes, de discours composés de concepts qu'il va tenter de référer à une réalité :

Concepts en cascade :référent, référentid, référentialisation

47

Schéma 3

conception de I'objet a évaluer

-

recherche d'une référence d signe

objet

indicateurs)

(établissement)

La fonction référentielle

Dans Ia distinction que Ia linguistique a opérée entre Ia fonction dénotative (ou référentielle) du langage, essentiellement informative, e t Ia fonction connotative qui fait appel au contexte, on retiendra tout d'abord les définitions de Ia première de ces fonctions : Ia fonction référentielle. La fonction référentielle, comme le terme l'indique, met en relief le référent d'un signe : elle renvoie a I'existence objective d'une chose définie (= le signe arbre renvoie aux arbres existants) soit dans un système général de signes (= I'arbre comme catégorie de végétaux dont I'existence est répertoriée), soit dans le cadre de I'expérience (= te1 arbre du jardin), par rapport a deux systèmes de coordonnées distincts : - dans le cadre d'une insertion dans /e système général des signes qui servent a Ia définition, cette fonction appelée dénotation linguistique » est de I'ordre du paradigme, notion particulièrement féconde en linguistique structurale, dont on ne retiendra ici que I'idée de base : le paradigme constitue l'ensemble des formes que peut prendre un morphème (élément d'un mot qui permet de reconnaitre sa catégorie grammaticale) selon la fonction qu'il remplit dans le syntagme, c'est-a-dire dans Ia combinaison qui I'inclut . Dans notre champ d'études, le paradigme constitue Ia partie du référentiel qui désigne un modèle général préexistant (indiquant par exemple les différentes formes que peut revêtir un contexte situationnel, un établissement, un organisme de formation ou encore un curriculum) ; - dans le cadre de I'expérience au cours de laquelle le sujet est en contact avec Ia réalité qu'il désigne, cette fonction appelée dénotation référentielle est de l'ordre du syntagme c'est-a-dire d'une combinaison actualisée de signes comme Ia phrase dans le domaine linguistique, par exemple. Dans notre champ d'études, la dénotation référentielle, d'ordre syntagmatique, caractérise bien Ia recherche d'un système d e références construit autour d e l'expérience et qui fait appel a des critères élaborés en fonction de Ia situation spécifique a traiter représentant une combinaison particulière d'un ensemble de facteurs (population en formation, contexte économique et technique, compétences des enseignants et formateurs, moyens et méthodes, etc.). ((

((

))

COMPRENDRE LA NOTION DE REFERENTIEL

48

-

Apports de Ia linguistique

De Ia fonction dénotative, il convient de retenir Ia distinction essentielle entre Ia dénotation linguistique (paradigmatique) et Ia dénotation référentielle (syntagmatique).La première désignant le modèle général qui détermine une partie prévisible des formes prises par I'objet (dans notre champ d'étude, il s'agira des caractéristiques générales du dispositif repéré comme appartenant a une classe connue, comme les établissements scolaires) ; Ia seconde désignant le rapport spécifique a I'objet (éléments d'information construits en fonction des particularités situationnelles, comme les caractéristiques de I'identité d'un établissement). Ces notions, parce qu'elles intéressent les rapports entre I'objet lui-même et sa désignation, permettent de mieux comprendre comment la référentialisation va élaborer un schéma d'évaluation relevant, lui aussi, à Ia fois du paradigme (formes générales prévisibles, déclinables, de I'objet) et du syntagme (construction combinatoire spécifique d'une situation). Quant a Ia fonction connotative, elle définit I'attitude évaluative dans ce qu'elle comporte d'affectif, de non rationnel et qui relèverait notamment des phénomènes liés a I'attribution. C'est en cela que, tout en figurant au cwur du problème, elle ne sera pas invoquée dans le cadre du travail entrepris ici. ((

3 Référentialisation Au risque d'abuser de Ia dérivation, I'emploi du mot référentialisation permet de désigner et de mettre en valeur Ia procédure elle-même et de signifier qu'il ne peut s'agir ni d'un objet préexistant par rapport auquel les éléments du projet éducatif n'ont qu'a se situer, ni d'un catalogue de Ia Loi ou de Ia Norme qui fixerait des finalités imposées ou un idéal a atteindre : il s'agit, en revanche, par I'emploi de ce terme, d'évoquer Ia démarche qui consiste a entreprendre une recherche de références pertinentes (c'est a dire a Ia fois universelles et particulières) pouvant expliquer et justifier Ia conception et I'évaluation d'un dispositif éducatif. Cette procédure suppose une méthodologie d'explication de la réalité des situations éducatives qui puisse déboucher sur Ia construction des projets d'intervention sur cette réalité. On appellera donc « référentialisation ,, le processus d'élaboration d u référent (articulé autour d e ses deux dimensions : générale et situationnelle). La référentialisation consiste a repérer un contexte e t a construire, en le fondant sur d e s données, un corps d e références relatif a un objet (ou une situation) par rapport auquel pourront être établis d e s diagnostics, d e s projets d e formation e t des évaluations. La référentialisation veut être une méthode d e délimitation d'un ensemble d e référents e t s e distingue en cela d u référentiel qui désigne, lui, un produit fini, et plus exactement, une formulation m e mentanée d e la référentialisation. ((

((

))

))

Cumpts en cascade :rkférent,réferentiel, référentialisation -

49

4 Apports des concepts de modèle et de système La définition de Ia référentialisation ne peut cependant pas s'enfermer dans les différentes formes prises par le sémantème contenu dans référé/référent Elle recoupe d'autres concepts par rapport auxquels on doit également pouvoir Ia situer. Parmi eux, on notera celui de modèle qui vient d'être évoqué, et celui de système incontournable. ((

)).

))

((

)),

4.1

1

!

Référentiel et modèle

La référentialisation est d'abord une pratique de recherche. I1 s'agit de tenter de comprendre une petite partie du monde qui nous entoure : les dispositifs éducatifs. Et, dans cette partie, une plus petite encore : celle qui relève de leur agencement, de leur ingénierie, de leur évaluation. Pour mieux déchiffrer l'objet ainsi désigné, le chercheur a besoin d'un modèle de lecture ; et, lorsqu'on aborde en chercheur I'évaluation d'un dispositif éducatif, on est amené a utiliser des modèles généraux existant en sociologie et en psychologie sociale, par exemple, ou bien a tenter de modéliser Ia situation particulière a étudier, si elle n'est pas réductible aux modèles précédents. Mais, que1 que soit le degré d'abstraction atteint, il s'agit toujours de rechercher le système d'explication qui relie les différents éléments d'une évaluation : de cette démarche le praticien a également besoin. Alors, peut-on appeler modèle ce système d'explication ? A quelles conditions ? Le recours a quelques définitions issues de différents domaines pourra favoriser cette réflexion, notamment en technologie, en linguistique et en sociologie. - Dans le domaine technologique, le modèle est Ia maquette, I'objet réduit qui reproduit sous une forme miniaturisée, simplifiée, les propriétés d'un objet. On peut dire, en raccourci, qu'il s'agit d'une figuration qui sert les buts de la connaissance. Le référentiel d'un dispositif éducatif, dans une certaine mesure, devrait pouvoir prendre Ia forme de ce modèle réduit constitué par un système d'entrées destiné a sélectionner les données qui caractériseront I'ensemble du dispositif et de sorties comprenant les critères et les indicateurs de saisie de Ia réalité a évaluer. - En linguistique, le modèle est souvent défini comme une construction qui doit simuler les propriétés jugées essentielles d'un domaine empirique : soit sous Ia forme de procédures classificatrices d'objets empiriques (dans ce cas : des mots, des phrases, etc.). A I'occasion de I'évaluation d'un dispositif éducatif, on peut, par exemple, a I'aide d'un logiciel de traitement quantitatif de données textuelles, classer les formes de discours relatives a telle conception de Ia formation ; soit comme des construits unités non directement obsewables mais qui proposent une organisation simplificatrice et explicative des données. Ainsi, un modèle d'analyse de discours pourra organiser le corpus de données constitué par un choix de documents re((

~

I

!

))

)),

((

))

50

COMPRENDRE LA NOTION DE RÉFÉRENTIEL

présentant, par hypothèse, la politique de formation d'une organisation. D'autre part, le modèle traite des données d'entrée (texte, représentations) pour les transformer en sorties représentant les réponses par oui ou par non faites a propos de I'application aux données d'un prédicat faisant partie du modèle. Par exemple, si on I'applique a notre champ d'étude, ce type de modèle permet de faire ressortir I'existence ou Ia nonexistence, dans un projet éducatif, d'un indicateur permettant I'explication de I'établissement scolaire. En sociologie, pour Boudon (1984), le modèle serait le résultat d'une description idéalisée du réel, une construction abstraite pour comprendre le réel. D'autre part, il ne doit pas être entendu uniquement sous sa forme mathématique : les modèles mathématiques ne sont en effet qu'une espèce parmi d'autres d'un même genre (Boudon, 1989). Citant Simmel (1981), cet auteur exprime l'idée selon laquelle la connaissance des phénomènes sociaux n'est possible qu'a partir du moment où le sociologue organise le réel a l'aide de systèmes, de catégories ou de modèles sans lesquels les faits sociaux constituent un univers chaotique, sans signification. On peut aisément transposer cette remarque aux champs d'investigation constitués par les dispositifs éducatifs : comment traiter cette masse d'informations fournies actuellement sur le fonctionnement de l'établissement scolaire (pour continuer a exploiter I'exemple privilégié dans ce chapitre), sans avoir recours a ce qui pourrait être un modèle d'évaluation de I'établissement ? La procédure de référentialisation consisterait précisément à organiser Ia recherche d'une connaissance du dispositif autour d'un éventuel modèle (systémique, stratégique, curriculaire...). ))

En résumé et pour ne reprendre que les formulations soulignées des trois domaines évoqués, recourir a un modèle consisterait en une triple tentative de recherche d'une figuration du réel (destinée a en faciliter la connaissance), d'une organisation simplificatrice des données, d'une construction abstraite pour comprendre le réel. Cette reconstruction du réel utilisant une organisation simplificatrice des données autour d'une construction abstraite, constitue l'une des préoccupations des travaux sur Ia référentialisation qui serviront de base aux propositions de construction de référentiels d'évaluation des dispositifs pris en exemples en deuxième et troisième partie.

b c e p t s en cascade :référent, référentiel, référentialisation

4.2

51

Référentiel et système

Le système est généralement défini comme une unité complexe, un ensemble d'éléments qui interagissent entre eux et éventuellement avec le milieu extérieur. Au sens cybernétique bien connu, le système comprend une commande d'entrée de I'information, une commande de sortie, une boucle de rétroaction avec un organe détecteur et correcteur des écarts par rapport au programme permettant d'agir sur l'entrée (causes) pour modifier ses variations. Lorsqu'on évoque le fonctionnement d'un système, on a toujours intérêt à se reporter au schéma qui peut I'illustrer, le plus simple étant le plus souvent le plus utile. Voici, par exemple, le schéma systémique que Monteil (1985) propose d'appliquer a Ia formation : (groupe en formatíon)

système A

système régulé

système B

(environnement psychosocial)

I

I

(système institutionnel supportant Ia formation)

Recours ao paradigme systémique

Le dispositif est un système : c'est une évidence. L'utilité de recourir a un raisonnement en termes de système pour éclairer certains niveaux de son fonctionnement a été démontrée par Berbaum (1982) : en particulier, I'étude des fonctions, des composants et des interactions du système de formation contribue a construire un modèle qui traduit ce que I'observateur saisit de h réalité Mais on ne prétendra pas utiliser ici le paradigme systémique (c'est-a-dire un système d'explication de la formation ayant recours au concept de système) autrement que comme un référent pour Ia recherche dans h mesure ou i1 participe au mode d'explication des dispositifs éducatifs que Leç études évoquées plus loin ont d'une manière ou d'une autre utilisé. La présentation que fait Monteil (1985)du paradigme systémique perrnet également de préciser I'apport a Ia référentialisation. Selon Monteil, le paradigme systémique remet en cause deux préceptes cartésiens : Ia causalité (a laquelle Ia systémique oppose Ia finalité) et le réductionnisme (auquel )).

((

))

((

COMPRENDRE LA NOTION DE RÉFÉRENTIEL

52

Ia systémique oppose Ia globalité) Dans le premier principe, Ia connaissance de I'objet nous est acquise.. .en lui attribuant des projets ; dans le second principe, la connaissance de I'objet va s'opérer .. .en le prenant comme un tout dans un environnement dans leque1 il y a des échanges révélateurs C'est bien ce type d'explication de Ia réalité des situations éducatives que Ia référentialisation va tenter d'opérer, en « attribuant a son tour des projets aux dispositifs qui seront étudiés. )).

((

))

((

)).

))

))

Notion de u systèrne finalisé u de forrnation

Ce modèle, très grossièrement évoqué est tentant pour les organisateurs de dispositifs et les responsables de structures, au risque pour ceux qui I'emploient de réduire un phénomène social complexe a un mécanisme qui donnerait I'illusion d'expliquer les comportements des acteurs et leurs interactions a travers une schématisation intuitive et non suscitée par Ia présentation de données. Apports a Ia référentialisation

I1 n'en reste pas moins que, conformément au modèle systémique, Ia référentialisation constitue un ensemble de procédures qui tendent a : fixer comme préalable Ia définition des finalités du système a traiter ; - récupérer I'information pour Ia remettre en circuit après traitement dans le fonctionnement du système : Ia référentialisation fait I'objet d'une régulation de Ia même manière que Ia boucle de rétroaction permet d'associer un système a ses effets a travers un dispositif correcteur ; - traiter Ia complexité qui constitue une double caractéristique essentielle du système : en termes de complexité structurelle, lorsque I'on est amené a chercher de quoi le système est constitué et que l'on débouche sur un répertoire d'éléments définis et reliés, - en termes de complexité fonctionnelle, lorsque I'on tente de comprendre pour quoi le système est fait afin de disposer d'un cahier des charges définissant les postes de travail, les besoins, etc. Dans les exemples qui seront évoqués par Ia suite, on s'apercevra que les projets et les dispositifs éducatifs relèvent de cette double complexité : au niveau des définitions mêmes, on remarquera ainsi que les Projets d'Actions Educatives (PAE) relèvent de Ia complexité fonctionnelle, que les dispositifs d'audit peuvent relever de Ia complexité structurelle et que les Projets d'Etablissements conjuguent les deux caractéristiques. Certes, on notera ensuite que comme pour toute forme de classement, il y a matière a recoupements, mais les fonctions que ce modèle amène a décrire vont constituer des éléments utiles au (1 référentiel ». - étudier une situation en utilisant un système d'explication reconstruit de manière artificielle. Berbaum, en reprenant les travaux de Von Bertalanffy (1980) et de Morin (1977) rappelle Ia dimension artificielle d'un système : -

((

))

Concepts en cascade :référent, référentiel, référentialisation

-

53

le système n'est pas une donnée première ; il résulte du découpage d'un tout, d'un choix par le chercheur dans un environnement qui n'impose a priori aucun fonctionnement particulier » (Berbaurn, 1982, p. 36) : construire le référentiel d'un dispositif, c'est effectivement sélectionner dans Ia masse d'informations qui caractérisent le contexte d'une situation éducative (cf. 2e partie) celles qui vont répondre a une certaine logique prédéterminée. la notion d'artificialité d'un système renvoie à I'initiative que prend l'acteur, a I'importance de son role de constructeur, de concepteur face aux situations, ce qui suggère un rapprochement avec Ia notion de finalité et de projet (Berbaum, 1982, p. 45). Cette notion d'artificialité du système permet de faire Ia distinction entre I'élaboration d'un modèle et ce qui pourrait être utilisé comme un langage de description ou de gestion d'une réalité. Elle est liée, d'autre part, a cette caractéristique essentielle de la notion de système qui consiste, au lieu de chercher d'abord les causes, a s'interroger sur les finalités ou les projets du système (interprétation téléologique). Nous verrons en effet, en évoquant les études sur le référentiel d'établissement scolaire (cf. partie) Ia place occupée par Ia recherche de détermination des finalités. (4

((

))

5 Les statuts de Ia référentialisation Face a Ia complexité du champ notionnel ainsi exploré et a Ia variété des situations et des problèmes qui caractérisent Ia conception et I'évaluation des dispositifs éducatifs, i1 a paru utile de profiter de I'histoire et des potentialités de Ia notion de référentiel pour I'élargir au concept de référentialisation Cette construction d'un système de références spécifique au champ étudié comporte un triple statut - opératoire, méthodologique et scientifique - correspondant aux trois caractéristiques essentielles de toute procédure d'évaluation. ((

)).

Le statut opératoire Comme concept décrivant un mode opératoire, le référentiel represente pour ses utilisateurs un appareil-étalon, c'est-à-dire un instrument de mesure de coordonnées par rapport a d'autres situations, a une situation moyenne ou encore a une situation idéale. I1 s'agit pour les acteurs de construire un instrument qui leur permette d'observer un projet, un curriculum etc., a partir d'un traitement organisé de données : c'est Ia tentative décrite e n 2e partie (chapitre 2.1), a propos de Ia recherche menée autour d'une méthodologie d'élaboration d'un référentiel de lecture de l'établissement scolaire.

54

COIWPRENDRE LA IUOTION DE REFERENTIEL

La référentialisation comme mode opératoire correspondra donc ici d'abord a une volonté de référer I'organisation d'un projet éducatif et I'évaluation de ses effets à I'explicitation des enieux et des données justifiant les choix envisagés. Elle désignera Ia mise en place des conditions et des structures ainsi que le choix des procédures.

Le statut méthodologique Conime concept désignant une méthode. le référentiel jcistifie un ensemble de procédures ordonnées et finalisées. I1 s'agit Ia de sa fonction charnière. car Ia méthode restera I'élément commun aux deux autres approches envisagées : opératoire sur le lieu de l'action. scientifique lorsqu'il s'agira de tentatives de construction d'un savoir. Les méthodes envisagées doivent répondre a une double nécessité qiii consiste a traiter à Ia fois Ia structure et Ia fonction du dispositif. Ce dernier. en tant que système. est défini par une structure. <'En fonctionnant. Ia structure de I'objet se forme et c'est cette structiire qui fait que le tout est autre chose que I'ensemble des parties (Berbaum. 1982) Ia structure correspond a ce que I'on peut appeler Ic principe d'organisation de I'objet a étcidier : il ne s'agit pas de Ia description complète de I'objet. mais seiilenient de Ia mise en relation de données qui perrnettent de dire que I'obiet est organisé. On verra en ti-oisiéme partie comment une investigation teridant a construire une procédure référentielle dans des établissements scolaires peut structurer un schéma matriciel acitour d'un principe organisateur qui va déterminer le traitement de I'information. Ia fonction de I'objet considéré désigne le role qu il ioue dans un environnement donné. c'est a dire l'ensemble des propriktés q~i'ilmanifeste dans cet environnement (propriétés intrinsèques. indépendai-ites de I environnenient : propriétés extrinsèqu~sdépendant des iriteractions avec I'environnenient). Ainsi. sera étudié le principe d Lin référentiel a Ia foi5 interne et externe. les propriétés d'un mème obiet ne poiivant ètre &datées dans des référentiels distincts. saris tomber dans tes défauts du réductionnismc qiii separcrait de maniérc incongrue <.cqui dans ce cas demande à étre traité coniointement. 1)

-

En tant que méthode. Ia réféi-entialisation des dispositifs de forniation se présente avant tout comnie cine méthode spécifique . mais elle n'est spécifique que par le fait qii'elle réunit elle-t~iêmeplusieurs instrumerits a une secile fin : ckioiçir pui- traiter deç données utilisableç dans I'explicdtioi-i. Ia conception et I'évaluation de ceç dispoçitifs siir uri niode dynamiqcit*.c'est-;i dire nori arrêté sur des résultats. rriais producteui- dc qiiestionnemerits perii-ianents.

Le statut scientifique Comme concept relevant d'une démarche scientifique, le référentiel doit pouvoir fournir un éventuel corps d'hypothèses prévoyant l'explication des résultats. Là encore et surtout, Ia notion de référentiel a connotation trop statique gagne a être corrigée en référentialisation indiquant ainsi Ia recherche d'un principe qui rende compte de I'existence d'une unité de sens des mésostructures éducatives a construire tout au long de l'investigation. Cette réflexion constitue le dernier stade de Ia conceptualisation entreprise autour de Ia référentialisation a Ia suite de ce qui a été esquissé précédemment : cette notion définit un cadre abstrait de reconstruction d'une réalité transposable dans diverses situations caractérisant des dispositifs éducatifs. )),

((

))

6 Vers un schéma de Ia référentialisation 6.1

Evaluation et référentialisation

On aura progressivement l'occasion, dans les parties suivantes, de repérer les fonctions de Ia référentialisation dans I'évaluation des dispositifs éducatifs : - en ce qui concerne I'audit : on verra que Ia référentialisation constitue Ia phase centrale du dispositif, dans Ia mesure ou elle permet de justifier les résultats de l'audit, non de manière absolue (ce qui paraitrait impensable) mais relativement a un cadre hypothétique clairement identifié. dans les procédures d'analyse de situations inductrices de formation, Ia référentialisation jouera le role de délimitation d'un contexte dans un environnement multiforme, fixant ainsi un cadre par rapport auquel les diagnostics pourront être argumentés. - dans I'établissement scolaire enfin, face a de nombreux référentiels disponibles, Ia lisibilité des résultats dépendra de la compréhension par les acteurs de Ia reconstruction locale d'éléments provenant des différents référentiels en présence : Ia reférentialisation consistera a justifier et a nommer les critères qui présideront a I'évaluation. (1

))

-

6.2

Un cadre d'analyse

11 a été avancé que Ia référentialisation constituait un essai de modélisation dans Ia mesure ou elle consistait en une reconstruction abstraite et figurée de Ia réalité destinée a mieux comprendre cette dernière.

COMPRENDRE LA NOTION DE RÉFÉRENTIEL

I

En effet, le dispositif a évaluer produit des masses d'informations. Ainsi, on dispose : - a I'entrée du système : des données censées décrire des situations (environnement, ressources, contraintes), des représentations (de Ia tâche, des problèmes, de I'avenir.. .) ou des jugements (bilans, résultats). - a Ia sortie du système : soit des valeurs numériques (sous forme de résultats statistiques de produits ou de réussites), soit des réponses affirmatives ou négatives quant a I'existence, dans un corpus descriptif, de données situationnelles ou de caractéristiques d'un dispositif. Comment traiter alors des données aussi complexes, différentes et évolutives sans disposer d'un principe organisateur, classificateur de ces données ? Ce pnncipe doit permettre, au bout d'un certain nombre d'étapes, de fournir une solution a toute interrogation portant sur Ia classe de phénomènes étudiée. II reprend I'hypothèse explicative formulée en introduction. En fait. il s'agit de savoir si (en termes de oui ou de non) et en quoi (en termes de quantités relatives) le dispositif éducatif comporte : - une délimitation du contexte (cf. 2e partie) .................... = I'induit - une dimension d'élaboration individuelle et collective .... = le construit - un traitement des résultats et des effets ........................ = le produit. On utilisera donc ici ce schéma qu'on appellera, par son abréviation commode, le schéma ICP (= Induit-Construit-Produit) censé reproduire les dimensions constitutives de tout dispositif éducatif. Le modèle sous-jacent a ce schéma pourrait aisément être rapproché des trois champs d'analyse des pratiques de formation délimités par Lesne (1984), même si les contenus des trois catégories ne sont pas les mêmes : - a I'(( induit correspondrait le champ de Ia vie quotidienne, professionnelle et sociale ; mais I'« induit ne se réduit pas au social et comprend aussi I'individuel ; - au H construit correspondrait le champ des formes institutionnelles de Ia formation ; mais le construit vise davantage les stratégies d'utilisation des zones de liberté ; - au produit correspondrait le champ de Ia pédagogie n ; mais Ia pédagogie, dans le modèle ICP, n'est pas dernière, et le produit désigne davantage I'effet et le résultat. On rejoint en tous cas, ainsi, une vision ternaire de Ia formation et de I'évaluation qui se manifeste a travers des catégories comme projet-apprentissage-évaluation » ou pronostique-formatif-sommatif ou encore avant-pendant-après qui traduit bien Ia préoccupation commune a de nombreuses approches de Ia formation : I'appréhension d'un processus évolutif dans le temps. ))

((

))

((

))

))

((

))

))

((

))

((

))

((

))

((

((

))

)>

((

6.3

Un schéma pour décrire un dispositif éducatif

Ces trois dirnensions sont apparues a ce point associées qu'on serait tenté, de ce fait, de les relier dans une structure unique a trois pôles : construit

induit

4

produit

cette construction veut en effet illustrer trois propositions pouvant jouer le rôle de postulats : 1. ces trois dirnensions constituent le noyau auquel peuvent être rarnenés I'ensernble des processus et des procédures caractérisant le fonctionnernent des dispositifs éducatifs, qu'il s'agisse de curricula, de projets, de dispositifs d'évaluation ou d'audit : - l'induit désignant les déterrninations, les origines ; - le construit désignant le processus, Ia négociation, I'élaboration ; - le produit désignant I'actualisation, Ia prograrnrnation ; 2. ces trois dimensions sont indissociables : chacun des trois élérnents constitutifs de cette construction a besoin d'être Iégitimé par les d e w autres ; cornrnent irnaginer en effet un dispositif qui ne relèverait exclusivernent que : - de I'(( induit : que serait alors un audit dans le domaine éducatif, par exernple, qui d'une part ne ferait pas réfléchir ou auquel les acteurs n'auraient pas participé (= le construit), et qui d'autre part n'agirait pas sur les effets (= le produit) ? - du construit : que voudrait dire, dans ce cas, un processus de concertation sans fin qui d'une part ne se serait pas appuyé sur des données et des diagnostics (= l'induit), et qui d'autre part n'aurait pas pour fin une décision ou une action (= le produit) ? - du produit k) : que1 sens aurait alors une réalisation ou un programme qui, d'une part, n'aurait pas pris en cornpte Ia situation (= I'induit), et qui d'autre part, ne serait pas le résultat d'une construction collective (= le construit) ? ))

((

((

))

COMPRENDRE LA NOTION DE RÉFÉRENTIEL

58

3. le fonctionnement des relations entre ces trois dimensions est itératif

:

les données induites alimentent la construction qui laisse apparaitre une « production ; mais cette dernière constitue a son tour un phénomène inducteur de nouvelles données qui influent sur les autres pôles, etc. Le schéma ICP, ainsi provisoirement posé, doit pouvoir : répondre a des fonctions d'explication mais aussi de réalisation des dispositifs éducatifs, donner lieu a des applications. ((

))

((

))

))

-

6.4

Schéma pour expliquer, schéma pour réaliser

Cette réflexion illustre un certain nombre de travam qui ont fonctionné en aller-retour du terrain (systématiquement observé et interrogé) au concept et a I'hypothèse explicative pour revenir au terrain, afin de confronter le modèle théorique et la réalité. C'est ce qui explique le souci de disposer d'un modèle qui permette à Ia fois (ou plutôt successivement) d'expliquer et de réaliser, de telle sorte que, d'une part, Ia connaissance des données déterminantes et des processus de fonctionnement des dispositifs éducatifs puisse influer sur les modalités de réforme des systèmes, et que d'autre part le discours théorique puisse être confronté a - et corrigé par - Ia réalité complexe et mouvante des organisations de formation. I1 ne s'agit de rien d'autre, en fait, que d'une transposition aux dispositifs de la liaison qu'opèrent Bonniol et Genthon (1989) entre critères d'évaluation et critères de réalisation de Ia tâche scolaire. I1 a été tenté, pour illustrer cette préoccupation, de retrouver ce qui relevait des trois dimensions du schéma (induit-construit-produit), selon qu'il s'agissait d'explication ou de réalisation, dans un relevé des catégories définissant les différentes opérations menées au cours de la conception et de l'évaluation dans un certain nombre de dispositifs : c'est ce que le tableau suivant veut représenter de manière synoptique. ((

)),

On peut lire le tableau de gauche à droite en suivant le raisonnement qui va des catégories de connaissances (pour ce qui concerne I'explication) ou des catégories de procédures (pour ce qui concerne la réalisation) au modèle en passant par les contenus ou objets traités (situations, commandes, etc.). Mais on peut également, à partir de la droite décomposer les trois notions suggérées.

Concepts en cascade :référent, référentiel, référentialisation

59

connaissance des déterminants

situations commandes contraintes

connaissance des acteurs

représentations 1 fonctions I

induit

explication connaissance des relations connaissance des fonctionnements

définition des contenus

powoir interactions

-I i

-1 t i 1 -I i savoirs décisions

facilitation des processus cognitifs

situations méthodes

régulation et évolution du systbme

changement production

explicatiin téleologique

finalités valeurs

réalisation

construit I

produit

I

6.5 Applications Trois applications au moins du schéma ICP sont d'ores et déja envisageables. Elles consistent a : 1. décrire le fonctfonnement d'un dispositif autour d'un systdme d e dimensions stabilisé, dans Ia mesure ou on a dit et on va voir qu'un dispositif éducatif n'est jamais complètement le fruit du hasard ni d'une volonté unique, et qu'il comprend peu ou prou des dimensions constitutives incontournables (orientations, contexte.. .) influant sur le choix des contenus de formation et sur les performances. Le repérage des indicateurs de ces dimensions peut alors permettre de poser un diagnostic (= évaluation, audit) ou d'opérer des renforcements (= évaluation formative, modifications des curricula) ; 2. référer l'évaluation d'un dispositif a un modèle, dans Ia mesure ou l'on sait que l'évaluation, ici comme ailleurs, n'est pas une opération distincte, indépendante, mais qu'elle est partie prenante de Ia conception du dispositif, et qu'elle se construit en fonction d'un modèle descriptif et téléologique de I'objet a évaluer ; 3. construire un référentiel spécifique a chaque dfspositif, dans Ia mesure ou un te1 modèle permet de justifier une méthodologie et de relativiser la valeur d'un référentiel et a fortiori la pertinence de son utilisation.

60

COMPRENDRE LA NOTION DE RÉFÉRENTIEL

Schéma provisoire, nbcessité de modèles Le schéma ICP n'est que le résultat tout à fait provisoire d'une tentative de disposer d'un principe explicatif du fonctionnement des dispositifs éducatifs. II pourrait constituer un instrument au service de ce qui a été appelé ici Ia référentialisationet qui se propose de doter d'un support rationnel Ia description d'une pari et Ia conception, Ia conduite et I'évaluation de ces dispositifs d'autre pari. La nécessité de disposer de modèles de fonctionnement des dispositifs de formation parait en tous cas de plus en plus nécessaire dans une époque de crise et d'évolution de nos systèmes éducatifs. Face a cette situation, il est clair que les savoirs, les méthodes ou les solutions techniques ne manquent pas, mais qu'en revanche, faute de cadres de références renouvelés et disponibles auprès des acteurs, les modifications et les réformes peuvent continuer a demeurer incomprises, donc mal réalisées, donc sans effets.

Deuxième partie

RETROUVER UN RÉFÉRENTIEL PAR CANALYSE DES SITUATIONS ÉDUCATIVES

Contexte et projet :deux éIéments à étudier Un dispositif éducatif n'est que Ia partie visible d'une construction complexe : dans une situation sociale, économique, environnementale (cf. ce qui a été appelé plus haut I'(
62

REiROUVER UN RÉFÉRENTIEL

PAR CANALYSE DES SiíüKilONS E D X A W

retrouver le système de références par rapport auquel cette construction complexe fonctionne. C'est I'objet de cette seconde partie qui va, a partir d'exemples, tenter de montrer comment se dégagent progressivement de I'analyse d'une situation, les éléments d'une démarche de référentialisation. On regroupera pour cela les exemples autour de deux cas de figure qui se présentent le plus souvent aux évaluateurs : - I'analyse d'un contexte, diagnostic d'une situation momentanément figée, synchronique (quelles tâches, quels problèmes, quels besoins n, pour que1 plan de formation ?) - I'analyse d'un projet, sorte de mise a jour des évolutions et des modes d'anticipation, vision diachronique d'une situation. Dans chacun des cas, on partira des exemples pour en dégager les concepts mobilisés et les procédures adoptées. (<

ANALYSE DE LA SITUATION-CONTEXTE : INFORMATION ET RÉFÉRENTIEL

Un dispositif éducatif, comme toutes les constructions humaines et sociales, subit des déterminismes : ses origines peuvent (doivent ?) être analysées. Cela ne veut pas dire, certes, que Ia formation se justifie uniquement par Ia réponse qu'elle apporte a une demande ou a ce qui est présenté comme un M besoin - il sera question de ces notions dans Ia suite du chapitre - mais que Ia connaissance des informations situationnelles et de contexte va, d'une part expliquer certains phénomènes du déroulement de Ia formation (assiduité, motivation, productions, etc.) et d'autre part permettre aux acteurs de développer des stratégies en conséquence. On examinera d'abord I'apport d'un certain nombre d'études (5 I),présentant chaque fois, a partir du thème de I'investigation : - Ia recherche d'informations de contexte large (c'est-a-dire celui qui se présente tout d'abord dans ses généralités mais aussi dans une globalité difficile a saisir) ; - le choix, dans cet ensemble, des éléments de contexte délimité (c'esta-dire celui qui va donner lieu a analyse, parce qu'il est, par hypothèse, celui qui va pouvoir fournir les informations directement utiles au traitement des questions qui se posent) ; - Ia façon dont s'est déroulé (ou ne s'est pas déroulé) le raisonnement de référentialisation Dans un second temps (5 2), on clarifiera les notions utilisées en tentant d'en dégager certains concepts. ))

((

))

))

((

)).

RETROUVER LIN R-

64

PAR CANALYSE DES SITUATONS ÉDUCATIVES

1 Contextes institutionnel, économique et professionnel 1.l. Contexte institutionnel et plan de formation Thème de I'étude :analyse des a besoins de formation a I'Education Nationale ))

Nous avons eu a organiser des travaux permettant une analyse de Ia demande et des besoins de forrnation des personnels de 1'Education Nationale de 1'Acadérnie de Grenoble (Figari, 1983 ; Butel, 1983). Cette étude s'est inscrite dans Ia période de rnise en place de Ia formation continue des personnels de 1'Education Nationale, conçécutive au rapport De Peretti (1982), et a constitué a cette époque une démarche originale tendant a proposer une réflexion préalable a Ia programmation des formations qui allaient être proposées dans chaque académie. Si la commande institutionnelle parlait de u besoins cette notion n'en faisait pas moins l'objet d'un débat théorique, autour d'expériences de terrain et de publications (Charlot, 1976 ; Marquart, 1976 ; Barbier, Lesne, 1977 ; Figari, Bautier, 1980), ce qui n'a pu que favoriçer la redéfinition de ce concept. ((

))

)),

Le contexte large :une situation inédite et complexe La situation était nouvelle : il venait d'être reconnu le droit des personnels de I'Education Nationale a Ia formation continue. Les données pouvant concerner ce problème étaient en nombre infini. A titre d'exemple, on peut en rappeler quelques entrées : - Ia formation initiale des intéressés, - les profils de compétences nécessaires, par catégorie et par discipline, - les diagnostics réalisés par les corps d'inspection sur les différentes catégories de personnels, - I'adéquation entre forrnation initiale et tâches confiées, - les évolutions des savoirs enseignés, des techniques et des rnatériels, - les problèmes soulevés par les élèves, - les demandes directes des personnels, leurs représentations de Ia forrnation. On pourrait aisément en allonger la liste : mais ce début d'énurnération suffit a montrer I'intérêt de pouvoir accéder a une telle banque de données, en rnême temps que I'impossible accumulation de ces dernières dans un instrument de diagnostic. Le contexte délimitb :définition des orientations et traitement des urgences Dans la mesure ou i1 s'agissait, dans un contexte institutionnel, d'élaborer un plan de formation a grande échelle, deux sortes de données devaient être privilégiées :

Analvse de Ia situation-contexte :infomation et référentiel

65

a) celles qui pouvaient aider a déterminer les orientations générales nécessaires a la mise en place d'un dispositif de long terme ; il fallait, dans cette optique, disposer d'informations sur les représentations et les attitudes des différents intéressés face a ces nouvelles possibilités. C'est ainsi qu'il a été procédé au questionnement d'un échantillon de 1200 adultes concernés et a un sondage sur 8 0 0 élèves. Les résultats obtenus ici et IA n'ont plus d'intérêt aujourd'hui : ce qui en a été retenu en matière de méthodologie, c'est I'extrême difficulté éprouvée alors a distinguer les pressions institutionnelles de Ia réalité des comportements des acteurs, faute d'avoir disposé alors d'un cadre de références suffisamment précis.

b) celles permettant de programmer dans I'urgence les premières actions de formation. La aussi, il a été apparemment facile d'obtenir des listes préférentielles de contenus de formation, de croiser ces préférences avec I'origine, I'ancienneté et autres caractéristiques des demandeurs. Mais les hypothèses étaient trop larges pour que les résultats aient pu permettre Ia fixation d'un programme pertinent de formation adapté a ce qui aurait pu être considéré comme les véritables besoins : le contexte n'avait pas été suffisamment délimité. La référentialisation :demeurée au stade des éléments existants non reliés et non N reconnus » par les acteurs

On disposait en effet des éléments constitutifs d'un système de références, c'est-a-dire : - d'un cadre axiologique (documents officiels, revendications des organisations syndicales, documents d'associations diverses) présentant les finalités assignées a un dispositif nouveau de formation des personnels ; - de données importantes concernant I'environnement de I'opération (premiers bilans de Ia réforme des collèges, état des moyens nouveaux, disponibilité de nouvelles techniques, diffusion des approches didactiques centrées sur I'individualisation des apprentissages) ; - d'un corpus d'informations (grâce aux questionnaires, aux entretiens et aux livres blancs d'établissements) concernant les attitudes des intéressés devant Ia formation. Mais comme le montre une analyse élaborée par I'un des chercheurs (Butel, 1983), le lien n'était pas fait alors entre ces différentes données au sein de ce qui serait appelé aujourd'hui ici un référentiel spécifique : seu1 était prégnant le référentiel institutionnel.

66

1.2

RETROVVER UN RÉFÉRENTIEL PAR CANALYSE DES SITUAIIONS ÉDUCAIIVES

Contexte économique et formation de formateurs

Thème de I'étude : nouvelles technologies et formation de formateurs a I'analyse des besoins M

En pleine crise économique et au moment ou les entreprises européennes étaient en train d'opérer massivement leurs mutations technologiques, Ia formation est apparue comme I'enjeu d'une évolution réussie des nouvelles qualifications requises. Le problème était alors de repérer le lieu et Ia nature des besoins inducteurs de formation aux nouvelles technologies, et de diffuser au mieux et au plus vite des propositions de contenus, de méthodes et de dispositifs aptes a y répondre. C'est dans ce contexte et en réponse a un appel d'offres conjoint des Ministères de Ia Formation Professionnelle et de I'Education Nationale qui a été menée, dans le cadre d'une équipe de recherche pluridisciplinaire européenne, I'étude dont i1 est question ici (Figari, Vigezzi, et a1.,1986). Le contexte large :un cadre Bconomique européen, des évolutions techniques et des problèmes humains

Le corpus de données était double : il comprenait d'une part des informations existantes, en nombre important, de type macroéconomique, décrivant les caractéristiques des entreprises engagées dans des mutations technologiques (introduction de nouvelles machines) et d'autre part des données qualitatives (dysfonctionnements) et descriptives obtenues au cours de I'investigation a travers des observations d'ateliers. Trois catégories de données étaient donc à traiter dans trois contextes différents, très proches des trois champs d'analyse proposés par Lesne (1984), pour appréhender les actions de formation : l'économie européenne en crise et les évolutions techniques (= le champ de Ia vie quotidienne professionneUe et sociale ))), Ia place de Ia formation dans le traitement des problèmes en cause (= le champ des formes institutionnelles de Ia formation le dispositif de formation proprement dit (= le champ de Ia pédagogie ))). ((

))),

((

((

Le contexte délimité :contraintes, représentation des processus, modèles de Ibrmation Face a un contexte aussi vaste, Ia détermination d'un contexte limité et donc utílisable s'imposait : mais Ia réduction devait être telle qu'elle a déja constitué en elle-même une hypothèse. Ainsi, pour répondre a Ia question a qu'estce qu'analyser des besoins de formation face a I'introduction des nouvelles technologies ? il a été choisi d'étudier pour chacune des trois catégories de données définissant le contexte un groupe de phénomènes jugé représentatif : )),

sur le plan économique et technique, il a été choisi d'étudier les contraintes pesant sur les postes de travail et qui ont été repérées sous Ia forme de deux « dominations : - « la domination par I'amont provenant des fournisseurs d'équipements utilisés et se manifestant par deux sortes de contraintes : les contraintes-machines liées a chaque équipement et les contraintes-unités de production liées au fonctionnement d'ensembles complexes (Figari, Vigezzi, 1986), Ia domination par I'aval))provenant de I'ensemble des concurrents du producteur et qui demandait une flexibilité maximale d'utilisation des équipements en fonction des logiques imposées par Ia branche ou par le marché, sur le plan du comportement des acteurs, a été privilégiée I'étude des représentations que les individus concernés se font des nouvelles techniques (représentations abstraites des processus, mise en correspondance de savoirs et de savoir-faire individuels au sein d'un collectif) ; sur le plan de Ia formation, ont été recherchés essentiellement les modèles de formation auxquels les formateurs sont confrontés (accent mis sur I'acquisition de savoirs limités et spécifiques aux nouvelles tâches requises, et recours a des formules faisant appel au management, a I'expertise, a I'auto-formation, etc.) et entre lesquels ils hésitent face aux incertitudes dégagées des deux plans précédents. ))

))

((

((

((

((

))

La référentialisation :un système de finalitds

Etant donnée l'étendue du champ concerné (mutations économiques et techniques, politiques de formation a I'échelle européenne), cette étude a nécessité, en préalable, I'élaboration d'un exposé des motifs désignant les niveaux de traitement choisis. L'opération a consisté essentiellement a rassembler les finalités en présence (adaptation aux nouvelles techniques de production comme Ia robotique, définition d'une nouvelle culture technique, définition de nouvelles tâches, conception de formations adaptées). C'est ainsi qu'il a été posé que ces nouvelles technologies sont des modèles possibles qui s'offrent aux choix des entreprises : modèles nouveaux s'opposant aux anciennes formes d'organisation du travail, modèles contradictoires s'opposant les uns aux autres par le type d'organisation productive qu'ils génèrent, par les besoins de formation auxquels ils font référence (id.). La démarche de référentialisation a donc consisté a traiter les données relatives aux trois dimensions économique, technique et humaine de ces finalités, en leur affectant une hypothèse de traitement grâce a un modèle idéal de dispositif de formation. ((

))

68

RETFiOWER UN RÉFÉRENI~ELPAR CANALYSE DES SííUAfK)NS $DuCATNES

1.3 Contexte professionnel et demande de formation Thème de I'étude :recherche d'un cadre d'analyse de Ia demande de formation a I'expression et a Ia communication

Selon quelles références et a w c quels contenus peut-on construire un currid u m de formation d'adultes a I'expression et a Ia communication, dans un contexte professionnel ? Pour répondre a cette question, une équipe universitaire a tenté de décypter Ia demande de formation dans ce domaine (Figan, Bautier, 1980). Le contexte large :contenus d'une formation aux techniques d'expression et conditions d'utilisation en milieu professionnel et social

Cette étude, de par son champ d'application possible en matière de curnculum de formation dans une discipline générale (= I'expression française), avait a prendre en compte deux séries de données de contexte : - Les caractéristiques théoriques e t pratiques de Ia matière en question : en ce qui concerne Ia théorie, étaient a prendre en compte les éléments linguistiques et socio-linguistiques fournissant les notions et les fonctions qui sont en cause dans les définitions théoriques de I'expression et de Ia communication. On disposait en l'occurrence des apports de Ia linguistique structurale (caractère social de Ia langue, notion de trait pertinent, etc.), de Ia linguistique générative qui a introduit les notions d'((intentionnalité du langage ainsi que des différentes théories de I'information. L'état de ces connaissances pouvait fournir un modèle d e la compétence ou Ia description d'un code ; - mais comme tous les domaines de I'activité humaine, les techniques d'expression relèvent aussi du comportement et I'on sait que connaissance et comportement ne sont pas inéluctablement déductibles I'un de l'autre. II était nécessaire, par conséquent, de disposer également des éléments nécessaires a un modèle d e Ia performance dans les situations réelles de communication. - le contexte professionnel Si le premier type de données constitue un ensemble organisé et relativement stable et universel, le second concerne au contraire un corpus non fixé a Ia fois contingent et variable a I'infini. En particulier, on dispose de données détaillées sur des situations de travail, des activités sociales, des caractéristiques sociologiques et psychologiques d'un public ainsi que des demandes formulées. L'observation de nombreux cycles de formation d'adultes a I'expression et a Ia communication, que nous avions pu réaliser a I'Université de Grenoble 111 (Figari, 1977), avait permis de mettre en valeur Ia complexité des situations inductrices de formation dans ce domaine (comme par exemple les blocages, les incompréhensions, les pressions du groupe, les problèmes d'exercice du pouvoir, les nécessités de prestations écrites ou orales.. .). ))

Le contexte délimité :lecture des demandes formulées au moyen de catégories définissant les situations professionnelles et sociales de communication

Les données choisies ont été celles qui pouvaient être reliées au postulat suivant : les milieux professionnels familiaux et sociaux sont générateurs de problèmes et de représentations spécifiques a Ia matière dont il s'agit ici d'organiser l'enseignement. Le recuei1 des représentations des difficultés d'expression classées selon I'ordre linguistique, cognitif et psychosociologique d'une part, et celui des renseignements objectifs sur le public potentiel de Ia formation d'autre part, ont donc constitué le corpus de l'étude. La référentialisation :recours un systhme d'explication des a besoins langagiers JJ

Avec tous les doutes, toutes les méfiances et toutes les précautions que Ia notion de besoin engage, ce n'est qu'autour d'un principe d'explication des besoins langagiers que Ia recherche pouvait se construire. Ce principe se référait a Ia fois : - a I'activité langagière non liée à son contexte, traitant essentiellement les problèmes que rencontrent les individus ayant conscience de ne pas être en conformité avec la norme (en orthographe par exemple), et qui constituent très souvent les motivations des recyclages, - a Ia réalité extra-linguistique qui enveloppe l'expression, définissant les situations de communication dans lesquelles se posent les problèmes de langage. Cette détermination d'éléments de références précisément définis dans leur double dimension, générale (connaissance des normes du langage) et contingente (référence a des situations précises et limitées de communication), devait permettre d'éviter une stratégie d'analyse qui s'enferme dans la recherche de singularités cliniques individuelles ou dans le constat de régularités collectives descriptivement reproductibles (Morin, 1976). Référentialiser, ici, revient a instrumenter une procédure d'ingénierie centrée sur I'élucidation d'un référentiel professionnel et socio-linguistique de Ia demande de formation, sur Ia base du système de valeurs du groupe auquel il s'adresse en cohérence avec les finalités sociales que ce groupe se fixe. ((

))

2 Les problèrnes de relations de Ia forrnation avec son contexte Situation, problème, demande, commande, besoins : autant de notions utilisées a propos de Ia conception des dispositifs de formation, et marquées du sceau de l'ambigulté et de Ia confusion. Et pourtant on voit mal comment un processus de formation pourrait être expliqué et conduit isolément par rapport a I'environnement que ces notions tendent a représenter.

RmKwwft UN R É F É ~ E PAR L CANALYSE DES SITUATIONS ÉDUCATIVES

70

L'analyse, Ia critique et Ia mise en oeuvre des pratiques auxquelles ces notions peuvent donner lieu ont fait I'objet de nombreux travaux portant sur : - les caractéristiques artificielles du pseudo-concept de besoin en matière de consommation (Baudrillard, 1972), - une typologie de type sociologique des pratiques d'analyse des besoins (Barbier et Lesne, 1977), - une définition du besoin comme problématisation » d'une situation (Charlot, 1976), - les dangers d'une procédure magique d'ajustement de I'offre à Ia demande (Marquart, 1976), - des propositions d'élargissement de Ia notion à I'ensemble des déterminations et des caractéristiques contextuelles d'un projet de formation (Figari, Bautier, 1980 ; Figari, Vigezzi et al.,1986). Mais les pressions économiques, sociales et politiques exercées de plus en plus sur Ia formation reposent le problème avec plus d'acuité en matière d'ingénierie et d'évaluation éducatives, dans Ia mesure où les actions, les curricula, les projets » ont maintenant a faire Ia preuve de leur utilité sociale, technique et économique. En fait, on se trouve toujours devant Ia nécesçité de traiter et d'interpréter des données caractérisant un contexte et ses contraintes, en liaison avec un dispositif, un curriculum ou une formation. Ces données concernent généralement : - une population interne (les acteurs d'une formation) ou externe (les partenaires), - un environnement interne (en termes de moyens) ou externe (en termes économiques), - des tâches comportant des contenus, des processus et des finalités. ((

((

<<

Subtexte plutôt que contexte

En matière d'évaluation diagnostique ou « de contexte (Stufflebeam, 1980 ; Gillet, 1989), on utilise un système d'entrées, situationnel et informationnel, permettant de traiter des informations selon des finalités explicites. On dresse alors Ia liste des éléments du contexte par rapport auxquels seront examinés les problèmes faisant I'objet de l'opération : ce faisant, on choisit, on élimine, on reconstruit un contexte finalisé qui n'est par conséquent plus le contexte lui-même dans sa globalité, mais aussi dans son illisibilité. C'est pourquoi, pour éviter toute confusion, il a semblé préférable de nommer ce contexte reconstitué et finalisé le subtexte (c'est-a-dire Ia partie du contexte qui a été désignée pour servir de support a I'objet traité, à I'exclusion des autres supports jugés non déterminants). Dans les deux études évoquées, le subtexte se trouvait dégagé dans ce qui a été appelé le contexte délimité : - pour la première étude, le subtexte conservait les informations autour de trois catégories qui, par hypothèse, ont semblé caractériser Ia situa))

((

))

I

Anahe de Ia situation-contexte:infonation et référentiel

tion (les dominations amont et aval ; les représentations des acteurs ; les modèles de formation disponibles) - pour Ia seconde étude, le subtexte était constitué par les informations décrivant les situations professionnelles et sociales de communication, situations censées expliquer les demandes de formation.

Fonder b cholx de I'infomation Evaluer, c'est traiter de I'information. Or, le reproche le plus fréquent adressé aux évaluateurs porte justement sur le fait qu'ils sont amenés a choisir de manière arbitraire parmi les informations en nombre quasiment infini dont ils disposent (description détaillée de I'environnement, du système, des populations d'élèves ou de salariés, de maitres ou de formateurs, de partenaires ou de parents, des moyens, des méthodes, des comportements, des phénomènes, des productions, etc.). Dans I'optique de I'évaluation des dispositifs il s'agit essentiellement d'informations de contexte ; d'autres parleraient de besoins *. Toujours estil qu'on attendra ici d'un éventuel référentiel >> qu'il permette de fonder Ia désignation des informations qui feront I'objet d'une mesure et d'une évaluation.

ANALYSE DU PROJET ÉDUCATIF : PROJET ET RÉFÉRENTIEL

La dewième dimension du dispositif éducatif que I'on est souvent amené à étudier est constituée par I'organisation des activités d'apprentissage : dimension dynamique du dispositif, elle prend alors Ia forme d'un prograrnme » ou d'un projet ». On ne traitera pas ici Ia prernière catégorie qui relève de I'évaluation très spécifique des programmes et des cunicula, mais Ia seconde, celle de projet. ((

((

Le projet interrogé La conception de I'action de forrnation cornrne celle de I'action sociale porte de plus en plus, dans Ia société rnoderne, le nom de projet : ce terrne désigne des pratiques éducatives les plus diverses, depuis toutes les formes d'anticipation et les tentatives de rnatérialisation de I'intention individuelle d'une part, jusqu'a Ia programrnationdes cumcula, a Ia construction collective et a Ia contractualisation institutionnelle, d'autre part. On ne reprendra pas ici les différentes conceptions possibles de cette notion : J.P. Boutinet (1990) en a élaboré Ia sornrne et Ia synthèse a

74

RETF70UMR UN RÉFÉREMIEL PAA CANALYSE DES SíiUATlONS ÉDUCATMS

travers ce qu'il a appelé une anthropologie du projet . Mais, dans Ia mesure ou, comme le dénonce Boutinet dans les typologies qu'il propose, le projet éducatif ou pédagogique relève souvent du flou, de Ia confusion verbale, bref d'une véritable (c dérive sémantique ., il parait d'autant plus utile de tenter de confronter des exemples de dispositifs de projets aux exigences de Ia référentialisation. Car le postulat est formulé que le projet éducatif n'a de Iégitimité, comme concept, comme ensemble de procédures d'anticipation et de choix, que s'il est référé » a un système a Ia fois explicatif et téléologique qui en justifie I'utilisation en termes de modèle de conception de Ia formation. D'une manière plus large, avant de condamner le projet pour cause de polysémie, il convient d'en observer les phénomènes et les effets dans des situations ou il peut illustrer ce que Crozier et Friedberg (1977) nomment le a construit d'action collective comme processus de médiation autonome ,, entre Ia structure objective d'un problème et sa solution dans I'action collective . Pour exploiter davantage la pensée de ces auteurs, on pourrait se demander si le projet ne proviendrait pas d'. un ensemble humain structuré qui coordonne les actions de ses participants par des mécanismes de jeux relativement stables et qui maintient sa structure, c'est-a-dire Ia stabilité de ses jeux et les rapports entre ceux-ci, par des mécanismes de régulation... Le projet ne serait-il pas enfin une forme de u processus de changement.. . qui met en jeu Ia capacité de groupes diíférents engagés dans un système complexe a coopérer... dans Ia même action.. . ,)(Crozier et Friedberg, ((

((

.

.

)),

)).

Ces interrogations se retrouvent dans Ia procédure de référentialisation. Pour étudier les phénomènes qui en relèvent, on s'appuiera ici sur des études (5 1) réalisées a propos de deux dispositifs de projets observables, cette fois, dans le système scolaire : les Projets d'Action Educative et les Projets dlEtablissements.

I

Ces exemples donneront lieu à une interrogation sur I'existence d'un traitement spécifique des problèmes éducatifs par le << projet ., permettront de dresser Ia carte des concepts mobilisés par cette notion et élargiront Ia problématique de I'évaluation des dispositifs de << projets P

1

Analyse du projet éducatif :projet et référentiel

75

1 Des dispositifs appelés tt projets 1.1

)>

Les Projets d'Action Educative » : un dispositif d'incitation au projet pédagogique ((

Un dispositif ambitieux

Instaurés en France au début des années 80, avec Ia volonté de lutter contre les inégalités sociales et culturelles, les Projets dlActions Educatives (PAE) ont visé dès I'origine a regrouper des activités relevant de I'autonomie de I'établissement autour d'une idée directrice assurant son unité, qu'il s'agisse d'une démarche pédagogique, d'un thème d'étude, d'un type d'activité ou d'une réalisation a entreprendre en commun C'est ainsi qu'on trouve, parmi d'infinies possibilités, des thèmes ou contenus comme : le développement de Ia lecture en sixième abordé a travers un dispositif interdisciplinaire, I'apprentissage de I'observation a propos d'expériences concrètes, Ia découverte du théâtre en situation de spectateur, d'acteur ou de metteur en scène... Conçus a partir d'initiatives individuelles ou collectives nées sous le signe du volontariat, ils ont été réalisés par les professeurs et les membres de Ia communauté scolaire concernés.. . (MEN, 1979). Trois objectifs essentiels leur étaient fixés : « 1.développer des actions prenant en compte I'ensemble des besoins éducatifs des élèves ... 2. adapter I'enseignement a Ia diversité des références des élèves.. . 3. rendre I'école accueillante.. . en diversifiant les activités qui s'y rattachent.. . (MEN, 1981). ((

)).

))

))

Un dispositif important

Chaque année, durant Ia décennie 80/90, on a compté environ dix mille PAE qui ont concerné en moyenne plus de deux millions d'élèves et plus de cent mille enseignants. Par leur quantité, leur présence dans Ia quasi totalité des établissements scolaires (à raison de deux projets en moyenne par établissement), I'implication des partenaires extérieurs à I'école (comme les parents, les collectivités locales, les organismes scientifiques et culturels et les entreprises) qu'ils ont suscitées et I'information dont ils ont été l'objet dans les media, les PAE ont constitué un phénomène éducatif et social qui méritait d'être étudié en tant que tel. ((

))

Une étude des effets sur /e système éducatif

O n pourra tirer parti des travaux d'évaluation des effets des PAE réalisés a I'intention du Ministère de I'Education Nationale (Figari, Bollon, Delorme, 1986)pour examiner comment ce dispositif, multi-référable dans ses définitions, et par conséquent ouvert a des utilisations diverses, y compris aux dérives, a pu constituer un exemple particulièrement riche de référentialisation ((

))

76

RETROUVER LIN RÉFÉREN-IIEL

PAR CANALYSE DES SITUATIONS ÉDUCATIVES

du projet. I1 est brièvement évoqué ici a trois niveaw : a. les modalités d'observation ; b. le support de référentialisation ; c. le projet référé. Les rnodalités d'observation

Dans le cadre de ces travam, un dispositif d'évaluation externe et interne a été mis en place (Bollon, Delorme, Figari, 1986) afin d'obtenir a Ia fois des données statistiques nationales, dévoilant d'éventuels effets généraux de retombées sur le système d'enseignement, et un cadre d'évaluation propre à chaque structure utilisatrice du dispositif (établissement scolaire, classe. ..).

-

Les obsenmtions extemes Elles ont pris la forme de prélèvement de données statistiques et d'enquêtes systématiques (N. Berthier, 1986). 11 a été procédé tout d'abord d'une manière classique à une collecte de données de contexte (cf. les distinctions dont ce mot fait l'objet dans cet ouvrage) sur I'évolution du nombre des PAE, leur implantation, etc. A partir d'un échantillon représentatif national, il a ensuite été organisé un questionnement des chefs d'établissements et des enseignants sur divers aspects de I'enseignement, des comportements des élèves et de leurs performances. Les résultats obtenus ont ensuite été corrélés avec le t a w d'imprégnation des PAE, ce qui a permis d'avancer quelques hypothèses sur le role possible de ces derniers dans le renforcement de Ia motivation scolaire, dans I'apprentissage des techniques d'expression et des méthodes de travail, dans I'amélioration des relations sociales entre les partenaires éducatifs ; de même qu'il a pu être dégagé une relative indifférence par rapport a w PAE, voire une gêne, dans les lycées, par opposition a w établissements d'enseignement professionnel ou ce type d'activités semblait majoritairement souhaité et utile. Mais on aurait pu obtenir ainsi des informations de toutes sortes aussi intéressantes les unes que les autres : on n'aurait pas pu, en revanche, en déduire une meilleure description du phénomène PAE en tant que te1 et de ses éléments constitutifs. Ces informations n'allaient pouvoir prendre sens que lorsqu'elles pourraient être replacées a l'endroit précis d'un cadre descriptif de nature hypothétique où les critères de réalisation des PAE devaient préalablement avoir été posés. Les obsewations internes Elles ont pris Ia forme de d e w modalités distinctes : - l'étude de rapports régionaux fournissant des informations en termes de fonctionnement, d'inventaires et de mode de participation des acteurs. Ces documents comportaient Ia caractéristique d'être réalisés à l'intérieur des établissements ou des académies et de représenter des études de cas, des témoignages, des illustrations de situations ou de problèmes par ailleurs mis en évidence par des investigations a grande échelle.

77

Analyse du projet éducatif :projet et référentiel

-

Ia pratique, par les acteurs directs, de I'évaluation des processus et des produits engendrés par les PAE, pratique qui a donné lieu a une campagne de formation aux méthodologies d'accompagnement et de mesure des effets des activités éducatives de ce type.

Li aussi, la question se posait de savoir en fonction de quelle conception des PAE (en termes d'acquisitions, de renforcement d'apprentissages, d'évolution de comportements face a I'école, la classe ou l'enseignement) allait être menée I'évaluation. Le recours a un cadre de références

La cohérence entre ces deux niveaux a été recherchée par I'intermédiaire de I'élaboration d'un cadre de références reproduisant les caractéristiques du système PAE. Ce cadre a servi de référence en effet a Ia fois pour I'établissement du questionnement systématique et pour Ia construction d'instruments d'évaluation-régulation des processus de PAE eux-mêmes. - Le support d e référentialisation La référentialisation, c'est-a-dire la recherche des références spécifiquement choisies dans le but de constituer un modèle pour la description mais aussi, comme c'est le cas ici, pour I'action, est d'autant plus complexe a élaborer qu'elle répond a une situation aux entrées contradictoires. I1 fallait en effet construire un support qui intègre deux dimensions opposées : une mesure globale des effets d'un dispositif et par conséquent de sa pertinence (= Ia pédagogie mettant en avant le projet existait-elle de manière spécifique et produisait-elle des résultats appréciables ?) - une production ainsi qu'une utilisation de I'information sur ce dispositif par les acteurs eux-mêmes.

- La conception C'est dans cette situation que, préalablement a la recherche d'informations, a donc été élaboré un cadre de références pour Ia conception et I'évaluation des projets d'actions éducatives. I1 s'agissait de repérer : - les conditions requises par I'institution pour qu'une activité pédagogique soit conforme à I'appellation PAE en tant que dispositif finalisé et contractualisé et bénéficie de son statut, les représentations et les conceptions que pouvaient noumr les principaux intéressés (enseignants, élèves, autres partenaires). La méthode employée a alors été celle d'une élaboration collective par des groupes représentatifs des concepteurs de projets qu'étaient les professeurs PAE de tous les départements français. Au terme de cette élaboration, on pouvait disposer d'un cadre de références répondant a cinq principes. ((

))

78

RETROUVER UN RÉFÉRENTIELPAR CANALYSE DES SITUATIONS ÉDUCAIIVES

- Les principes 1. Le premier principe consistait à faire appel à un cadre théorique fixant les catégories jugées constitutives du système PAE. 2. le second principe visait a l'incontestabilité de I'outil d'évaluation a Ia fois par les décideurs (I'institution désireuse de connaitre les effets globaux et Ia pertinence du dispositif incitateur de projets) et les acteurs (en particulier les enseignants) ; 3. le troisième principe voulait I'harmonisation entre les différents acteurs de Ia conception et de I'évaluation, entre fonctions externes et fonctions internes, entre prescription et description, etc. ; 4. le quatrième principe devait permettre Ia comparaison et Ia confrontation des informations obtenues par les voies externes et internes ; 5. le cinquième principe demandait Ia possibilité pour chaque partenaire (de I'institution a I'élève) de se situer dans l'ensemble du dispositif des PAE.

-

L a formulation Le document de référence issu de cette élaboration comportait quatre rubriques intéressant Ia référentialisation : 1. les catégories constitutives des activités de projet : les réalisateurs (élèves, enseignants, autres partenaires), I'entourage (intra- et extra-scolaire), I'établissement (son organisation et ses pratiques pédagogiques), le système éducatif (avec ses structures internes a I'école, mais aussi externes : sociales, économiques, culturelles), 2. les éléments caractéristiques des activités en question (processus et effets) qui sont spécifiques de chaque catégorie précédente, 3. les critères d'évaluation qui sont en même temps des critères de réalisation » (Bonniol, Genthon, 1989), 4. les indicateurs qui en découlent et qui vont servir a I'instrumentation. On dispose avec les d e u débuts de tableaux suivants d'un aperçu simplifié du fonctionnement de Ia procédure de référentialisation ainsi engagée : ((

catégories constitutives

éléments caractéristiques

critères intérêt pour les activites scolaires

indicateurs temps absentéisme

79

Analyse du projet éducatif :projet et réfbrentiel

Et, pour détailler les d e u premières colonnes de la catégorie « réalisateurs », on pourra se reporter au tableau suivant :

- rnotivation - acquisition et structuration des savoirs

- maitrise des langages - réduction des carences culturelles appropriation de I'espace et de Ia réalité scolaires - socialisation - prise en compte des initiatives -

-

-

Les réalisateurs

-

-

attitude vis-a-vis des élèves relations avec les autres enseignants démarches pédagogiques modes de formation personnelle prise en cornpte des initiatives comportement a I'égard de I'environnement

intra-scolaires : - reconnaissance des rales dans I'établissement extra-scolaires : - connaissance de I'école - implication dans I'école - apport a l'école

Les apports d'une étude

On retiendra de l'étude des effets des PAE sur le système éducatif (Bollon, Delorme, Figari, 1986)d e u types d'apports a Ia réflexion engagée : en termes de contenus (un schéma de projet » éducatif) et en termes de méthode (I'élaboration d'un cadre de référence). ((

- En temes de contenus : le PAE, ou le schéma historique d'un avatar du projet éducatif. I1 ne va pas être procédé au commentaire des résultats obtenus sur te1 ou te1 point : ils ont en leur temps été analysés et exploités. En revanche, puisqu'il s'agit de progresser vers un modèle d'analyse de Ia fonction de conception des dispositifs éducatifs, on peut retenir de cette étude que le PAE illustre un

80

RETROUVER UN RÉFÉRENTIEL PAR CANALYSE DES SITUATIONS ÉDUCATIVES

schéma de dispositif appelé « projet », a Ia fois volontariste et centré sur le rapport a l'élève : volontariste, car il fonctionne par objectifs, i1 incite à I'emploi des méthodes actives et i1 favorise le projet collectif e n privilégiant le travail en équipe d'adultes et le recours au partenariat. Le projet désigne alors et surtout Ia conception par un groupe d'adultes d'un ensemble d'activités censées traiter, au moyen d'un dispositif spécifique, Ia réponse a ce qui a pu être diagnostiqué comme un problème ou un besoin » posé par les élèves, centré sur le rapport à I'élève, sur le modèle de ((Ia formation en seconde personne décrite par Not (1989). Cet auteur, après Lerbet (1980) fait e n effet Ia différence entre : une formation en 3" personne a dans laquelle prévaut l'enseignement (dans ce cas, Ia pensée magistrale atteint I'élève comme un objet) une formation e n a 1'" personne )),dans laquelle prévaut I'expérience (dans ce cas, I'élève est sujet, et le maitre peut devenir inutile) . u n e formation e n 2' p e r s o n n e (dans laquelle s e réalise contractuellement le partage des initiatives). ((

))

))

((

((

))

Certes, Ia notion de projet dans les PAE demeure fortement polysémique, révélant a Ia fois les malentendus dont elle fait I'objet et Ia variété de ses éventuelles applications ainsi que de ses rapports avec Ia conduite des curricula. En effet, i1 ne fait aucun doute que le projet d'établissement dont il sera question plus loin, constitue un dispositif qui réutilisera, a une plus grande échelle, le modèle suggéré par le PAE (qui consiste a proposer a une communauté de se mobiliser, a partir d'une analyse diagnostique de la situation, sur un projet éducatif promis a une évaluation interne et externe). C'est en quoi les PAE ont rempli une fonction historique d'expérimentation d'un dispositif qui, après d'autres, a contribué a l'évolution des modes de conception de Ia formation. ((

((

))

))

- En termes d e méthode : I'élaboration d'un cadre de références Le document de références de I'étude a rempli quatre fonctions essentielles

:

1 . un principe unificateur En fait, les six principes énoncés plus haut qui ont prévalu à sa conception participent d'un principe plus général qui opère une liaison entre I'abstrait (= un modèle descriptif qui reproduit, en la simplifiant mais aussi en Ia limitant par I'énoncé de caractéristiques privilégiées, Ia réalité à étudier) et /e concret (= une pratique de Ia conception et de l'évaluation d'un PAE) ;

2. un cadre-matrice pour le traitement de I'information Le document de références a en effet fourni la structure d'une matrice de recuei1 et de traitement des informations. 11 en a constitué le cadre

Analyse du projet éducatif :projet et référentiel

-

81

-

(en délimitant les sujets, les lieux et les institutions) et les dimensions ou domaines d'investigation (en opérant les choix de questionnement a travers ses différentes catégories et en fixant au préalable les critères de réalisation et d'évaluation) ; Ia possibilité d'une multiplicité d'utilisateurs Un instrument transparent, construit par opérations successives, a partir de données recueillies et restituées aux représentants des différents partenaires de I'opération, devait présenter l'avantage de pouvoir ensuite être reconnu et utilisé par chacun d'entre eux : - par les observateurs, auxquels il a servi de plan d'investigation pour caractériser les spécificités de Ia pédagogie invoquant le (1 projet et de mesurer les effets du dispositif, en particulier en termes de modification des représentations des enseignants, par I'institution, qui a pu ainsi accéder aux résultats globaw obtenus sur les mêmes items, par les acteurs (= les enseignants puis par voie de conséquence les élèves), auxquels il a permis de développer des méthodologies d'élaboration d e dispositifs internes d'accompagnement de projets et ce qui n'est pas le moindre - de comprendre les résultats et les jugements globaux diffusés a cette occasion ; ))

4. Ia référentialisation d'un dispositif de projet On a disposé enfin a cette occasion de ce qui aurait pu être appelé un référentiel de projet c'est-a-dire d'un instrument qui rassemble les éléments descriptifs e t prescriptifs (De Ketele, 1986)du système que I'on . veut a Ia fois étudier et piloter. Mais on en retiendra davantage Ia procédure que le résultat, Ia référentialisation du projet plutôt que son référentiel. ))

Les PAE :du référentiel prescrit au référentiel reconstruit

Le dispositif des PAE a fonctionné depuis sa création en fonction d'un référentiel (1 prescrit 1) : les modalités de leur fonctionnement pédagogique, depuis « I'analyse des besoins des élèves et des problèmes inhérents a une situation jusqu'a I'évaluation ont fait I'objet d'une contractualisation. Néanmoins, l'opération d'évaluation nationale, provoquée pour vérifier l'efficacité d'un système, a entrainé Ia reformulation de ce référentiel : l'étude menée à cette occasion a en effet amené les décideurs et les responsables a redéfinir les caractéristiques de Ia notion de projet qui était utilisée ainsi que les enjeux non seulement institutionnels, mais aussi locaux et individuels du dispositif. La démarche de référentialisation ainsi déclenchée a pu paradoxalement permettre de contester I'isolement de ce type d'activités et d'en favoriser I'insertion dans un ensemble plus vaste qui en absorberait les références : le projet d'établissement. ))

((

)),

RETROWER UN RÉF~REN~ELPAR CANALYSE DES SITUATK%lS ~DUCATNES

82

1.2

Les Projets d'Etablissements scolaires

Les Projets d'Etablissements scolaires : un dispositif de transfert aux mésostnictures de la responsabilité éducative Le projet d'établissement scolaire institutionnalisé en France à Ia fin des années 80, est encore peu étudié bien qu'il offre des potentialités de modifications importantes du fonctionnement du système éducatif. Les phénomènes qui le caractérisent sont récents, les données limitées. C'est pourquoi, a partir des études précédentes sur les activités de projet il a pani intéressant de poursuivre I'investigation sur I'utilisation de ce même concept au niveau de I'établissement scolaire, en répondant a une sollicitation de Ia Direction des Lycées et Collèges, désireuse de connaitre les premières manifestations du fonctionnement de ce dispositif, et de proposer aux responsables et aux pédagogues un instrument de réflexion face aux problèmes posés par Ia conduite et I'évaluation de ces projets (GRAIF,1990). En fait, i1 s'agit cette fois de chercher a savoir si le transfert des responsabilités éducatives a I'établissement procède de I'artefact institutionnel, voué au traitement bureaucratique, ou des processus de changement qu'il est censé précéder ou accompagner. ((

)),

)),

Des définitions encore incertaines

Selon que I'on interroge le discours des décideurs, des observateurs ou des acteurs, on obtient au moins trois types de définitions du projet d'établissement. O

Le Projet d'établissement institué

I1 s'agit des définitions issues des textes officiels instituant le projet d'établissement Elles contiennent essentiellement : - des finalités, avec, a I'horizon, 8 0 % d'une classe d'âge au niveau du baccalauréat, concernant les conséquences a tirer de Ia volonté de placer I'élève au centre du système éducatif et de rapprocher de lui les lieux d'initiative ; - des fonctions, comme celles d'adaptation aux besoins économiques et sociaux, d'incitation a Ia réflexion collective des partenaires sur Ia situation et les possibilités de I'école ; - des modes d'organisation, comme l'indication des étapes a envisager : le diagnostic, Ia définition des axes du projet, I'élaboration.. .du programme, l'évaluation » (circulaire no 90) ; - des modalités administratives, indiquant les procédures de présentation du projet. On ne trouve pas dans ces textes de définitions de Ia nature même du processus mis en place. Cela peut expliquer en partie les interrogations ou les malentendus sur les rôles de ce dispositif, qui demeurent nombreux malgré Ia relative abondance des textes officiels. Mais cette absence de définition ((

)).

Analyse du projet éducatif :projet et référentiel

83

peut s'interpréter autrement : les partenaires pourraient ainsi y placer les contenus de leur choix, en utilisant de manière positive l'espace de liberté dont ils disposent, les modalités contractuelles ne constituant que des garde-fous. O

Le Projet d'établissement obsenlé

Les matériaux disponibles comportent encore peu de documents rédigés par des c( observateurs extérieurs : i1 s'agit Ia d'une lacune a combler. Notons a ce sujet l'utilité de témoignages comme ceux rapportés par I'INRP (1989). Quant aux projets présentés par leurs auteurs et qui ont fait I'objet de I'étude qui vient d'être évoquée (GRAIF, 1990),ils laissent apparaitre des définitions impliquées qui comportent I'intérêt de rassembler de manière systématique les premières caractéristiques attribuées par les acteurs au projet d'établissement. L'observation qui en a été faite est donc indirecte ; comme toutes les observations, elle dépend en grande partie des grilles de lecture de l'observateur : les caractéristiques dégagées dépendront du modèle utilisé. Mais ce modèle (qui sera explicité plus loin) n'empêche nullement d'entrevoir d'autres lectures possibles : il serait utile, par exemple, d'interroger les phénomènes engendrés sur le terrain par la mise en place des projets d'établissements en termes de processus de changement dirigé (Crozier, Friedberg), d'innovation en provenance de minorités (Doms et Moscovici, 1984), de décisions en groupe (Doise, 1979). ))

O

Le projet d'établissement fi agi

A ce niveau, les définitions sont floues, contradictoires, incertaines. L'étude qui va être évoquée va en donner un aperçu tout a fait provisoire et daté (1990)et appelle d'autres travaux pour en compléter et en actualiser les résultats. Mais I'intérêt, ici, sera surtout d'examiner les problèmes posés a Ia référentialisation par le role des acteurs dans ces projets. Les modalités de I'étude

Deux séries de travaux ont été menées dans le cadre de deux équipes distinctes : - une analyse (résumée ci-après) des traces d'activités de projet » dans les établissements scolaires en France au cours de I'année 1989-90, qui devait permettre de dégager les grandes caractéristiques tendancielles de ces activités, de repérer les modèles implicites aptes a s'intégrer dans un référentiel de projet (GRAIF 1, 1990) ; - Ia recherche d'une méthodologie d'élaboration d'un référentiel d'établissement qui sera commentée dans la troisième partie (Figari, 1991 et GRAIF 2, 1990). ((

RETROUVER UN RÉFÉRENTIELPAR L'ANALYSE DES SITUATIONS - ÉDUCATIVES

84 -

Une analyse des traces d'activités de n projet s dans les établissements scolaires

Cette analyse a porté sur des documents collectés de manière identique dans toutes les académies et décrivant les projets en cours, les méthodes, les premiers bilans, les références et instructions utilisées. Les différents classements d e ces documents ont é t é opérés selon les discriminants suivants : a. prescriptif/descriptif ; b. nature des documents (méthodes, bilans, projets, etc.) ; c. nature des supports organisationnels (PAE, projets dits d'e innovation », projets d'établissements). L'analyse d e contenu a consisté ensuite a dégager les caractéristiques de chacune des classes, I'existence et Ia répartition de descripteurs spécifiques d'une démarche de projet, Ia position repérable des principaux acteurs. Certes d'une part il s'agit de discours sur le projet, et non d'une description statistiquement représentative de ce qui se passe réellement - et souvent discrètement - dans les établissements, dans les classes et au niveau des enseignants et des élèves, en matière de projet. Mais il a été fait I'hypothèse que, « a condition d'être traité en tant que tel, le discours peut révéler des conceptions, des modes de fonctionnement, I'existence d e méthodes, de cadres de pensée ou d'action 1). Ces éléments témoignent, en effet, des premières tendances caractérisant ce qui était donné a voir en matière de projet éducatif ou plus précisément de projet d'établissement au cours de Ia première année de I'institutionnalisation de ce dernier (GRAIF 1,1990). ))

Prise en compte du discours dans I'analyse du projet

On assiste depuis quelques années a une montée en charge d'un discours autour de Ia notion de projet », aussi bien dans le secteur économique (le « projet d'entreprise ») que dans Ia formation professionnelle des adultes (le « projet de formation ))) et que dans le système scolaire (le projet d'établissement ),). I1 s'agit dans Ia plupart des cas de mises en valeur de procédures lourdes visant des modifications de comportements importantes : cela parait une raison suffisante pour s'interroger sur les articulations de ce type de dispositif avec les visées et les contenus qui le justifient, et tout d'abord dans les documents qui les fondent et qui les décrivent. La première étape de l'évaluation d'un dispositif éducatif consiste effectivement, comme on le constatera dans les parties suivantes, à examiner les documents produits par l'organisation qui le pilote. Les discours ainsi recueillis constituent le premier référent disponible. Les thèmes abordés (analyse thématique du signifié) et Ia manière d'en parler (analyse du signifiant du discours) vont apporter des éléments a Ia construction du questionnement de l'évaluation. Dans le domaine des dispositifs de type projet », le discours qui se constitue est abondant et il sera sans doute intéressant d'en observer I'évolution, car il peut être fondateur et mobilisateur dans ses premières formulations mais perdre une partie de son sens en étant réutilisé et devenir alors répétitif, stéréotypé, voire normatif. ))

((

hdyse du projet éducatif :projet et dférentiel

85

En l'occurrence, dans les domaines observés, le d i s c o u r s ~ l o y en é mat2re de projet éducatif suggère déja des conceptions et des définitions très diverses dont i1 est proposé ici une typologie thématique provisoire, a seule fin d'indiquer quelques exemples de cette première collecte d'informations.

-

Discours programmatif :le projet comme planification du dispositif I1 laisse apparaitre une dominante temporelle dans Ia vision du projet : La gestion du temps semble constituer dans les documents descriptifs qui en relèvent une obsession majeure alors que chez les prescripteurs on envisage davantage « un programme d'actions inscrit dans Ia durée (GRAIF 1, 1990) et I'on évoque fréquemment « le moyen et le long terme ». Le terme de programme, comme on vient de le voir, surgit tout naturellement : i1 n'est pas rare, dans ce cas, de trouver en bonne place dans les projets d'établissements des calendriers prévoyant les différentes phases prévues. Dans les PAE (Figari, Bollon, Delorme, 1986),i1 est davantage question de construction de I'action autour d'un contrat d'objectifs entre acteurs. On voit ainsi combien est importante Ia stmcturation de I'action dans les préoccupations des concepteurs de projets éducatifs : qu'elle se fasse par contenus, par périodes temporelles ou par objectifs, Ia planification est présente dans les discours. Mais, dans les dispositifs de projets examinés, elle présente souvent Ia caractéristique d'être argumentée sinon justifiée. ))

))

-

))

-

-

Discours phénoménologique : le projet comme processus C'est celui qui parle du projet comme d'un ensemble de phénomènes individuels et collectifs relevant d'un processus complexe : i1 est extrêrnement rare dans les écrits de terrain alors qu'il figure plus souvent chez les prescripteurs qui parlent d'((ensemble cohérent, ...de dimension évolutive.. . » ; i1 est surtout présent dans les textes relatifs au projet d'établissement. Discours sommatif / non sommatif : le projet comme dispositif pluriel ou collectif Ces qualificatifs désignent simplement Ia façon d'évoquer le projet comme une somme d'autres projets, ou non. On trouve en effet souvent le premier dans les documents descriptifs qui avouent composer leur projet d'établissement en faisant Ia somme des mini-projets désignant ainsi leur dispositif comme une juxtaposition d'actions. Quant au discours non sommatif, i1 est employé dans les textes prescriptifs, avec des remarques comme : (1 un projet d'établissement est un ensemble cohérent, différent d'une jwctaposition de projets parcellaires de même qu'il transparait dans les textes présentant les PAE sous Ia forme de (1 projets reposant sur Ia liberte d'initiative d'une équipe d'enseignants et d'élèves.. . (1

b),

)),

))

86

-

RETROWER UN REFERENTIELPAR CANALYSE DES SITUATIONS ÉDUCATNES

Discours stratégique : le projet comme dispositif de gestion I1 existe en effet une manière d'aborder le projet en termes de management » : on en trouve les traces soit sur le terrain soit dans des documents prescriptifs qui relèvent de Ia formation, soit a I'occasion de PAE centrés sur des situations de partenariat avec des organismes professionnels ».C'est un discours stratégique de gestion, d'organisation, de conduite d'équipes, de relations humaines te1 qu'il a cours dans le monde de I'entreprise. ((

((

-

Discours intermédiaire : le dispositif qui fonctionne « en projet » sans le dire C'est celui qui, pour décrire ce qui est spécifique du projet, a recours à Ia médiation de procédures ou d'activités qui I'accompagnent ou en découlent : on a pu voir, par exemple, les principaux intermédiaires que sont, dans les projets d'établissements, I'équipe, Ia concertation ainsi que certaines pratiques pédagogiques actives ou collectives. On retrouve également ce discours dans le document de références des PAE (Figari, Bollon, Delorme, 1986) sous Ia forme de motivation de relations sociales », d'((initiative Sa fréquence peut s'expliquer par le fait qu'il parait plus facile de mettre en avant des pratiques connues et repérables que de définir des processus caractéristiques du projet » et seulement de lui. La désignation d'activitks intermédiaires pour caractériser le projet, si elle peut illustrer la perception floue que les acteurs ont de ce concept, apporte cependant des éléments a prendre en considération dans un éventuel « référentiel » d'évaluation des dispositifs concernés : des activités existantes, qu'elles soient diverses ou isolées, peuvent se révéler comme constitutives d'un dispositif de projet en cours, non explicitement formulé en tant que tel. ((

))

((

))

((

)).

((

- Discours téléologique : le projet comme vision sociale d'un dispositif éducatif Très fréquent également apparait ce type de discours, de l'ordre de l'avantprojet ou du projet sur le projet. Le plus élaboré d'entre eux demeure le discours institutionnel dont les leitmotive sont : une justification téléologique d'un dispositif par un renforcement de Ia formulation des buts et des objectifs, une adaptation aux besoins issus des évolutions économiques et sociales, le rappel de Ia position de l'élève au centre du système, I'indication d'un équilibre entre un encadrement national et une autonomie locale. Ce sont en effet autant d'éléments communs a Ia loi d'orientation (MEN, 1989) et aux différentes circulaires ou notes de service qui I'ont précédée (textes sur les PAE depuis 1980 plaçant I'élève en situation d'acteur et invitant les partenaires a un contrat éducatif ))) et qui l'ont suivie (circulaire sur le projet d'établissement, MEN, 1990). ((

))

((

-

.f

Ce discours, analysé dans le cadre du GRAIF (1, 1990, pp.16-25) dénote un référentiel normatif proposant une conception de l'organisation du système éducatif. il est relayé cependant par deux autres discours qui en modifient quelque peu le sens, du fait qu'ils comportent des possibilités d'implication et de reformulation locales : le discours des textes de références académiques et le discours associatif. Les textes de références académiques provenant soit des recteurs eux-mêmes, soit des Missions Académiques a Ia Formation des Personnels de I'Education Nationale, comportent Ia caractéristique d'être plus proches du terrain, et en particulier de refléter en grande partie des préoccupations locales, dans Ia mesure où ils ont donné lieu à des travaux préparatoires en concertation avec des partenaires et en liaison directe avec le terrain de I'établissement scolaire. C'est ainsi que certains d'entre eux débouchent même sur un outil de gestion et d'évaluation pouvant servir de support à un référentiel d'établissement (Derbez, Simonpoli,1989-90) ou sur une liste d'indicateurs pour repérer les pratiques existantes (MAFPEN de Toulouse, 1989-90). . Le discours associatif, lorsqu'il existe, fournit une autre dimension à Ia référentialisation du projet : il insiste en général davantage sur les systèmes de valeur en cause et n'hésite pas, puisque telle est sa raison d'être, a indiquer ceux vers lesquels vont ses préférences. Ainsi I'AFAE (1989) a-t-elle tenté de définir lors d'un de ses colloques les finalités et les enjeux de I'évaluation des établissements, en privilégiant I'évaluation multidimensionnelle en cohérence avec I'autonomie et I'existence du projet ». Quant a I'association Education et Devenir, c'est dans I'esprit d'une démocratisation qu'elle situe les finalités de I'établissement et de son projet qui « donne a chaque élève Ia possibilité de se réaliser pleinement ... et lui permet l'avenir qu'il est en droit d'attendre par une formation complète et adaptée (Vergnaud, 1989). ))

((

((

))

))

Que nous apporte ici Ia simple analyse thématique d'un discours ? Elle permet, outre le prédiagnostic générateur d'hypothèses, de poser des questions que I'évaluation devra traiter : role et acteurs de Ia planification, formes prises par les processus en cours, importance relative de l'individuel et du collectif, prégnance du modèle de management et de relations humaines et de Ia norme institutionnelle, etc. D'une manière plus générale, on a pu constater qu'il existe bien un discours fondateur du projet : si I'on additionne sa diversité et ses hésitations, on voit finalement se dessiner un type de conception de l'action éducative présentant des caractéristiques reliées entre elles par une certaine cohérence. Le dispositif qu'il décrit se préoccupe en effet, a partir d'une situation donnée, de programmer une action éducative globale regroupant dans le temps ((

((

))

))

88

RETROWER UN RÉFÉREN~ELPAR L'ANALYSE DES SllUATIONS ÉDUCATNES

et dans I'espace des actions auparavant éparses, de gérer des processus que cette situation est censée favoriser, de susciter les stratégies de ses acteurs, de recommander a cette fin Ia médiation de pratiques psychosociales et pédagogiques adaptées, de proposer une synthèse d e conceptions éducatives autour de finalités comme I'autonomie et I'adaptation, valeurs sociales largement véhiculées dans nos systèmes de formation. Les conclusions

En ce qui concerne les activités de projet pp repérées a travers les documents qui les décrivent ou les prescrivent, on ne retiendra des résultats de I'étude citée que quelques conclusions sommaires : - le projet constitue un espace (Crozier dirait une c marge ))) de liberté encore insuffisamment utilisé ; - le projet s'inscrit dans la durée et constitue un problème de gestion du temps ; - le projet utilise des médiateurs privilégiés qui constituent autant de signaux indiquant sa présence. On trouve parmi ces médiateurs : l'équipe (mot magique constituant un élément permanent de I'image de projet), la concertation, la formation a Ia fois demandée, recommandée et offerte, certaines pratiques pédagogiques comme celles qui sont centrées sur I'action (pédagogies actives ou alternatives), sur la projection (réponse a des besoins, pratiques d'objectifs), sur I'individualisation (pédagogie différenciée, profils personnalisés d'apprentissage, soutien, remédiation). Cette liste peut effectivement entrainer au moins deux interprétations contradictoires : soit le projet est un concept attrape-tout, soit il constitue une synthèse des processus d'anticipation raisonnée de I'action éducative ; - Ia conception du projet est d'autant plus difficilement explicitée qu'elle se rapproche du terrain : elle hésite a prendre ses sources entre le relevé brut d'informations (ces dernières étant prises comme des absolus justifiant I'action), des énoncés de problèmes (en termes de difficultés relevées dans I'environnement ou I'établissement, chez les enseignants ou les élèves), des jugements de valeur ou des finalités, des diagnostics enfin. Tout se passerait donc comme si seule Ia dimension contraignante du dispositif avit été perçue au détriment des processus qu'il était censé déclencher ou favoriser sur le terrain ; - le repérage du role des acteurs laisse apparaitre une disproportion importante entre certains d'entre eux : ainsi, alors que les enseignants apparaissent massivement impliqués, les autres catégories le sont moins. En particulier, I'élève est très souvent curieusement absent de la description du processus de projet, même s'il en est souvent et implicitement le bénéficiaire, c'est-a-dire I'objet plutôt que le sujet. ((

hdyse do W e t Mucatif :prolet et référentiel

09

Agplication d'un schéma explicatif

i f

La présentation de ces éléments d'analyse n'a pas pour but de livrer les rénihats eux-mêmes. Là encore, I'intérêt réside dans I'utilisation de ces données dans la recherche d'un système de références pour analyser le projet (et dans ce cas le projet d'établissement). Dans cet esprit, l'étude aura surt w t donné I'occasion, i travers I'exercice typologique, de lire ler informations relatives au projet d'établissement au moyen de Ia grille évoquée précédemment en l'utilisant comme un schéma explicatif du fonctionnement et des effets d'un dispositif. On a cru pouvoir déceler, en effet, a travers le décrit et le prescrit des pratiques, des caractéristiques regroupables en trois grandes dimensions existant soit de manière dominante et exclusive l'une de l'autre, soit en coexistence dans une même situation : 1. une dimension induite (cf. le sens donné a ce mot, en introduction) avec pour caractéristique le passage direct, comme dans une relation de cause a effet indiscutable, des constats aux intentions d'action. On trouve, dans les documents qui laissent apparaitre cette dimension : - Ia mise en avant des données chiffrées (conditions existantes, suivis de cohortes, taux de redoublement) et d'instructions officielles ; - induits par ces données, des modes de conception empirique avec un souci opératoire du type le projet pédagogique doit s'articuler autour de cinq ou six actions ou objectifs facilement évaluables (GRAIF, 1, 1990, p.80). Cette dimension commune a tous les.processus de projet et qui consiste à situer les décisions dans un contexte, devient parfois dominante et fonctionne comme un modèle donnant lieu a des actions majoritairement volontaires, justifiées par les données et les instructions officielles, produisant une évaluation comparative » (id, p. 80) ; ((

))

((

))

((

2. une dimension construite représentant les projets qui impliquent les ((

))

acteurs dans un jeu collectif ou existe le débat sur les systèmes de valeurs en présence. Cette dimension rend compte des projets développant un mode de conception qui associe un souci opératoire a Ia recherche de références. Au centre du processus, cette construction pose davantage le problème de sa modalité que celui de son existence même. On Ia trouve cependant comme modèle dominant dans des opérations qui comportent Ia coexistence des caractéristiques suivantes : - Ia présence d'un raisonnement de diagnostic tentant de justifier, à partir des données, Ia formulation des problèmes et I'opportunité des décisions, - I'implication des acteurs présentée comme une réalité ou une préoccupation, et parfois, en premier lieu, celle des élèves avec le recours i

9b

REIROWER LIN RÉFÉRENTIEL PAR CANALYSE DES SriUAilONS ÉDUCATIVES

a des situations favorisant leur responsabilisation (éducation des choix, exercice du jugement libre de I'élève.. .), - le souci d'évaluation des processus, sous des formes et des modalités diverses comme des dispositifs permanents de régulation ou le recours systématique a des procédures d'évaluation formative priviIégiant I'explicitation des critères ;

3. une dimension produite dominée par le souci de réalisations, de bi((

))

lans, de projets finis qui tout en relevant d'un mode de conception soucieux de ses références (en particulier situationnelles et institutionnelles), procède d'une logique programmatique » (Ardoino, 1984). Cette dimension qui finit toujours par prendre une forme de documentprojet incontournable, apparait parfois comme le souci premier de ses concepteurs. On observe alors un temps découpé selon les exigences du calendrier scolaire, une évaluation-bilan mettant en valeur les actions entreprises avec le souci de rendre ces dernières « conformes, efficaces, pertinentes, efficientes » (GRAIF, 1 , p. 85). )),

((

((

((

)),

Le modèle explicatif, A la recherche duque1 I'ensemble de ces études participent, progresse : on a vu, illustrés ici, trois pôles autour desquels s'organisent les conceptions de projets dans les établissements scolaires. 11s seront repris en troisième partie. Pour I'instant, ils peuvent contribuer a l'explication du fonctionnement de ces activités en dégageant I'existence et la portée de phénomènes qui, sans e m , auraient pu passer inaperçus dans Ia masse des informations disponibles.

2 Des concepts pour analyser les projets 2.1

Champs conceptuels

Le champ sémantique du projet est très vaste : Boutinet (1990)en a dénombré quelque 150 catégories. Et notre propos n'est pas de tenter de les retrouver dans les projets examinés. En revanche, on citera d'autres concepts (certains plus directement contributifs, d'autres connexes) non sémantiquement rattachés au projet mais ayant contribué a expliquer certaines pratiques. On les complétera par l'évocation rapide d'une possible contribution a l'élargissement du concept de projet éducatif par l'apport de Ia référentialisation. Des concepts contributifs

On citera tout d'abord les concepts généraux qui nous semblent néanmoins contribuer a I'explication de certains aspects ou a certains moments du déroulement des activités se réclamant du projet :

Le a besoin

Lié a I'histoire du projet de formation dans Ia formation professionnelle des adultes, ce concept contribue a la définition des prémisses du projet. On se reportera au passage qui lui est consacré dans cet ouvrage. Le changement

Sans entrer dans le débat concernant Ia pertinence des théories du changement social, on ne peut pas ignorer I'existence de facteurs de changement (endogènes comme les évolutions des systèmes de valeurs, exogènes comme les phénomènes liés aux modifications techniques ou démographiques) intervenant dans les orientations prises par les systèmes de formation. Pour ne citer qu'un exemple, la réflexion sur les processus de décision scolaire face a I'inégalité des chances devant Ia réussite parait indispensable a Ia compréhension des stratégies concernant les parcours scolaires projetés par les élèves (Boudon, 1984). L'influence sociale et I'innovation

Les projets collectifs sont évidemment concernés par les phénomènes d'influence sociale : les travaux rassemblés par Doms et Moscovici (1984) sur Ia pression de conformité exercée par les groupes sur les individus et par les individus et les minorités sur les groupes peuvent éclairer la compréhension du fonctionnement des projets d'établissements. L'innovation, que ces auteurs classent dans les processus d'influence sociale, a longtemps été traitée comme un ensemble de procédures liées au projet éducatif (Huberman, 1 9 7 3 ; Berbaum, Figari, 1986). L'internalité et I'externalité

Ces notions, développées par Dubois (1988),Beauvois, F e r y (1987), Monteil (1989), suggèrent que le type de valorisation privilégié par des pédagogies de la responsabilisation (comme celles relevant du projet) favorisent les sujets a comportement « interne au détriment des sujets externes Ces auteurs dénoncent même I'existence d'une norme d'internalité surestimant le role de I'acteur. Ce problème se pose assurément dans Ia conduite des activités de projet soumises a une attente très forte des promoteurs vis-avis des motivations et de Ia participation des acteurs désignés. ))

((

((

)>.

))

Le diagnostic, le pronostic et Ia prédiction

Les fonctions diagnostique, pronostique ou prédictive de I'évaluation ont été largement évoquées par les auteurs (Cardinet, 1 9 8 6 ; CEPEC, 1987 ; De Ketele, 1988 ; Allal et a1.,1989). Elles impliquent des opérations de traitement de l'information en vue d'émettre des hypothèses, de prendre des décisions concernant les stratégies de formation, de construction et d'opérationnalisation d'objectifs qui intéressent les processus de projet.

RETRarum UN RÉFÉRENREL PAR CANALYSE DES SITUAK%JS É m m

!H

La prospective et Ia prévision

Abondamment utilisées en économie et en sciences politiques, ces notions que Gaston Berger (1964) avait clairement distinguées s'appliquent a toutes les problématiques d'anticipation que développent les activités de projet et qui sont reprises par Boutinet (1987). Le constrvit social

Dans ce que Crozier et Friedberg (1977) nomment le construit d'action collective », on retrouve certains problèmes traités par Ia sociologie des organisations concernant le rôle du pouvoir et des stratégies menées par les acteurs pour utiliser Ia marge de liberté que leur offre Ia conduite d'un projet. On pourrait dire, en citant ces auteurs, que ce dernier constitue un phénomène social de production collective de normes et de décisions ((

((

)).

Ces concepts, parmi d'autres, permettent d'une part d'élargir le champ de références servant a définir et a décrire les éléments constitutifs des processus de projet, et d'autre part, de les interroger. Des notions connexes

Dans les pratiques décrites sous le terme de projets, on s'aperçoit que sont insérées des modes de programmation des activités de formation ou d'enseignement qui relèveraient plutôt d'autres champs de références, et en particulier I'ingénierie de formation (surtout dans la formation professionnelle sous la forme de procédures planifiées de conception d'opérations répondant a des besoins ou des profils précis), et le curriculum (dans les systèmes d'enseignement, sous Ia forme de programmation de filières ou de cycles). O

L'ingénierie de Ia formation

« Dérivé

du mot anglais engineering, I'ingénierie a désigné dans les sciences de l'ingénieur, en génie chimique mais aussi en psychophysiologie et en ergonomie : - Ia recherche des meilleures combinaisons, des meilleurs compromis techniques permettant d'analyser et de traiter des situations de travail ou de production, - Ia recherche de lois communes a plusieurs techniques et appliquées a une même situation, permettant de maitriser l'ensemble d'un environnement et de s'y adapter. Appliqué a I'éducation (Viallet, 1987), ce concept peut désigner « Ia combinaison de différentes sciences, techniques, outils et attitudes nécessaire pour concevoir et maitriser une opération de formation » (Figari, 1988, a). On dispose avec cette notion : - d'une définition de Ia conception de la formation en référence A un modèle technicien. On monterait une formation comme on monterait une

usine : or, « on ne monte plus une usine comme i1 y a vingt ans.. . Maintenant i1 faut être ingénieur mais aussi architecte, économiste, sociologue, ergonome (Requet, 1989). L'ingénierie technique est par définition pluridisciplinaire et se réalise a travers des groupes de projet pluridisciplinaires ; d'une version du projet éducatif adaptée a Ia culture de I'entreprise, se référant a un projet d'entreprise et visant essentiellement I'amélioration des performances de cette dernière ; d'un ensemble de procédures volontairement reliées, explicitées et donc visibles destinées a élaborer une action de formation en réponse a une situation requérant un traitement spécifique par Ia formation. ))

))

((

-

-

L'. ingénierie de Ia formation H est un terme né au début des années 8 0 et que les Sciences de 1'Education utilisent encore avec prudence ou méfiance : certaines publications (Caspar, 1984 ; Figari, 1988, a) tendent a en examiner le sens et I'intérêt en tant que concept. En ce qui concerne notre recherche de référentialisation des dispositifs éducatifs, I'ingénierie présente I'importante particularité de fonder des choix méthodologiques. En effet, alors qu'il a été observé que les méthodes spécifiques du projet n'existaient pas explicitement, on dispose avec cette notion, d'un système d'élaboration du choix des méthodes : en amont, avec Ia reconnaissance de leurs références scientifiques (par l'affirmation de Ia pluridisciplinarité), et en aval, avec Ia subordination des méthodes et des techniques aux exigences de I'objet terminal (c'est-a-dire le produit, le résultat, Ia compétence, etc.). ((

O

))

Le curriculum

11 est vrai que I'on rencontre souvent cette notion dans le vocabulaire relatif aux systèmes d'enseignement (plus rarement en France) : ainsi, Ia consultation de Ia banque de données ERIC révèle l'existence de plus de 75000 occurrences du terme curriculum dans la littérature. Mais qu'est-ce qu'un curriculum ? L'étymologie suggère deux sens au mot. Le premier désigne une course » : si on I'applique a I'élève, i1 s'agit bien du mouvement-même de Ia progression de celui-ci (incluant son rythme, ses stratégies, etc.) ; le second désigne le lieu ou l'on court par conséquent le lieu prévu a cet effet, plus ou moins organisé (comme un système d'enseignement-apprentissage). Il y a donc au moins deux façons de le définir, selon que I'on se place du côté des décideurs (1 en focalisation externe ou du côté de I'élève, en (1 focalisation interne » (Cottavoz, 1992) : - vu par les décideurs (responsables des institutions et spécialistes d'une discipline faisant l'objet d'un apprentissage), le curriculum désignerait c e que I'enseignant doit faire apprendre et Ia façon dont i1 doit procéder. On retrouve cette conception chez des auteurs francophones : intentions, contenus, progressions, méthodes ou moyens a mettre en ceuvre ((

))

((

((

)),

))

((

94

ElROWER UN RI!F~!RENI~EL PAR CANALYSE DES çmiAnONS ÉDUCATNES

pour enseigner et évaluer » (D'Hainaut, 1977) ; qt un ensemble d'actions planifiées pour susciter l'instruction (De Landsheere G., 1979) ; une liste de contenus de disciplines scolaires a acquérir, construite en tenant compte de Ia structure logique des connaissances a enseigner, des processus d'apprentissage et de l'évaluation du cours (Mialaret, 1979) ; vu par I'élève, le curriculum définit ce que ce dernier ( ( a I'opportunité d'apprendre (Cutcheon, 1982) et, plus précisément, (4 un parcours éducationnel, un ensemble suivi d'expériences d'apprentissage effectuées par quelqu'un » (Forquin, 1984), ainsi que « I'ensemble des expériences de vie nécessaires au développement de I'élève (De Landsheere V., 1992, p. 89). On se reportera a ce dernier auteur pour disposer d'une synthèse des principales conceptions du curriculum centrées sur le savoir 21 acquérir, sur I'élève ou sur la société ))

-

((

))

))

))

((

)).

En tout cas I'idée selon laquelle les cunicula produisent des effets qui méritent d'être étudiés est partagée par de nombreux auteurs, y compris francophones : J.C. Forquin (1984), a partir d'une étude historique des travaux anglais, a mis en valeur « une nouvelle approche des enjeux sociaux de Ia scolarisation ; dans un recuei1 d'articles sur les savoirs scolaires V. Isambert-Jamati (1990) utilise cette notion en rappelant Ia distinction entre « curriculum forme1 » qui traduit les contenus prescrits par les autorités et curriculum réel))qui désigne ce qui se passe dans Ia réalité, lorsque les enseignants ont sélectionné, adapté et intégré dans des méthodes diverses les éléments issus du curriculum forme1 ; P. Perrenoud (1985) construit sa réflexion sur Ia même distinction. On ne peut que constater les nombreux liens existant entre les différents aspects relevés dans Ia mise en ceuvre des projets éducatifs et Ia vision du fonctionnement des structures de formation que présente Ia notion de curriculum : I'origine des intentions de programmation des séquences d'apprentissage, Ia planification des activités éducatives, le cheminement de I'apprenant dans le système, les rapports entre projet et programme, contenu et méthodes en sont les plus fréquents. En tous cas, le curriculum comme le projet tentent de justifier Ia mise en place de dispositifs de formation en référence a des valeurs, des objectifs et des besoins. )):

))

((

2.2

))

Le concept de projet dans les dispositifs éducatifs

Entre le projet institutionnel et le projet des acteurs :le dispositif

Que les acceptions attribuées au concept de projet éducatif soient d'ordre anthropologique (Boutinet,l987), psychologique (Nuttin, 1980 ; Not, 1989) ou pédagogique (Vial, 1976), on rencontre toujours des ruptures : - entre projet de I'institution et projet d'un collectif,

Andys du projet éducatif :projet et référentiel

-

95

entre projet d'un collectif et projet individuel,

- entre projet de I'enseignant et projet de I'élève. Le projet peut alors osciller entre Ia prégnance du concept englobant ou inciusif (projet de formation, projet de zone, projet d'établissement...) et Ia forme réduite d'une stratégie individuelle d'apprentissage. I1 apparait alors monoréférencé et d'autant plus limité dans ses effets qu'il n'a pas été prévu dans ses liens éventuels avec d'autres champs de références ou d'application. Le concept de projet, comme tous les concepts réutilisés dans le grand public, a donné lieu a des appropriations, a des emplois, a des dérives de toutes sortes. On se contentera donc ici de l'analyser comme dispositif, et par exemple comme une formule répondant à des attentes profondes d'une société qui cherche ainsi a maitriser un avenir qu'elle voudrait inventer, faute de ne pouvoir le prédire. Appliqué au domaine éducatif, ce serait également un système permettant de repenser, plus près des utilisateurs, I'organisation & Ia formation, et se préoccupant de la pertinence des conditions qui permettront I'acquisition des savoirs scolaires et leur réutilisation sociale. Evaluer un dispositif de projet consistera alors à chercher sa spécificité et demandera d'engager une démarche de référentialisation qui permettra de le situer par rapport a un ensemble de finalités exprimées ou latentes et de données représentant les déterminismes, les spécificités de son environnement, Ia quantité et la qualité des contenus de Ia formation, les attitudes des acteurs. Le dispositif de projet prend ainsi Ia forme de I'expérimentation d'un construit collectif négocié et ordonné en référence a ces données constituées d'informations traitées, de processus et de finalités a expliciter. ))

((

)),

((

üécrypter un système de réferences

Le terme décrypter n'est en effet pas trop fort pour désigner le travail qui consiste a lire, dans un premier temps de I'évaluation d'un dispositif, les sources de son existence et les principes selon lesquels il fonctionne. Dans ce but, on ne dispose jamais de trop de modèles ou d'instmments pour analyser une situation-contexte en général ou des situations plus structurées dans leur définition initiale comme les situations de projet ». Lorsqu'on a réalisé cette analyse, on n'a peut-être pas, comme I'annonçait le titre du chapitre, retrouver le référentiel : on a seulement Ia vision d'un système de références en pointillé, c'est-adire indicatif d'un schéma hypothétique d'interprétation a partir de références partielles, non encore confrontées au fonctionnement de I'organisation et aux attitudes des acteurs. Mais il a déja été procédé a des investigations qui ont relevé du diagnostic et qui ont souvent consisté a auditer un dispositif. Des concepts et des méthodes sont ici en jeu qu'il s'agit maintenant d'examiner. ((

((

Troisième r~artie

DISTINGUER CÉVALUATION DIAGNOSTIQUE ET L'AUDIT

Des notions non réductlbles Avant d'entreprendre Ia construction d'une méthodologie de I'évaluation des dispositifs éducatifs, et afin de Ia situer, il est utile de faire le point sur les rapports aux notions et aux méthodes existantes (qu'elles soient intégrées ou remises en question). Ainsi, dans ce domaine il est impossible de ne pas distinguer I'évaluation diagnostique (n'est-ce pas I'activité centrale ?) et I'audit de Ia formation (pratique fort répandue aussi bien dans le secteur professionnel que scolaire), avant de rappeler le role important joué par te maniement des critères et des indicateurs dans les procédures d'investigation qui seront décrites en quatrième partie.

CÉVALUATION DIAGNOSTIQUE

L'évaluation diagnostique, celle que De Ketele (1988) appelle évaluation avant I'action », et qui exerce donc une fonction de prévision fait partie des fonctions que Querenet (1987, p. 134) range dans I'évaluation initiale celle qui diagnostique et qui pronostique. Parmi d'autres auteurs. Stufflebeam I'appelle évaluation de contexte (Stufflebeam, 1980, p. 276). Elle définit I'environnement en cause...identifie les besoins a combler ...diagnostique les problèmes qui empêchent que ces besoins soient satisfaits... L'évaluation de contexte est macro-analytique : elle établit les limites du système qui doit être évalué, puis le décrit et I'analyse.. . Elle décrit les valeurs et les buts du système a étudier.. . Elle reflète une connaissance théorique et pratique d'un champ . . . sous ce rapport, elle détermine dans quelle mesure Ia pratique est en accord avec les principes admis d'une théorie pertinente ». La prise d'indices qu'elle constitue, dès I'abord de I'opération qui nous intéresse, constitue son principal intérêt. Mais elle pose d'emblée d'importants problèmes de méthode en ce qui concerne le choix de ces indices dans Ia masse d'informations disponibles. ((

((

)),

((

((

((

((

))

)),

))

DISTINGUER L'ÉVALUATION DIAGNOSTIOUE ET CALIDIT

1O0

1 Le diagnostic : de I'objet observé a I'objet interprété Lors de I'évaluation d'un dispositif de formation, on va s'apercevoir, en effet, qu'il existe un potentiel d'information important et en général facilement accessible sur I'ensemble du dispositif : on Ia trouve aussi bien dans les archives et auprès des responsables de I'organisation elle-même que dans Ia littérature produite sur le secteur ou le système auxquels elle appartient. 11 n'y a qu'a se pencher sur ces documents pour Ia recueillir. Mais c'est Ia qu'intervient Ia première difficulté : I'immensité de I'information est souvent augmentée par le recours qu'elle suggère (par comparaison, association, etc.) a d'autres informations. Les méthodologues de Sciences Sociales connaissent ce problème et se réfèrent a un modèle théorique qui leur permet de constituer et de délimiter le corpus de leur étude (parce qu'ils ne s'intéresseront qu'au discours lui-même ou bien seulement aux indices sociologiques etc.). Malheureusement, il n'existe pas de modèle d'évaluation au sens propre du terme ; on dispose, certes, de Ia notion de référé (cf. Ir" partie) qui est censée désigner I'information pertinente : mais elle n'est pas opératoire. I1 va donc, avec le tableau suivant, être tenté de revenir sur cette démarche de traitement de I'information initiale destinée a dégager les questions et les problèmes que pose Ia situation. ((

objet observé cadre institut. envirt interne envirt externe populat. encadt fonction

))

objet reconstitué

diagnostic

4

r

5 I

I

I

6

I

l-

Soit un u objet c( a évaluer (un établissement, une organisation de formation, un dispositif éducatif). 11 est symboliquement représenté par le cadre A : les

CONSTRUIRE UN RÉFÉRENTIEL POUR ÉVALUER ~ÉTABLISSEMENTSCOLAIRE

1 Préalables : I'établissement scolaire face a ses évaluations L'établissement scolaire :un problème qui intéresse tous les citoyens

Décrire un dispositif scolaire constitue l'enjeu d'intérêts nombrew, tant scientifiques que politiques, dans des sociétés qui doutent de I'efficacité de leur système éducatif. Aborder ce thème, c'est toucher une préoccupation qui appartient a tous les citoyens : qui, en effet, n'aurait pas son mot a dire sur le fonctionnement de I'établissement scolaire, dans Ia mesure ou i1 e n est le partenaire direct (comme élève, parent, enseignant, professionnel associé ou employeur de c e m qui y sont formés, responsable politique local, régional ou national, acteur social ou médical, ou, tout simplement contnbuable) ? C'est entrer dans un débat ou les protagonistes ne parlent pas toujours le même langage, mais ou les jugements et les avis sont passionnés, un débat dont I'objet est tellement complexe, que les malentendus sur sa nature même sont évidents. Posons simplement Ia question : qu'est-ce qu'un établissement scolaire ? (autrement dit, a quoi sert-il, quelles sont ses fonctions et les effets qu'on en attend ... ? ))), et nous obtiendrons déja une grande diversité de définitions. On aura ainsi le choix entre un lieu d'éducation, un regroupement ((

))

I.(

juxtaposé d'enseignements disciplinaires, une construction curriculaire visant à organiser des itinéraires individualisés d'élèves, une entité autonome ou, au contraire, une subdivision conforme aux normes d'un système central, un lieu fermé ou au contraire ouvert sur le monde professionnel, technique et culturel. Qui d'entre nous n'a de réponse ou de début de réponse a Ia plupart de ces questions et a de nombreuses autres possibles sur le sujet ? L'établissement scolaire :un thème exploré par Ia recherche

Les travaux portant sur I'évaluation de I'établissement scolaire sont très rares, du moins si I'on définit I'évaluation comme un ensemble de procédures consistant (comme Stufflebeam ou Cardinet le suggèrent) a choisir, traiter et interpréter des informations relatives au déroulement d'un processus (ou d'un dispositif) de formation. 11s ne disent pas - ou très peu - comment s'évalue l'établissement ; ils n'étudient pas I'établissement sous évaluation sauf peut-être a travers des monographies, mais qui ne sont pas encore rassemblées dans une somme faisant autorité. En revanche, il existe de nombrew travaux sur les performances, I'efficacité voire le fonctionnement des établissements. La recherche propose en effet différentes approches pour étudier I'établissement : elle nous indique a partir de quels points de vue on peut le regarder et tenter de spécifier ses fonctions et son identité, en observant principalement ses caractéristiques (population d'élèves, environnement . . .) et ses performances. I1 est utile, avant d'aborder le problème de l'évaluation d'un établissement, de connaitre les principaux points de vue des chercheurs sur Ia mesure de ses effets. Le lecteur intéressé pourra consulter Ia bibliographie de Scheerens (1989). On ne rappellera ici que les pistes d'interrogation que les principaux courants de recherche peuvent apporter a notre entreprise : - d'abord, il faut rappeler pour mémoire, Ia catégorie des grandes enquêtes américaines sur le système d'enseignement aux USA. Parmi cellesci, Ia plus connue est le rapport Coleman (1966) mettant en valeur I'importance des facteurs socio-économiques duns les résultats obtenus par les établissements ; - par Ia suite, les travaux sur I'efficacité de I'école (I( school effectiveness ») ont permis de poser un certain nombre de questions comme le poids et rôle du contexte (travaux de Friedkin et Necochea, 1988) ; le poids et le role respectifs des variables constitutives de ce que l'on a coutume d'appeler I'(( inpu t (éléments matériels et financiers ...) et I'« output (réussite, modes de sortie du système) dans des travaux comme ceux de Glasman et Biniaminov (1981) ; Ia mise en relation des conditions d'organisation de I'établissement (mésostructure, meso-level ))) et des processus internes a Ia classe (microstructures, micro-level ))) dans des trav a u comme ceux de Rutter (1983 - School effects on pupil progress, in : Child Development no 54) ; - dans le même domaine d'investigation, on bénéficie, au niveau européen, de travaw qui permettent de se poser Ia question des performances. C'est ((

))

)),

((

))

))

((

((

((

)),

1n

Construire un référentiel w u r évaluer l'établisse~entscolaire

ainsi qu'A. Grisay (1990) distingue des établissernents perforrnants et peu perforrnants C'est égalernent aux différences dues au contexte que s'intéressent les travaux sur le rôle de I'orientation, sur I'analyse coutefficacité, sur a l'effet établissernent de M. Duru-Bellat et A. Mingat (1988) ; - i1 y a aussi les prornesses contenues dans une approche anthropologique de l'établissernent, définie par Ballion (1989) cornrne .se donnant cornrne objectif de décrire le social en train de s'assernbler H, et qui envisage celui-ci cornrne une communauté que I'on expliquera par la compréhension des rapports qui se nouent entre les individus C'est dans cette catégorie de travaux que s'inscrivent tout naturellernent les ethnornéthodologies (Coulon, 1988) privilégiant les rnicro-observations pratiquées a I'intérieur de I'établissernent (Ballion, Bayart, Mayer, op. cit.) ; - c'est a des travaux sur les pratiques et les processus d'évaluation euxmêmes que se référera I'approche méthodologique qui suit, tendant a établir u n modèle critérié de I'évaluation de I'établissement. Cette tentative passe par l'objectivation d'un cadre de références de l'évaluation. Celui-ci a en effet pour fonction de construire, en les fondant, les critères utilisés pour I'interprétation des informations que l'opération (externe ou interne) aura recueillies (Figari, 1990, 1991, 1992 ; GRAIF, 1990) ; - on peut enfin retrouver les traces des préoccupations et des débats qui touchent au rôle de I'établissernent dans le système éducatif en se référant aux actes du colloque de I'AECSE (1990) qui présentent, parrni de nombreux autres thèmes, des travaux sur les procédures d'évaluation appliquées a l'établissement. ((

)).

((

))

))

((

)).

I I

I

1 1

L'établissement scolaire et ses évaluations

L'établissement intéresse et même passionne ; il interpelle les analystes et les chercheurs ; il fait l'objet de nornbreuses opérations d'évaluation (par le corps d'inspection, les instances d'évaluation ministérielles, les organismes locaux ou, parfois les auditeurs et consultants professionnels). Dans chaque cas de figure, les référents varient : sociologique (pour de nornbreux chercheurs), gestionnaire (pour les observatoires régionaux ou nationaux), politique (au sens d'une politique de I'éducation, pour le corps d'inspection), disciplinaire (pour les instances qui mesurent le niveau de connaissances dans telle ou telle discipline),etc. Mais pour Ia clarté de Ia situation, appelons ces différents regards des études ou des recherches, des enquêtes ou des surveys, des tableaux de bord statistiques nationaux ou locaux, et réservons le terme évaluation aux pratiques et aux processus relevant des définitions de référence proposées en introduction observation et interprétation des effets.. . visant a guider les décisions nécessaires au bon fonctionnement ...). I1 s'agit donc, pour un établissement donné, de délimiter, recueillir et interpréter les informations qui définissent, a un instant donné, les éléments explicatifs d'une situation et (11

))

a référentiel de gestion

i

référentiel politique

123

Constrvire un réféfentid mur évaluer I'établissement scolaire

nécessaires a Ia préparation des décisions relatives a son pilotage. C'est alors que Ia complexité de I'objet apparait : les référents sont nombreux, et difficilement réductibles les uns aux autres (cf. Ia notion multiréférentialité » de I'évaluation évoquée par Ardoino et Berger (1989, p. 16). L'évaluateur et ses partenaires peuvent déja s'en rendre compte en prenant acte de différents regards posés sur I'établissement, regards sélectifs, comme tous les regards, dont il faudra bien connaitre le référentiel pour comprendre le sens attribué par chacun d'entre eux aux phénomènes et aux performances observés : c'est ce que le schéma (p. 114)veut illustrer. ((

L'établissement scolaire :objet ou sujet d'évaluation ?

On a évoqué, au début de cette troisième partie, dans le cadre de ce qui a été appelé les demandes et les pressions » concernant l'évaluation des dispositifs éducatifs, certaines initiatives, d'origine nationale ou internationale, institutionnelle ou quasi individuelle, tendant a évaluer I'établissement et les problèmes de lisibilité de ces différentes opérations par les différents acteurs. On a distingué entre évaluation normative des dispositifs, tendant a établir des comparaisons et des classements, et évaluation critériée » s'intéressant aux résultats obtenus critère par critère, en fonction des données de situation et des finalités poursuivies. Mais i1 n'est pas question pour autant de suggérer qu'il s'agirait d'une alternative ni que l'une ou I'autre de ces pratiques serait préférable a I'autre. L'établissement fait partie d'un système dans leque1 il a des comptes a rendre » : il est alors un objet d'évaluation. Mais i1 constitue aussi une communauté située et relativement autonome, amenée a organiser des stratégies locales et a piloter en connaissance de cause ses différents projets : I'établissement devient alors sujet de son évaluation. I1 reste a résoudre le problème de Ia relation de sens pouvant s'établir entre les deux perspectives : c'est-a-dire Ia nécessaire connexion entre des appréhensions externes et comparatives et des constructions internes prenant en compte les différents niveaux de performances et de fonctionnement. ((

((

))

((

e 4

CONSTRUIRE UN RÉFÉRENTIELD'ÉVALUAI-ION

2 A Ia recherche d'un référentiel d'évaluation de I'établissement On arrive ainsi a I'idée d'un référentiel spécifique a I'évaluation d'un établissement, actualisant et intégrant les éléments de référence externes nécessaires a Ia compréhension de cette situation ainsi que ceux pouvant rendre compte de I'identité de I'établissement. A partir de travaux réalisés avec Ia collaboration d'établissements scolaires (I) et cités plus haut (Figari, 1990, 1991, 1992 et Graif, 1990), on évoquera ici I'essentiel d'une méthodologie d'élaboration d'un référentiel d'évaluation d'un établissement scolaire (2), en passant en revue, successivement : I'origine de I'évaluation (ici : un projet d'établissement) ; le projet d'éualuation ; le plan d'étude avec ses différentes approches de I'information ; Ia référentialisation et le référentiel proprement dit.

2.1

L'origine de I'évaluation : un projet d'établissernent ,, ((

I1 a été présenté, en seconde partie, une réflexion sur le phénomène projet ((

éducatif les notions qu'il mettait en jeu, les problèmes conceptuels et méthcdologiques qu'il entrainait. Et, parmi les applications qu'on peut en observer dans le système scolaire, le projet d'établissement a été posé comme objet de réflexion et d'investigation. Certes les publications suggérant des méthodes pour Ia conduite du projet existent déja et suggèrent aux acteurs de nombreux outils de conception et d'autres, moins nombreux, d'évaluation de ce dispositif (Broch, M.H., Cros, F. 1987 ; 1990, collectif ; Obin, J.P., Cros, F., 1991) mais l'évaluation de ces projets reste un problème entier : objets difficilement isolables, ils se prêtent surtout a une approche clinique nécessitant elle-même une instrumentation particulière. C'est dans cet esprit qu'il est suggéré ici, dans le cadre de Ia référentialisation telle qu'elle a été définie en première partie, un ensemble de procédures visant a construire, au cas par cas, mais en utilisant les informations générales utiles a Ia compréhension du système, un cadre de références qui, une fois établi, pourra constituer un système organisé de critères constituant l'armature de I'évaluation de I'établissement en projet Et si I'établissement n'est pas en projet », cela changerait-i1 quelque chose a Ia méthode ? On comprendra qu'il n'en est rien, car I'anticipation des activités d'une organisation. qu'elle soit volontaire (par Ia formulation d'objectifs) ou obligatoire (par l'inscription de )),

((

)).

((

(1) Ont participé aux travaux d'enquête et d'élaboration progressive d'un cadre de référentiel quatre établissements de I'lsère : Collège Edouard Vaillant, St Martin d'Hères ; Coliège G. Philipe, Fontaine ; Collège de Gières ; Collège de La Motte d2Aveillans. (2) Un logiciel de présentation de cette approche méthodologique a été élaboré au GRAIF, Laboratoire des Sciences de I'Education de I'université de Grenoble 11 (Sciences Sociales).

Construífe un réfémtkl pur kvaItlêr P6fabhssement scolaire

125

ces objectifs dans un cadre contractuel) pose les mêmes problèmes de prise de décision : ces prises de décision peuvent ou non donner lieu a une évaluation préparatoire comportant un recours a des informations dont il s'agit d'organiser le choix, le traitement et I'interprétation. D'autre part, comme on I'a vu, I'établissement ne peut fuir les évaluations auxquelles la société le soumet : I'enjeu, pour lui, sera d'en être le sujet participant ou seulement l'objet soumis a controle. Le projet sera donc le prétexte a Ia construction d'un référentiel qui I'intègre et le dépasse, dans Ia mesure où i1 ne constitue qu'un dispositif momentané, révisable et provisoire au service d'un autre dispositif plus stable, Ia mésostructure que constitue I'établissement.

2.2

Le projet d'évaluation

I1 s'agit donc, dans le cadre d'une eonception de I'établissement sujet de son évaluation, c'est-a-dire impliqué comme acteur ou comme partenaire, de construire un cadre de références grâce auquel on puisse expliquer de manière interne comme externe les résultats, les problèmes, les scénarios de conduite qui en sont les enjeux. Quatre principes organisateurs de Ia construction d'un système de références ont été annoncés en fonction de Ia définition de I'évaluation comme processus assorti de procédures critériées : 1. organiser un recours aux informations 2. reconnaitre les acteurs 3. analyser ia construction collective 4. fonder I'évaluation ((

I

De ces quatre principes vont dépendre les différentes procédures utilisées par Ia suite : - organiser un recours aux informations impliquera Ia mise en place d'instruments de recuei1 de données et d'observation dès le début de l'opération, avec des modalités différentes au cours de chaque phase ; - reconnaitre les acteurs demandera d'en repérer I'existence, de les questionner et de leur restituer les informations traitées de manière a leur laisser Ia possibilité de décider leur éventuel mode d'implication dans les processus d'évaluation qui vont se dérouler dans leur environnement ; - analyser Ia construction collective entrainera l'observation des modes de prise de décision dans le déroulement de l'opération ; - fonder I'évaluation veut dire que les critères et les indicateurs qui serviront a les mesurer pourront s'expliquer a partir des résultats des premières prises d'informations réalisées.

2.3

Le plan d'étude

II constitue Ia trame nécessaire a I'organisation du recours aux informations et comprendra : 1.une délimitation des dimensions du problème a traiter et de leur implication, 2. une formulation des questions qui en découlent, 3. les directions d'investigation et les matériaux, 4. les méthodes de traitement et d'analyse, 5. Ia détermination des critères.

-

Les dimensions de I'objet a évaluer

Sans préjuger de ce que seront les catégories terminales d'un référentiel éventuel, Ia première démarche consiste, comme dans toute investigation en Sciences Sociales, a cerner les éléments constitutifs de la question de départ qui est celle-ci : par rapport a quoi évaluer un établissement en projet ? Ces éléments sont ici, en fait, les dimensions (= catégories descriptives permettant de mesurer un objet) engendrées par le projet d'évaluation d'un établissement et ont été regroupés autour de trois grandes catégories : les fondements (finalités, éléments producteurs d'objectifs), les initiatives et les stratégies (traitement pédagogique, par Ia formation, collectif, décisionnel) : - les finalités : Ia première dimension de notre évaluation est en effet celle des valeurs de référence que constituent une philosophie de I'action éducative ou une politique éducative implicite ou explicite menée par l'établissement ou préconisée par les acteurs. - les éléments producteurs d'objectifs : ont été désignés par cette expression tous les phénomènes qui expriment des difficultés (formes d'échec ou de désaffection des études), toutes les données porteuses de questions a résoudre et de mesures a envisager (environnement géographique, économique et social), toutes les expressions de besoins et de demandes d'aide ou d'action.. . - Les initiatives : comment évaluer un établissement sans tenir compte, en effet, des dynamiques existantes, des dispositifs déja mis en place ou en projet et qui ont pour role d'influer sur les résultats espérés ? Comment ignorer d'autre part les conséquences des initiatives, souvent individuelles, tendant a résoudre localement et partiellement te1 ou te1 problème (activité de renforcement ou de découverte organisée par un enseignant et qui dépasse le cadre de la classe, par exemple) ? - Les stratégies : a) le traitement pédagogique des différents problèmes I1 est apparu en effet qu'il était nécessaire de pouvoir établir le lien entre telle ou telle décision d'organisation matérielle (construction de locaux, équipement informatique, transport, alimentation, etc.) et sa portée éducative. b) le traitement par Ia formation I1 s'agit de se demander en quoi des situations ou des difficultés (comportement, compréhension et performances des élèves, résultats aux examens.. .) peuvent avoir un rapport avec Ia formation des personnels ((

))

((

))

((

))

Construire un référentiel ~ o uévaluer r I'établissement scolaire

ln

c) le traitement collectif Le sens des activités et des phénomènes qui vont être observés risque aussi d'être affecté par Ia dimension collective des élaborations de projets ou de dispositifs et donc par I'implication des acteurs dans les processus que Crozier appelle les construits d'action collective d) le mode d'élaboration des choix Corollaire de Ia précédente, cette dimension est destinée a étudier les pratiques de jeu de pouvoir entre les acteurs et Ia marge d'initiative de chacun d'entre eux permettant d'attribuer les résultats analysés en fonction de Ia responsabilité effective des différents acteurs. On dispose ainsi d'une liste provisoire de catégories matricielles censées regrouper I'ensemble des descripteurs du projet d'établissement catégories a propos desquelles se formule Ia problématique générale du référentiel : comment et ou trouver les référents de ces différentes dimensions ? ))

((

((

-

)),

les questions de I'évaluation

Chaque dimension demande donc d'être interpellée par des questions qui vont détailler Ia problématique de l'évaluation. On retrouvera des exemples de ce travail dans le tableau suivant : Dlmensions de I'objet a évaluer Fondements - Finalités

- Elérnents producteurs d'ob~ectifs Initiatives

Questions (exemples)

- Quelles orientations de I'institution sont en cause ? - Quelles sont les visées exprimées par les acteurs ? - Dans Ia masse de données disponibles quelles sont ceiles qui

-

Stratégies traitement pédagogique

-

-

forrnation -

- traitement collectif

-

mode d'élaboration des choix

Quels sont les projets en cours de fonctionnernent, en cours d'élaboration ? Quelles sont leurs caractéristiques ?

- Au norn de quelle conception pédagogique se prennent les -

- traitement par Ia

seront retenues et pourquoi ? Quelles sont les demandes, les attentes en présence ?

décisions ? Quels sont les dispositifs identifiables de lutte contre I'échec, de recherche de situations favorisant les apprentissages ? Quelles sont les demandes de forrnation (contenu, formulation individuelle ou collective, etc.) Existe-t-il un plan de formation interne (caractéristiques...) ? Comment fonctionne-t-il ?

- Comrnent fonctionne Ia comrnunication (supports, réseaux,

-

résultats) ? Comment fonctionnent les instances collectives de I'établissement ?

Le fonctionnement décisionnel est-il repérable ? - Les projets ont-ils fait I'objet d'une décisioncollective ?

I I

I

i P'

A ce stade de la démarche, on dispose donc d'un questionnement de Ia réalité a travers une première série d'options sur la conception des fonctions d'un établissement, du rôle de ses différents acteurs, de son mode de fonctionnement, de ses valeurs de référence, etc. autant d'indications qui constituent la première série de procédures de Ia référentialisation : un cadrage des interrogations portées par les évaluateurs sur I'objet de l'évaluation (I'établissement en p-ojet), cadrage qui joue le role de corps d'hypothèses en cours de constitution au fur et a mesure que progresse Ia référentialisation.

-

Les directions d'investigation et les matériaux

Mais une interrogation de Ia réalité ne se fait pas simplement par une recherche de réponses a des questions. En méthodologie de Ia recherche en Sciences Sociales, on appellerait cette phase de Ia démarche, I'élaboration du modèle d'analyse. Dans cette série de procédures constituant Ia référentialisation d'un dispositif éducatif soumis a évaluation, on se contentera de parler de directions d'investigation. 11 s'agit, en effet de constituer un corps de matériaux et d'en analyser les informations en fonction soit de concepts pris dans un champ scientifique précis soit de concepts spécialement construits pour I'opération. L'évaluation d'un dispositif éducatif se trouve en fait toujours confrontée a ce choix. On en voit l'illustration ici : on dispose a Ia fois d'un concept systémique d'établissement largement utilisé dans Ia recherche, ne serait-ce, comme on a pu le voir, qu'a travers I'étude de ses effets, et d'un concept encore en construction, plus opératoire, celui de projet dont on a pu montrer les caractéristiques floues lorsqu'il s'applique a un dispositif éducatif, a travers des observations plus limitées (2' partie). On rassemblera dans le tableau suivant (p. 121), a propos de chaque dimension précédemment posée, des exemples de directions d'inuestigation permettant d'organiser Ia recherche d'informations (inventaires, recueils de représentations, !iypologies, etc.) et de matériaux qui serviront de base de consultation ou de données a traiter. ((

))

ii s'agit bien, comme I'illustre le tableau indicatif et résumé, de définir les types d'observation des données recueillies en cours de référentialisation, c'estàdire de recherche des références pertinentes pour I'évaluation du dispositif.

Constiui~un dférentiel pour évaluer I'établfSmknt s c o / a i ~

Dimensionn de I'objet a évaluer Fondements

I -

- Finalités - Elérnents producteurs d'objectifs

129

Direçtions d'invertigation

Matériaux

recherche de I'expression des valeurs, priorités, conceptions, orientations en présence

docurnents : textes oíficiels, textes Iocaux... expression des acteurs

- anabse des flux - analyse de I'environnernent

statistiques données descriptives

-

expression des acteurs

recueil des aiientes

docurnents : archives, projets... discours des acteurs Stratégies

- traiternent

- inventaire et analyse des

pédagogique

- traiternent par

docurnents descriptifs, discours des acteurs

différents supports pédagogiques, des conceptions pédagogiques sous-jacentes -

typologie des activités de forrnation - recueil des intentions

docurnents : archives, projets discours des acteurs

- traiternent

- anabse des rnodes de cwnrnuni-

données d'obse~ation

collectif

cation - analyse du fonctionnernent de Ia réflexion collective

données d'obsewation

-

docurnents (PV de conseils...)

laforrnation

- mode d'élaboration des choix

2.4

analyse du fonctionnernent des instances de décision

Les méthodes de traitement et d'analyse

Une opération de référentialisation comporte également en commun avec une démarche de recherche I'obligation d'indiquer et de fonder les méthodes employées pour traiter I'information. Car du type de méthode dépend en partie le type de résultats. Ainsi un résultat assorti de I'explicitation de Ia méthode qui I'a produit présente au moins d e u avantages : celui de relativiser le résultat lui-même et celui d'enrichir Ia signification de ce dernier en se laissant voir en quelque sorte ((de I'intérieur On pourrait même lui attribuer un troisième avantage : celui de permettre a ses destinataires d'en contester éventuellement Ia validité. Dans cet essai de construction d'un référentiel d'évaluation d'un projet d'établissement, les méthodes de traitement de l'information figurent déja en filigrane dans les directions d'études formulées précédemment. On en résumera pour I'exemple un certain nombre dans le tableau suivant : )).

í36

CONSTRUIRE CIN RÉFÉRENTIELD'ÉVALUATION

rFondements Finalités

-

Eléments producteurs d'objectifs

- traitement de documents par analyse de contenu - entretiens individuels et collectifs - comparaisons de séries statistiques - analyse économique - entretiens et questionnaires - construction de typologies

-

analyse de contenu de discours

Strat4gies

- traitement

- analyse de contenu thématique de documents et de discours

pédagogique

- traitement par Ia

-

id.

formation

- traitement collectif

1-

mode d'élaboration des choix

- entretiens individuels et collectifs - grilles d'obse~ation

-

analyse de contenu de documents

O n remarque que Ia construction d'une référentialisation privilégie certaines méthodes de recuei1 et d'analyse d'informations qui relèvent de l'évaluation diagnostique : - les méthodes d'analyse des données existan tes (analyse de documents, observation) destinées a opérer un état des liewc souvent souhaité par les partenaires de I'évaluation car celui-ci permet de conforter les différents acteurs dans leur connaissance empirique de Ia situation, de faire le point sur des informations e n partie connues (les acteurs connaissent globalement I'environnement, l'ambiance, les projets existants, etc.) - les méthodes exploratoires (entretiens) destinées a contrebalancer les informations précédentes qui privilégient en général le discours institué des documents officiels des projets et des programmes. Les entretiens permettent de découvrir des dimensions awcquelles I'évaluateur n'aurait pas encore pensé et de préfigurer les items qui devront être traités dans les questionnaires systématiques éventuellement employés dans le déroulement de I'évaluation proprement dite. Pour comprendre I'utilisation qui est faite de ces méthodes, il convient de rappeler le but poursuivi par Ia référentialisation. II est en effet : - de trouver les référents (au sens large rappelé e n première partie) et de les construire s'ils n'existent pas, - d'opérer des diagnostics provisoires qui sont autant d'hypothèses destinées a motiver la poursuite, par I'ensemble des partenaires engagés, de ((

t)

COnstruire un référentiel pour évaluer I'établissernent scolaire

131

la recherche systématique d'informations qui apportera des résultats attendus et comportant des chances d'être compris, - d e définir des dimensions de I'évaluation, et d'ouvrir ainsi des catégories de questionnement qui déboucheront sur Ia formulation des critères utilisés pour I'évaluation. Ceci peut expliquer que les méthodes permettant de dégager ces catégories, sans prétendre pour autant obtenir des résultats définitifs. soient alors privilégiées. Les instruments spécifiques

Mais il est souvent nécessaire de construire des instruments exploratoires ou de diagnostic portant sur le contexte, de manière spécifique a I'objet a évaluer. On ne reproduira pas évidemment ici les différents questionnaires qui ont permis d e dégager de manière comparative les représentations que les différents acteurs d'un établissement se faisaient d'un projet, ni les grilles d'observation de telle ou telle situation : ces matériaux sont toujours datés et n'ont pas de valeur générale. On peut utilement, en revanche donner un exemple d'instrument préparatoire a I'analyse de contenu thématique de documents internes a un établissement, en I'occurrence les procès verbaux (sur une période donnée) des conseils d'administration d'un collège. On voulait mettre en valeur ici Ia dimension pédagogique des problèmes traités en conseil d'administration, seu1 lieu officiel ou se discutent les grandes orientations d'un établissement, I'hypothèse étant une dissociation des préoccupations orgaAnalyse des procès verbaux de conseils d'administration

D6cisions prises conseils

i

gestion de I'établissernent

I approbation du 1 budget

gestion du personnel

1

I

Vocabulaire perceptibles

(thèmes, occurrences)

débatS

approbation des propositions du chef d'établissernent

conflits

stages

souhaits

n6ant

carte scolaire vie scolaire information

-

traiternent de Ia Dotation Hor. activités éducatives

I

-

travaux projet global

( projets précis

néant vote procédures de prise de décis.

1

1

néant

néant objectifs, thèrnes, 1 rnéthodes

132

CONSTRUIRE UN R É F É ~ E D'ÉVALUATION L

nisationnelles et pédagogiques. Le tableau ci-avant présente un aperçu de Ia grille de départ utilisée par les opérateurs, renseignée par une étude de cas anonyme et partiellement remplie. L'intérêt d'un te1 tableau réside surtout dans I'incitation à traiter, grace à Ia grille de lecture qu'il contient, des informations faisant partie de I'histoire du fonctionnement de I'établissement et auxquelles on aurait pu ne pas prêter attention. Dans cet exemple, les partenaires de I'évaluation peuvent ainsi repérer des éléments pouvant poser des questions sur le mode de fonctionnement de I'instance de décision (cf. les dimensions traitement collectif et mode d'élaboration des choix ))), sur I'existence et le type d'enjeux éducatifs caractérisant les débats de cette instance, ou tout simplement, sur le fait que les procès verbaux ne consignent que des éléments techniques et organisationnels a I'exclusion des raisons profondes pour lesquelles les décisions sont arrêtées. Evidemment, d'autres grilles peuvent être conçues pour traiter d'autres matériaux visés par les différentes directions d'investigation. ((

))

((

2.5

La détermination des critères

On sait bien, et cela a été rappelé en troisième partie, que le critère est une notion essentielle dans le domaine de I'évaluation en général, et bien évidemment lorsqu'il s'agit de I'évaluation d'un dispositif. I1 va couronner toute Ia réflexion précédente en réalisant le lien, I'interface entre les dimensions de l'évaluation (= ses hypothèses et ses questions), d'une part, et les catégories de Ia réalité (qui vont être mesurées pour traiter ces hypothèses et ces questions et qu'on appelle indicateurs), d'autre part. Au terme de Ia référentialisation, leur détermination peut intervenir dans Ia mesure où elle peut alors être étayée par les résultats du travail antérieur. Pour illustrer, dégageons quelques critères généraux d'évaluation formulés lors des travaux évoqués, face a chacune des dimensions précédentes (voir p. 125). Mais on peut également réfléchir sur le problème de la relation entre les critères envisagés par les travaux de 1'OCDE (1989) sur le fonctionnement et les effets des établissements et les critères utilisables dans et par les établissements. Dans le cadre de Ia démarche présentée ici, i1 parait naturel qu'un référentiel d'évaluation d'un établissement puisse prendre en compte, parmi ses catégories, un cadre d'analyse international avec leque1 il devrait pouvoir établir des relations de sens. Voici, tiré d'un article publié sur cette question (Figari, 1990), un schéma tendant a montrer comment les mêmes critères d'évaluation (lre colonne) - par exemple ceux proposés par I'OCDE (maitrise de l'environnement, cohérence des ressources, qualité du fonctionnement, qualité des résultats) - peuvent s'appliquer a des dimensions (2ecolonne) que l'on peut traiter aussi bien au niveau (3"colonne) d'un établissement, d'un pays, d'une comparaison internationale (voir p. 125).

Dimensions de I'objet à évaluer

I

Fondements - Finalités

- conformité des évolutions a long teme avec les orientations prises

- modes de sortie du syst8me.. . - conformité des évolutions a court terme avec les buts et

- EiBments producteurs

objectifs

d'objectifs

- niveau d'implication et de satisfaction des acteurs...

-

Initiatives

participation

- effets perçus par les acteurs - impact sur les évolutions a court teme.. . Stratégies traitement pédagogique

- utilisation de dispositifs, méthodes...

-

- existence et fonctionnement d'un plan de formation

-

traitement par Ia formation

- traitement collectif - mode d'élaboration des

I

adhésion des acteurs aux décisions et aux dispositifs

- répartition et fonctionnement du pouvoir...

I

choix

criteres d'évaluation

maitrise de

catégories d'application des critères (dimensions)

1. environnement immédiat 2. ressources nécessaires 3. objectifs locaux 4. choix didactiques

niveaux de traitement

NIVEAU DE CÉTABLISSEMEM

ressources 1. environnement NIVEAU D'UN PAYS économique 2. priorités, répartition 3. finalités, orientation 4. curricula nement 1. populations scolarisées 2. cout de Ia formation 3. role des systèmes éducationnels 4. niveaux de sortie

NIVEAU INTERNATIONAL

Pour clore cette réflexion, i1 faut retenir que, quelle que soit Ia position de l'évaluateur par rapport a I'établissement (externe ou interne par exemple), les critères qui vont être utilisés pour évaluer ce dernier (doté ou non d'un projet officiel) concernent les mêmes dimensions (dans ce dernier exemple : I'environnement, les ressources, le fonctionnement, les résultats) : celles-ci seront alors visibles -et donc lisibles- avec des diagnostics relatifs aux différents points de vue des opérations d'évaluation entreprises.

2.6

La référentialisation et le référentiel

C e premier exemple comportait comme objet de départ de I'évaluation un double dispositif : I'établissement scolaire d'une part et le * projet » en tant que système prescrit d'autre part. D'ou une difficulté accrue a construire un référentiel d'évaluation de I'établissement : on peut toujours se demander ce que I'on évalue vraiment, c'est-a-dire les caractéristiques d'un établissement scolaire ou les processus introduits par le dispositif de projet. Mais nous avons vu tout d'abord que la séparation entre les deux dispositifs (I'établissement et le projet prescrit) pouvait ne pas s'imposer, dans Ia mesure ou le fonctionnement normal d'une organisation éducative pouvait difficilement se passer de prospective et de programmation. En outre, cet exemple présentait I'intérêt, parce qu'il s'agissait d'un projet de faciliter I'accès aux formulations d'orientations, de valeurs, d'objectifs qui sont autant de références indispensables a Ia conduite d'une évaluation. La construction d'un cadre conceptuel en a été facilitée. ((

)),

La référentialisation

I1 a donc été procédé essentiellement à une recherche d'éléments de référence qui s'est déroulée de façon progressive : - a /'origine d e I'évaluation, par un inventaire des notions permettant de décrire de manière générale l'établissement scolaire (en référence aux recherches qui le concernent) et de décypter les caractéristiques actuellement visibles des phénomènes liés au projet » ; - au moment du projet d'évaluation, par la mise en place d'un dispositif de recuei1 de données auprès des acteurs qui auront été désignés comme référents ; - dans le plan d'étude : par le choix d'un cadre méthodologique comprenant la formulation des dimensions du problème (fondements, initiatives, stratégies), des questions qui en découlent, des directions d'inuestigation, du choix des méthodes d'analyse et du mode de détermination des critères. Les informations ainsi recueillies, comme on a pu s'en rendre compte, ont permis de justifier le choix de catégories constitutives d'un cadre d'évaluation, en tenant compte des systèmes et des acteurs et en relativisant la perti((

Construire un référentiel pour évaluer 116tablissementscolaire

135

nence des critères ainsi obtenus. A partir de Ia peuvent se construire les instruments d'évaluation comme les axes des (1 projets : c'est I'utilisation possible de Ia référentialisation. ))

Le référentiel

I1 est vrai que ce qui a été décrit jusqu'à présent, c'est le processus de référentialisation qui peut encore se poursuivre au fur et a mesure que l'organisation qu'il concerne évolue et voit se modifier ses caractéristiques. Mais il faut bien, a des moments donnés, sinon arrêter le processus, du moins fixer et produire un schéma opératoire du processus, ne serait-ce que pour le communiquer et le discuter, mais aussi pour I'instrumenter (construire des questionnaires, analyser des résultats), prendre des décisions et déboucher sur I'action. C'est alors qu'intervient Ia nécessaire production d'un document qu'il faudra bien appeler (1 référentiel (même provisoire) d'évaluation. Ce document varie avec les situations, les populations, etc. ; i1 appartient a ses auteurs et a leurs partenaires ; i1 n'est pas généralisable et ne peut jouer de role normatif : ce sont les raisons pour lesquelles aucun exemple de référentiel rédigé ne pourrait être reproduit ici sans poser I'un ou I'autre de ces problèmes. 11 peut en tous cas prendre des formes diverses comme par exemple : - un tableau-matrice synoptique utilisant comme catégories horizontales les dimensions choisies et comme catégories verticales les différentes phases de Ia référentialisation apportant de manière résumée les réponses obtenues dans les différentes rubriques, - un exposé linéaire des étapes de Ia référentialisation débouchant sur la proposition de critères d'évaluation. L'évaluation de l'établissement est une entreprise complexe, multiforme ; les problèmes qu'elle pose sont très marqués par l'ensemble du fonctionnement du système scolaire et peuvent sembler relever très spécifiquement de ce dernier. Et pourtant, on va s'apercevoir, en abordant les situations suivantes, que Ia méthodologie relative a Ia référentialisation du type de dispositif qu'il constitue, comportera de nombreux points communs avec celle qui sera utilisée pour aborder le dispositif de formation de type (1 formation professionnelle continue » et même celui du curriculum. ))

I

1 I

CONSTRUIRE UN RÉFÉRENTIELPOUR ÉVALUERUN DISPOSITIF DE FORMATION

Evaluer un dispositif de formation professionnelle continue : te1 est I'enjeu de Ia seconde procédure de référentialisation présentée. On prendra pour support (et donc comme source d'exernples) I'opération d'évaluation réalisée a Ia demande du CNRS par le GRAIF (1992 a). On retirera de ces travaux essentiellernent Ia trame méthodologique, en n'utilisant les exernples ou les inforrnations qu'a titre illustratif. On retrouvera les quatre rnornents du processus de référentialisation déja évoqués dans le cas précédent : 1 . Ia cornmande de I'organisrne qui conditionne le cadre de l'étude ; 2. le projet d'évaluation qui constitue Ia proposition d'organisation de l'opération formulée par les évaluateurs ; 3. le plan d'étude, traduction rnéthodologique du projet d'évaluation qui formule un prernier corps d'hypothèses et prévoit le mode de traiternent de I'inforrnation ; 4. la référentialisation et le référentiel d'évaluation proprernent dit.

1 L'origine : une commande La Délégation aux Ressources Humaines du CNRS et Le Bureau National de la Forrnation ont demandé au Graif de rnener une étude du dispositif de formation mis a Ia disposition des chercheurs et d'en dégager (1 le role spécifique des Ecoles Thématiques Cette étude était souhaitée cornrne une con))

)).

!&i

I

138

CONSTRIJIRE UN RÉFÉRENI-IEL D'ÉVALUAIION

tribution a la réflexion sur un projet de formation au CNRS compte tenu des finalités assignées a I'institution : « participer a Ia réalisation d'objectifs prioritaires accompagner une politique scientifique cohérente, commune, décloisonnée, concertée, affichée La première réflexion qui s'engage consiste évidemment a comprendre Ia commande : - « contribuer a Ia réflexion sur le projet d e formation Les finalités assignées à Ia formation au CNRS découlant des grands objectifs de développement d'une politique scientifique » et (4 d'adaptation des modes de gestion », s'affirment comme vastes et ambitieuses. L'enjeu consiste a concevoir et a piloter « un projet pour Ia formation au service de ces finalités. Le fait de favoriser une réflexion sur les Ecoles Thématiques s'inscrit donc dans ce projet : I'opération envisagée y trouve sa légitimité. - « engager une politique d'évaluation des Ecoles Thématiques Un projet de formation se nourrit de l'expérience de Ia réalité pour définir des axes de développement adaptés : il est demandé a ce titre d'effectuer un inventaire des fonctions et des dispositifs existants et de relever l'expression des points de vue et des suggestions qu'ils inspirent aux acteurs concernés. Evaluer consiste donc, ici, a recueillir et a traiter des informations utiles au pilotage du système de formation. - mettre en place un système d'évaluation La commande comporte une clause instnimentale. Une étude constituant le support d'une réflexion interne ne parait être souhaitable que si elle débouche sur l'élaboration de stratégies de formation éclairées par des pratiques d'évaluation intégrées. I1 est donc attendu, au terme des travaux, une proposition de dispositifs d'évaluation adaptés aux différentes situations de formation, a leurs caractéristiques et a leurs exigences. ((

)),

)),

)).

))

I

((

))

((

))

11

))

b)

2 Le projet d'évaluation Après avoir compris, interprété et reformulé Ia commande de I'institution, il reste a proposer un projet d'évaluation, c'est-àdire a fixer entre partenaires de l'évaluation les éléments essentiels de l'opération, tant en ce qui concerne I'objet d'évaluation lui-même que l'instrumentation qui lui sera appliquée. On conviendra donc ici : - de prendre comme objet d'étude le fonctionnement et les réalisations de ce dispositif, compte tenu des missions et des résultats qu'il s'est fixés. - de développer une instrumentation qui permette de choisir et de traiter les informations utiles a partir de Ia détermination d'un système de références qui, une fois établi, devra être reconnu par les acteurs.

Construire un réfkrentiei p o r Bvalver un dispositif de formation

I

2.1

139

L'objet d'étude : le dispositif des Ecoles Thématiques

I1 s'agit : - de décnre et de catégoriser les écoles

: celles-ci ont une histoire, des finalités, des partenaires. Quels sont les éléments qui les déterminent, qui les spécifient ou qui les relient ? - de repérer les missions qui leur sont affectées par les différents partenaires, globalement et separément : Quelle politique de formation les écoles mettent-elles en ceuvre ? Comment et ou s'élabore cette politique ? Quels contrats ou quelles négociations les lient a leurs partenaires ? Qui sont les demandeurs et qui sont les offreurs ? - mesurer les résultats obtenus : Y a-t-i1 des résultats escomptés ? Ou se matérialisent-ils ? Comment sont-ils mesurés ou quelles mesures peut-on leur appliquer ? ((

((

))

I

2.2

Une instrumentation adaptée a une demande d'évaluation

Elle consistera essentiellement A sélectionner des informations autour d'un système de références a définir, au moyen : - de l'élaboration d'un référentiel d'évaluation des Ecoles Thématiques. En effet, selon Ia conception de I'évaluation equissée précédemment, les résultats de celle-ci sont toujours relatifs a un système de références dont certains éléments existent déja au sein de l'organisation (et de son environnement) et chez les différents partenaires. Pour pouvoir fonder les résultats, i1 convient donc d'éclairer les valeurs, les choix mais aussi les données par rapport auxquelles seront sélectionnées les informations donnant lieu a mesure et a interprétation. Ce référentiel est a construire en fonction des acteurs concernés. - de méthodes de traitement de l'information empruntées aux Sciences Sociales, intégrées a des instruments spécifiquement conçus pour cette investigation. Ainsi les documents existants, concernant les écoles et leur environnement politique, scientifique et organisationnel, seront soumis a analyse de contenu ; les acteurs seront sollicités, dans un premier temps par des entretiens, et par Ia suite, par questionnaires ; les situations de formation donneront lieu a des observations ; les données quantitatives décrivant les publics, les contenus, les représentations et les souhaits des acteurs subiront les traitements statistiques nécessaires ; les données qualitatives concernant les témoignages, les exemples, les fonctionnements, serviront a décrire et a illustrer des attitudes et des processus. Enfin, i1 sera mis en place des situations favorisant l'implication des acteurs (groupe de pilotage, restitution des informations, diagnostics et suggestions selon Ia demande, etc.) ((

))

3 Le plan d'étude Transformer les questions de la commande en questions d'évaluation, autrement dit, passer du plan stratégique au plan scientifique : telle est I'ambition du plan d'étude. 11 abordera successivement : 1. I'emboitement des dimensions du problème a partir de I'objet visé par Ia commande 2. les questions qui en découlent et auxquelles l'évaluateur va être amené a répondre 3. les directions d'investigation et les matériaux à utiliser qui constitueront Ia réponse méthodologique aux questions précédentes

3.1

L'emboitement des dimensions du problème

I

La politique de Ia Recherche

I

La formation a Ia Recherche

Construire un référentid oour évaluer un disoositif de fomation

141

Certes i1 s'agit d'évaluer les écoles thématiques. Mais on a déjà vu que cette opération visait Ia place de ces écoles dans le dispositif de formation et que d'autre part i1 était question d'en référer les orientations a Ia politique générale de l'institution. 11 est donc nécessaire de déterminer I'emboitement des dimensions du problème posé. Le schéma précédent illustre deux procédures importantes. La première consiste a définir, dans un raisonnement de recherche des causes antécédentes, par quoi est conditionné le problème posé : l'évaluation des Ecoles Thématiques (cadre 1)ne peut être abordée sans référence aux processus de formation dans ces dispositifs (cadre 2) ; ces derniers n'ont de sens que par rapport au problème de Ia formation permanente des chercheurs (cadre 3) ; mais Ia formation permanente ne peut être totalement dissociée de Ia formation initiale (cadre 4) ; et comment poser le problème de Ia formation a Ia recherche sans en référer a Ia politique de Ia recherche ? (cadre 5). La seconde procédure évoquée invite 21 ne pas s'enfermer dans un raisonnement linéaire qui déduirait chaque champ de questions du précédent : on peut procéder a un balayage de 1 a 5 , de 5 a 1, etc., I'essentiel étant de disposer d'une première hypothèse qui permette de structurer les questions de l'investigation. ((

3.2

I

I

))

Les questions de I'évaluation

Le thème de chaque cadre (Ia politique de Ia recherche, Ia formation a Ia recherche, etc.) donne lieu a une série de questions dont on peut entrevoir ici les principaux exemples : O cadre 5 : Ia politique de Ia recherche 5.1 Quelles sont les missions et les finalités de I'Institution ? Dans ce cadre, i1 conviendra de découvrir comment I'on passe des missions aux stratégies et en particulier comment se justifient les axes stratégiques de référence pour Ia formation. 5.2 Quels sont les enjeux nationaux et internationaux pouvant influer sur cette politique ? 5.3Que1 role et quelle influence jouent les différentes instances sur Ia conduite de Ia politique de Ia recherche ? on observera en particulier Ia répartition des initiatives entre le national et le régional », entre les directions et les départements, entre ces derniers et les laboratoires, etc. i ((

))

((

O cadre 4 : Ia formation 21 Ia recherche 4.1 Quelle politique de recrutement ? On regardera par exemple les rapports avec Ia formation initiale antérieure. 4.2 Quelle formation initiale des chercheurs ? (en particulier Ia formation universitaire et les formations complémentaires).

142

CONSTRUIRE UN RÉFÉRENTIELD'ÉVALUATION

4.3 Quelle évaluation de Ia recherche et des chercheurs ? (cette question parait utile a traiter, si l'on veut mieux comprendre les exigences qui peuvent amener les chercheurs a suivre telle ou telle formation). 4.4 Quelles finalités de Ia formation ?

O cadre 3 : Ia formation permanente des chercheurs

O

3.1Quelles conceptions de Ia formation permanente/continue ? II sera nécessaire, a ce sujet, de mettre en perspective les conceptions des différents acteurs. 3.2 Quels dispositifs de formation proposés aux chercheurs ? Leur diversité se prête-t-elle à une typologie ? 3.3Quelles situations d'apprentissage dans ces dispositifs ? cadre 2 : Ia formation dans les Ecoles Thématiques 2.1 Quels objectifs ? On distinguera les objectifs prescrits au dispositif et les objectifs formulés dans les projets d'((écoles 2.2 Quels dispositifs didactiques ? 2.3 Quelles situations et quels procesus d'acquisition de connaissances ? 2.4 Quelle culture (ou : quelles cultures ?) et quelle combinaison de caractéristiques spécifient les écoles ? cadre 1 : l'évaluation des Ecoles Thématiques 1.1 Qu'est-ce que I'évaluation des écoles ? Comment cette évaluation est perçue, conçue, attendue ? 1.2 Quelle évaluation dans les écoles ? Quelles pratiques antérieures ? Quelle utilisation ? )).

O

))

((

((

))

On a pu voir, A travers cet exemple, Ia différence essentielle entre les questions de Ia commande ((( qu'est-ce qu'une « école ? et quelle politique de formation pour les écoles ?) et celles de I'étude qui viennent d'être exposées ((( que1 role des différentes instances dans Ia politique ? que1 recrutement, quelle évaluation de Ia recherche ? etc.). Cette différence peut se détailler ainsi : - pour répondre à Ia question de Ia commande il est nécessaire de savoir les réponses aux questions de I'étude - les questions de Ia commande relevaient du registre stratégique : elles appartiennent au commanditaire. Celles de I'étude relèvent de Ia méthodologie de l'évaluation : elles appartiennent aux évaluateurs. L'investigation peut maintenant commencer sur ces nouvelles bases. ))

((

((

))

))

((

)),

3.3

Les directions d'investigation et les matériaux

On donnera ici, à titre d'illustration, quelques pistes d'investigation, sachant que chaque rubrique du système de questions précédent appelle une recherche d'informations appropriée.

Constnnre un référenriel pow évalw un dispositif de fomation

143

O cadre 1 : Ia politique de Ia recherche -

O

rechercher les formulations de missions, d'enjeux, d'orientations des différentes instances - repérer les partenariats - matériaux : textes officiels (loi d'orientation de 1982 ; plan de modernisation de 1989 ; schéma stratégique de 1990 ; plans d'action des Départements Scientifiques du CNRS ; documents de 1'OCDE...) cadre 2 : Ia formation 21 Ia recherche - faire I'inventaire des lieux, programmes et modalités de formation a Ia recherche - examiner les critères de recrutement et isoler le critère formation - décrire les modalités d'évaluation de la recherche et des chercheurs, dégager les critères et isoler ceux en rapport avec Ia formation - matériaux : programmes des cursus universitaires de troisième cycle, rapports des instances de recrutement et d'évaluation, rapport de conjoncture, schéma stratégique, documents sur I'évaluation de Ia recherche de I'OCDE, programmes d'« écoles », etc. ((

73

))

O cadre 3 : Ia formation permanente des chercheurs

-

O

rechercher les liens entre formation initiale et formation permanentecontinue des chercheurs - identifier les dispositifs et les situations spécifiquement affectés à Ia formation continue - faire I'inventaire et, si possible, une typologie des situations d'apprentissage mises en place matériaux : programmes des formations complémentaires, catalogues de stages de formation, etc. cadre 4 : Ia formation dans les Ecoles Thématiques - relever les formulations d'objectifs dans les textes prescriptifs et dans les projets d'« écoles rédigés par les promoteurs - décrire les supports didactiques (activités, procédures, programmation) - établir une typologie des situations d'apprentissage - isoler les caractéristiques du dispositif école matériaux : textes prescriptifs, projets d'« écoles », rapports d'évaluation d'. écoles discours des acteurs cadre 5 : I'évaluation des Ecoles Thématiques - faire l'inventaire des évaluations existantes (locales et globales) - dégager les conceptions des acteurs sur I'évaluation de Ia formation en général et sur I'évaluation des « écoles en particulier, a travers les discours d'une part, et les modalités d'évaluation figurant dans les différents documents, d'autre part - construire le référentiel d'évaluation des écoles » - concevoir et expérimenter des instruments d'évaluation des écoles » - matériaux : rapports d'évaluation d'((écoles discours des acteurs. ))

((

))

)),

O

))

((

)),

144

CONSTRUIRE UN REFERENTIEL D'ÉVALUATION

L'évaluateur dispose ainsi jusqu'a maintenant : = évaluer les Ecoles Thématiques dans le cadre d'une politique de la recherche et de Ia formation (1.emboitement des dimensions du problème) - d'un système de questions qui structurent la recherche d'informations (2. questions qui en découlent) - pour chacun de ces groupes de questions, de consignes pour l'investigation et des sources d'informations existantes ou a construire (3. les directions d'investigation et les matériaux a constituer). 11 lui reste a construire un support méthodologique de traitement des informations recueillies dans ces matériaux.

- d'une problématique d'ensemble

"

b

4 Les modes de traitement et d'analyse O n a vu que Ia problématique posée ici à I'évaluateur était vaste (avec des interrogations en cascade), que les questions partaient dans des directions très variées, que les consignes d'investigation s'intéressaient a des informations parfois dispersées : c'est effectivement Ia que réside une grande partie de Ia difficulté de I'évaluation d'un dispositif complexe. On se trouve devant une alternative périlleuse. Ou bien I'on s'attache a prendre en compte I'ensemble des questions que pose l'évaluation du dispositif et on obtient des investigations diversifiées et, par conséquent des diagnostics multiples et non nécessairement cohérents, le risque étant une perte de sens en termes de lisibilité globale du dispositif. Ou bien, pour éviter cet écueil, dans un souci de clarté et donc de simplification, on décide la représentativité de quelques éléments que I'on traite a I'exclusion des autres. On obtient alors des jugements inférés qui, même s'ils sont annoncés comme plausibles ou simplement indicatifs (et I'on revoit apparaitre ici I'attrait des indicateurs), n'en constituent pas moins des résultats plus incertains. Or ceux-ci seront néanmoins reçus comme définitifs et généralisables par les partenaires de I'évaluation. D'ou Ia nécessité d'intégrer au processus de référentialisation un cadre méthodologique permettant des synthèses : ce cadre, d'une part utilise des modèles appartenant aux sciences humaines et sociales (sociologies, psychologie sociale ou cognitive, analyse de discours) ou a certains de leurs champs d'application (théorie du curriculum, évaluation éducative, analyse des effets de I'école, etc.) et, d'autre part élabore un protocole spécifique a Ia référentialisation d'un dispositif. Le tableau suivant permet, de manière synoptique, de pointer les différents modes d'analyse des informations définies dans Ia phase précédente en fonction du type de question (sur la politique, sur les apprentissages, etc.), et du support a traiter (document, discours, questionnement, observation). On entrevoit ainsi Ia variété des approches et donc des analyses possibles de Ia même situation, en même temps que Ia nécessité de disposer d'un cadre général qui permette d'utiliser ces analyses dans une évaluation des effets du dispositif.

Constnlirãm Onférentiel pour Bvaluer un dispositií de fomation

Traitement et analyse des infomations

consignes d'investigation

1. Ia politique de recherche - inventaire de documents - fonulation d'orientations

2. Ia f m t i o n A Ia recherche - inventaire des programmes - recrutement - évaluation

3. Ia formation permanente des chercheurs - fo. initialelfo. permanente - dispositifs - situations d'apprentissage

4. la formation dans les Ecoles - objectifs - situations didactiques - caractérist. c< école n

5. I'évaluat'm des Ecoles- éval.

- existantes

-

conceptions de I'évaluation - référentiel

consignes d'investigation

145

.

146

CONSTRUIRE UN RÉFÉRENTIELD@ 'A '.LUR~O IN

Les quatre premières colonnes (analyse de contenu de documents, questionnement des acteurs, observation des situations de formation, expérimentation) désignent des techniques d'investigation. Elles intéressent à Ia fois I'évaluateur qui y trouve l'évocation de ses outils et le chercheur pour leque1 Ia construction des informations constitue une partie essentielle de sa méthode. Les suivantes (numérotées de 1 a 7) désignent des modes d'analyse empruntés a des champs scientifiques particuliers (sociologiedes organisations, psychologie sociale, psychologie cognitive, analyse de discours, mais aussi théorie du curriculum, théories de l'évaluation, analyse des effets de système - qui a déja, par ailleurs, pris la forme d'((effet école ou d'c(effet établissement ))). Ces colonnes intéressent d'abord le chercheur qui propose d'élargir le diagnostic posé sur un dispositif a Ia recherche de caractéristiques généralisables et de lois qui expliquent les résultats ; elles indiquent a l'évaluateur les prolongements possibles de Ia réflexion lorsqu'il interprète les résultats qu'il a obtenus. ))

Ce tableau ne comporte qu'un intérêt illustratif. donnant une idée de Ia construction méthodologique. I1 a, d'ailleurs, dans Ia réalité de I'étude évoquée, donné lieu a des compléments et des modifications. En tous cas, c'est le mode d'utilisation des résultats qui permettra, dans le chapitre 5, de réaliser Ia liaison entre les différents types d'informations ainsi construites.

5 La référentialisation et le référentiel OU en est I'évaIuateur ? -

-

-

i1 a reçu une commande globale (évaluer les écoles thématiques

qui a été reformulée a des fins de vérification et de compréhension i1 a formulé un projet d'évaluation qui répondait a Ia commande selon une conception de I'évaluation proposant de passer par la construction préalable, avec les acteurs, d'un référentiel de la formation a Ia recherche i1 a alors établi un plan organisateur de I'étude qui, a partir d'un emboite ment des dimensions du problème posé (politique de Ia recherche, formation permanente des chercheurs, etc.), a formulé les questions posées a l'évaluation par ces différentes dimensions, a f i é les consignes d'investigation et prévu les modes de traitement et d'analyse des informations. ((

)))

La référentialisation a) sa construction

Celle-ci a commencé avec le début de I'opération, et s'est poursuivie A chaque étape, chaque fois qu'il s'est agi de se demander par rapport a quoi le