L'ÉVALUATION DES POLITIQUES DE SÉCURITÉ ET DE PRÉVENTION DE LA DÉLINQUANCE EN EUROPE
Collection 'Logiques Sociales' dirigéepar Bruno
Péquignot
Série Déviance et Société dirigée par Philippe Robert et Renée Zauberman La série Déviance et Société regroupe des publications sur les normes, les déviances et les délinquances. Elle accueille notamment des travaux du Groupe européen de recherches sur les normativités (GERN), un réseau scientifique fédérant une trentaine de centres ou de départements universitaires travaillant sur les normes et les déviances dans onze pays européens. SICOT F., Maladie mentale etpauvreté, 2001. V ANNESTE Ch., Les chiffres des prisons. Des logiques élxmomiques à leur traduttion pénale, 2001.
GA YMARD maghrébines,
S., La
négoàation interculturelle chez les filles franco-
2002.
PONSAERS P., RUGGIERO V., Dir., La criminalité économiqueet finanàère en Europe,. Economic and Finanàal Crime in Europe, Paris, l'Harmattan, 2002. .
COTTINO A., Vie de dan. Un repenti se raconte (traduit de l'italien), 2004. GOURMELON N., Les toxicomanes en temps de sida ou les mutations d'une prise en charge, 2005.
PERETTI-WATEL
P., Cannabis, et"Sta!}l:du stigmate au déni. Les deux
morales des usages récréatifs de drogues illiàtes, 2005.
LÉVY R., MUCCHIELLI L., ZAUBERMAN R., Dir., Crime et inséturité: un demi-siède de bouleversements. Mélanges pour et avec Philippe Robert, 2006. BAILLEAU F., CARTUYVELS Y., Dir., Lajustice pénale des mineurs en Europe. Entre modèle Welfare et orientations néo-libérales, 2007. RENOUARD J.-M., Baigneurs et bagnards. Tourismes etprisons dans l'île de Ré, 2007. JALADIEU c., La prison politique sous Vicry. L'exemple des centrales d'Eysses et de Rennes, 2007. PÉROUSE DE MONTCLOS M.-A., États faibles et séturité privée en Afrique
noire. De l'ordre dans les coulisses de la périphérie mondiale, 2008.
SHAPLAND J., Justice, communauté et soàété àvile. Un terrain contesté, 2008. ZAUBERMAN R., Dir., Victimation et inséturité en Europe. Un bilan des enquêtes et de leurs usages, 2008.
ZAUBERMAN
R., Dir., Les enquêtes de délinquance et de déviance
autoreportées en Europe.
État des savoirs et bilan des usages, 2009.
Coordonné
par
Philippe ROBERT
L'ÉVALUATION DES POLITIQUES DE SÉCURITÉ ET DE PRÉVENTION DE LA DÉLINQUANCE EN EUROPE Contributions de Tim Hope, Philippe Robert, Sybille Smeets, Carrol Tange, Karin Wittebrood, Anne Wyvekens, Renée Zauberman
L' I-ftmattan
Cet ouvrage est le produit d'un séminaire organisé dans le cadre de l'action de coordination Assessing Deviance,Crime and Prevention in Europe (CRIMPREV [www.crimprev.euJ).financée par la Commission européenne (contrat 028300 dans le cadre du 6e PCRDT) et coordonnée par le Groupe européen de recherches sur les normativités (GERN, Centre national de la recherche scientifique, CNRS).
Mise au point éditoriale de Bessie Leconte (GERN)
@ L'Harmattan, 2009 5-7, rue de l'Ecole polytechnique; 75005 Paris http://www.librairieharmattan.com
[email protected] harmattan
[email protected] ISBN: 978-2-296-09881-7 EAN : 9782296098817
LES AUTEURS
Tim
Hope
est professeur de criminologie à Keele Universiry (Royaume-Uni). Il a été chercheur invité au Scottish Centre for Crime and justice &search, Edinburgh Universiry, et a occupé des postes à U niversiry of Manchester, U niversiry of Missouri Saint Louis (USA) et au Home Office &search and Planning Unit (1974-1991). Il a dirigé le programme de recherche Crime and Social Orderde l'Economic and Social &search Council (1993-1998).
Au cours des trois dernières années, il s'est impliqué dans l'analyse, la conception et la direction de la recherche évaluative en matière de prévention locale de la délinquance. Parmi ses articles récents sur l'évaluation des politiques: ~ The first casualty: evidence and governance in a war against crime, in Carlen P. (Ed.), Imaginary Penalities, Cullompton, Devon, Willan, 2008. ~ Pretend it doesn't work: the 'anti-social' bias in the Maryland Scientific Methods Scale, European journal on Criminal Poliry and &search, 2005, 11,3-4,275-296. ~ Pretend it works: evidence and governance in the evaluation of the Reducing Burglary Initiative, Criminology and Criminal justice, 2004, 4, 3, 287-308. Il a aussi déposé par écrit et par oral lors de l'enquête du Science and Technology Select Committee de la Chambre des Communes sur le rôle du conseil scientifique dans la détermination de politiques fondées sur l'examen des risques et des preuves.
Philippe
Robert
est
sociologue,
Directeur
de
recherches émérite au CNRS. Il a fondé et dirigé le Centre de recherches sociologiques sur le droit et les institutions pénales (CESDIP), le principal centre français de recherche sur le crime. Il a également fondé le Groupe européen de recherches sur les normativités (GERN) un réseau scientifique européen.
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
Dans le cadre de l'Action coordonnée CRIMPREV, il a co-organisé l'atelier dont ce volume est un des produits. Ses champs actuels de recherche sont la théorie sociologique du crime, la mesure du crime, les enquêtes de victimation-insécurité. Parmi ses publications récentes: ~ Sociologia do crime, Petropolis, Vozes, 2007 [www.editoravozes.com.br]. ~ Sociologiedu crime, Paris, La Découverte, Coll. Repères, 2005 [www.editionsladecouverte.fr]. ~ Bürger, Kriminalitat und Staat, Wiesbaden, VS Verlag fur Sozialwissenschaftenj GmbH, 2005 [www.vs-verlag.de].
Sybille
Smeets
est
chercheuse
au
Centre,
de
recherches criminologiques et professeure assistante à l'Ecole de criminologie de l'Université libre de Bruxelles (ULB). Ses domaines de recherche sont la police et le travail policier, les politiques loc~les de prévention et les liens entre les politiques de sécurité et l'Etat-providence. Elle a récemment codirigé : ~ Polices localeset autorités administratives.Je t'aime, moi non plus, Bruxelles, Politeia, 2008. ~ La fraude sociale. Une nouvellepriorité de politique criminelle ?, Bruxelles, Bruylant, 2009. Elle aussi récemment publié (avec C. Tange) : ~ Community Policing in Belgium: The Vicissitudes of the Development of a Police Model, in Wisler D., Onwudiwe L, (Eds), Patterns of Communiry Policing: An International Comparative Perspective, London, CRC Press, 2009, 125-148.
Carrol Tange est chercheur au Centre de recherches criminologiques de l'Université libre de Bruxelles (ULB), assistant aux Facultés universitaires Saint-Louis (FUSL) et professeur remplaçant à l'Université de Mons Hainaut (UMH). Ses domaines de recherches sont les politiques, les pratiques et la gestion policières. Il a récemment codirigé : ~ La police au Québec. L'art du réformismepragmatique, Brussels, Politeia, 2007. 6
Les auteurs ~ Out of the box. Un livre pour colorer et penser l'interculturalité et la police: la diversité dans la diversité, Bruxelles, Politeia, 2008. ~ Insights on Police. Quarter of a Century Research on Police in Europe and the Anglo-Saxon world, Brussels, Bruylant, 2009.
Karin Wittebrood Planbureau (SCP).
est chercheuse
au Sociaal en Cultured
Elle s'intéresse à la victimation et à la peur du crime, à l'impact du contexte local sur ces questions et à l'efficacité des politiques destinées à réduire la délinquance et l'insécurité. Elle a récemment publié dans le British Journal of Criminology,European SociologicalReview, Homicide Studies et Social Problems.
Anne Wyvekens est chargée de recherches au Centre d'études et de recherches des sciences administratives et politiques (CERSA) affilié au CNRS et à l'Université PanthéonAssas. Elle est également professeure invitée aux Facultés universitaires Saint-Louis (FUSL). Elle a travaillé comme expert scientifique auprès du Comité sur le partenariat dans la prévention de la criminalité au Conseil de l'Europe et contribué à la publication qui a suivi (A partnership approach to crime prevention, Strasbourg, Council of Europe, 2004). De 2002 à 2005, elle a dirigé les recherch~s à l'Institut des hautes études de la sécurité intérieure (IHESI, ministère de l'Intérieur). Elle est membre du comité scientifique du Centre international de prévention du crime (CIPe) et travaille avec le Forum européen pour la sécurité urbaine (FESU). Ses recherches portent sur la justice pénale, la prévention de la délinquance, les politiques locales de sécurité, la justice des mine-grs, les politiques urbaines en France et à l'étranger (Europe, Etats-Unis). Parmi ses récentes publications, on peut citer: ~ Espace public et sécurité,Paris, La Documentation Française, 2006. ~ La magistraturesociale.Enquête sur lespolitiques localesde sécurité Paris, La Documentation Française, 2004 (avec Jacques Donzelot). 7
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
~ Faire société, la politique de la ville aux États-Unis et en France, Paris, Seuil, 2003 (avec Jacques Donzelot et Catherine Mevel).
Renée Zauberman est chargée de recherches (CNRS) au Centre de recherches sociologiques sur le droit et les institutions pénales (CESDIP). Ses intérêts portent sur les normes et les déviances, en particulier la justice pénale et la délinquance. Elle a travaillé sur la Gendarmerie nationale et se concentre actuellement sur les enquêtes de victimationinsécurité. Dans le cadre de l'Action coordonnée CRIMPREV, elle a co-organisé l'atelier dont ce volume un des produits. Elle a publié: ~ Zauberman R. (dit.), Victimation et insécuritéen Europe. Un bilan des enquêtes et de leurs usages, Paris, l'Harmattan,
2008.
~ L'évolution de la délinquance d'après les enquêtes de victimation. France, 1984-2005, Déviance et Société,2008, 32, 4, 435-472 (avec Ph. Robert, S. Névanen, E. Didier). ~ Police, Minorities and the French Republican Ideal, Criminology,2003, 41, 4, 1065-1100 (avec R. Lévy).
8
INTRODUCTION Philippe
Robert - Renée Zauberman
En termes très généraux, l'évaluation d'une politique revient à mesurer son impact. L'évaluation des politiques de sécurité et de prévention de la délinquance est actuellement l'objet d'un large débat tant dans les discours officiels que dans les milieux scientifiques. Sous cet intitulé, on trouve une large gamme de pratiques de la simple incantation à des techniques hautement sophistiquées. Par ailleurs, la faveur apparente dont l'évaluation est souvent l'objet cache souvent de vraies résistances à sa mise en œuvre. Enfin les conditions d'une évaluation véritable sont l'objet de sérieuses controverses. Ce problème a été étudié dans le cadre d'une action coordonnée - Assessing Deviance, Crime and Preventionin Europe, CRIMPREV - financée par la Commission européenne dans le cadre du 6ePCRDT. Plus précisément, l'évaluation des politiques de sécurité et de prévention de la délinquance sont l'un des thèmes abordés dans l'axe thématique de cette action coordonnée consacré à la méthodologie et aux bonnes pratiques.
I - L'axe Méthodologie et bonnes pratiques Il s'agit de recenser les mises en œuvre les plus significatives d'instruments de connaissance de la délinquance et les usages qu'on en fait. On doit donc: - dresser une cartographie de la situation en Europe, - identifier les bonnes - mais aussi les mauvaises pratiques, - dégager les éléments de comparaison à l'intérieur de la zone européenne.
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
Le dernier demi-siècle a vu apparaître de nouveaux et puissants instruments de connaissance de la délinquance. Leur particularité consiste à s'affranchir des données institutionnelles dans lesquelles l'étude du crime s'était traditionnellement enfermée. Non seulement ces instruments ont renouvelé - au moins partiellement - la connaissance scientifique que l'on avait de la délinquance, mais encore ils peuvent constituer des outils importants d'aide à la décision. Pour autant, leur introduction s'est faite de manière très variable dans les différents pays d'Europe. En outre, la maîtrise de ces instruments est assez inégalement répartie dans la mesure où le nombre de spécialistes confirmés est restreint; en conséquence, les usages qu'on en fait sont plus ou moins pertinents. Enfin, les utilisateurs non scientifiques n'ont souvent qu'une connaissance limitée des potentialités de ces outils. De la sorte, il y a place dans CRIMPREV pour un axe (workpackage) dédié à recenser les mises en œuvre les plus significatives de ces méthodes dans les principaux pays européens et l'usage qui en a été fait... dans l'espoir de mettre au point et de diffuser à la fois des états du savoir et des catalogues de bons usages. La responsabilité de l'axe est partagée entre un pôle scientifique, le Centre de recherches sociologiques sur le droit et les institutions pénales (CESDIP), un professeur à l'Universitat central de Barcelona, un réseau européen de collectivités locales en matière de sécurité, le Forum européen pour la sécurité urbaine (FESU), et un organisme régional de coordination des programmes locaux de sécurité, Città sicure, afin de bien le situer à l'interface du monde scientifique et de celui des utilisateurs. Quatre méthodes ont été sélectionnées: - les enquêtes en population générale sur la victimation
et l'insécurité, - les enquêtes en population générale sur la délinquance autoreportée, -la confrontation des données d'enquêtes et de celles provenant de sources institutionnelles comme les statistiques de police, 10
Introduction
-
la recherche d'évaluation des politiques de sécurité.
Pour chacune de ces méthodes, on procède selon le même protocole en six phases. - Phase 1: élaboration d'une grille de rapport, choix d'un rapporteur général chargé de synthétiser les informations recueillies et de rapporteurs - une demi-douzaine par thème chargés de dresser l'état des savoirs et des usages dans différents pays où la méthode est suffisamment développée. Bien entendu, on ne parvient pas à les couvrir tous compte tenu des problèmes de disponibilité des experts pressentis. On ne vise pas l'exhaustivité, mais plutôt à présenter une sélection raisonnablement représentative de ce qui se fait dans la zone européenne, notamment dans les principaux pays. - Phase 2 : rédaction par chaque rapporteur d'un bilan concernant le pays ou la zone dont il est chargé, et circulation de ces documents. - Phase 3 : présentation des rapports et discussion au cours d'un séminaire réunissant les promoteurs de l'axe, le rapporteur général et les rapporteurs. - Phase 4: rédaction par le rapporteur général d'une synthèse des rapports et des débats. - Phase 5: validation de ce document par les promoteurs de l'axe et diffusion sous forme d'un fascicule de 50 pages en anglais et en français. - Phase 6 : publication de toutes les contributions en deux volumes, l'un en anglais, l'autre en français, tous deux dirigés par un membre du groupe de pilotage. Nous avons déjà publié, en 2008 et 2009, dans cette collection des ouvrages consacrés aux enquêtes sur la victimation et l'insécurité et à celles sur la délinquance et la déviance autoreportées : ~ Zauberman R. (dir.), Victimation et Insécurité en Europe,. un bilan des enquêtes et de leurs usages. ~ Zauberman R. (dir.), Les enquêtes de délinquance et de déviance autoreportées en Europe. Etat des savoirs et bilan des usages.
11
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
Il - L'atelier sur l'évaluation des politiques de sécurité et de prévention
de la délinquance
Alors que pour les autres ateliers - enquêtes sur l'insécurité et la victimation, sur la délinquance et la déviance autoreportées, comparaison entre ces enquêtes et les statistiques officielles - il a été assez facile de trouver des rapporteurs, au moins dans les pays européens où ces méthodes étaient suffisamment répandues, nous avons rencontré de nombreuses difficultés à mettre sur pied une équipe pour prendre en charge la question de l'évaluation1. Nous avons donc décidé de ne pas tenté de couvrir un grand nombre de pays européens mais de réunir une gamme de pays où l'expression 'évaluation des politiques de sécurité et de prévention de la délinquance' renvoie à des pratiques très divergentes. Nous n'étions cependant pas au bout de nos peines puisque les rapporteurs allemands qui avaient accepté de participer, ont déclaré forfait quelques jours avant le séminaire et n'ont plus donné signe de vie par la suite. Finalement, l'équipe travaillant dans cet atelier comprend: * Sybille Smeets et Carrol Tange (O. L. Bruxelles), pour la Belgique, * Tim Hope (Keele U.), pour l'Angleterre et le Pays de Galles, * Anne Wyvekens (Centre d'études et de recherches de sciences
administratives
et politiques
- CERSA - CNRS et U.
Panthéon-Assas) pour la France, * Karin Wittebrood (Sociaalen CultureelPlanbureau,SCP) pour les Pays-Bas, * Philippe Robert (Centre de recherches sociologiques sur le droit et les institutions pénales - CESDIP - CNRS, U. Versailles Saint Quentin et ministère de la Justice) comme rapporteur général en remplacement de Wolfgang Heinz (O. Konstanz) qui en était initialement chargé, 1 Ainsi les différents donné
12
suite.
rapporteurs
scandinaves
sollicités
n'ont
finalement
pas
Introduction
* Renée Zauberman (Centre de recherches sociologiques sur le droit et les institutions pénales - CESDIP), Amadeu Recasens i Brunet (Universitat central de Barcelona), Rossella Selmini (Città sicure, Università degli studi di Macerata), Michel Marcus (Forum européen pour la sécurité urbaine FESU) pour le groupe de pilotage. En octobre 2007, les rapporteurs nationaux ont reçu du groupe de pilotage une lettre de commande. Ils ont remis leurs rapports en juin 2008. En juillet 2008, un séminaire, présidé par Philippe Robert, s'est tenu pendant trois jours à l'Université de Bologne, réunissant le groupe de pilotage, le rapporteur général et les rapporteurs nationaux. On y a présenté et discuté les rapports pour en tirer des leçons comparatives. Ces travaux ont constitué la base du rapport final d'abord publié sous forme de brochure bilingue (Robert, 2009a). Le présent volume le reprend et comprend également les rapports nationaux. Outre la publication française, cet ouvrage est aussi publié en anglais (Robert, 2009b) dans la série Criminologische Studies des presses de la Vrije UniversiteitBrussels. Les deux publications ont été dirigées par Philippe Robert. Renée Zauberman a révisé les traductions.
13
L'ÉVALUATION DES POLITIQUES DE SÉCURITÉ DE PRÉVENTION EN EUROPE
ET
Philippe Robert L'évaluation constitue une matière paradoxale: chacun chante ses louanges, mais, en réalité, tout le monde s'en méfie. Du côté des décideurs - politiques et administratifs - on serait charmé d'entendre démontrer (avec l'aura de la science) que ça marche,mais on craint toujours, comme le dit Tim Hope (infra), que la politique sur laquelle on a fondé son succès et sa réputation ne soit pas jugée aussi bonne qu'on l'affirme. Du côté des scientifiques, on redoute la difficulté de la démarche, on craint toujours le ridicule d'avoir déclaré efficace un programme que s'avèrera finalement contre-productif. Surtout, on appréhende de se faire sans cesse tordre le bras par des commanditaires qui n'admettent qu'une évaluation louangeuse. Ainsi Sybille Smeets et Carrol Tange (infra) montrent que les universitaires belges ont accepté de participer à des appels d'offres d'évaluation parce qu'ils y trouvaient le moyen de pénétrer des domaines jusque-là fermés à leur investigation, plutôt que par enthousiasme pour la recherche évaluative. En somme, chacun des protagonistes, décideur ou chercheur, a peut-être beaucoup à gagner potentiellement dans le recours à l'évaluation, mais il risque aussi d'y perdre énormément. Et c'est peut-être ce qui explique les réticences concrètes à travailler sur un thème dont pourtant tout le monde parle. Dans une première partie, nous allons d'abord détailler les avantages et les inconvénients de l'évaluation. Nous montrerons ensuite les différents usages qui en sont faits dans les pays retenus comme exemples typiques. Ensuite, nous montrerons comment on peut chercher à bénéficier des apparences de l'évaluation sans en assumer les nsques. C'est seulement après que nous passerons en revue les critères de l'évaluation, ses préalables et ses savoir-faire.
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
I - Des avantages et des inconvénients de l'évaluation!
1 - Des raisons qui militent en faveur de l'évaluation Barder les politiques que l'on lance de dispositifs d'évaluation peut être un moyen efficace de prévenir les critiques ou d'y répondre. Qui ne se préoccupe pas de faire évaluer ce qu'il entreprend s'expose à rester sans voix et sans argument le jour où se lèveront les critiques. L'action dont l'impact n'est pas mesuré finit toujours par attirer son Martinson (1974) qui vient déclarer Nothing works. Et quand bien même la critique serait faiblement fondée, médiocrement menée, voire même de mauvaise foi, ses résultats peuvent être dévastateurs si l'on n'a pas pris les devants en commanditant régulièrement des études d'impact. Des politiques qui pouvaient cependant mobiliser de bons arguments en leur faveur ont ainsi été balayées tout simplement parce que leurs responsables n'avaien! pas prévu à temps les moyens de prouver leur utilité. Evaluer peut donc permettre d'abord de résister aux critiques mal fondées; mais toute contestation n'est pas dénuée de raison: quand une politique ou un programme s'est longtemps dispensé de toute évaluation, il peut avoir dérivé à bas bruit si massivement qu'on finira par lui découvrir des nocivités ou des inutilités si fortes et si anciennes qu'il paraîtra alors trop tard pour redresser la barre: tout abandonner semblera préférable ou changer radicalement de cap2. Sherman et al (1997) en donnent un bel exemRle avec l'histoire de la Law Enftrcement Administration Agenry. A ce moment, on aura l'impression d'avoir dépensé pour rien beaucoup d'énergie et beaucoup de moyens. Disposer d'évaluations peut aider à prévenir une issue aussi fatale. Au delà de ces fonctions défensives, mesurer l'impact de ce que l'on entreprend peut permettre d'évoluer, d'ajuster son action. Les politiques de sécurité et de prévention recouvrent ! Voir p. ex. Robert, 2003, 2009. 2 Ex. in Robert, 1994.
16
L'évaluation despolitiques de sécurité et deprévention en Europe
un domaine tellement vaste que leur mise en œuvre est fatalement instable et qu'il faut constamment redresser la barre. Elle recouvre, en effet, tous les moyens possibles pour rendre moins fréquents des comportements incriminés. Les vertus dissuasives prêtées à la répression pénale sont loin de l'épuiser, loin de là: elles n'occupent qu'un chapitre dans le rapport de Lawrence Sherman et al. (19973) au Congrès américain sur la prévention de la délinquance4; les autres sont consacrés au voisinage, à la famille à l'école, au travail, aux lieux criminogènes, à la police enfin dont les actions ne sont pas uniquement répressives. On peut en imaginer une très longue liste: tout le jeu des relations sociales peut être mis à contribution. Chacune de ces formules a ses faiblesses. Celles qui sont très générales risquent toujours de manquer la cible, de se disperser sans aucun effet préventif notable: c'est le reproche fait dans les années 1960 aux grands programmes urbains sursaturants5. Elles risquent aussi d'entrer en contradiction avec des politiques répressives décidées par ailleurs sans aucun souci de synergie tant il est peu aisé de mettre en phase le social et le pénal: ainsi reproche-t-on souvent aux activités policières de répression de l'immigration irrégulière et du commerce de produits prohibés de ruiner tous les efforts pour éviter la ghettoïsation des zones urbaines en difficulté en créant dans ces quartiers un climat d'affrontement permanent entre habitants et institutions. Quant aux préventions spéciales, elles peuvent manquer d'adossement dans un environnement trop défavorable: ainsi Sherman et al. (1997) remarque-t-il que les programmes préventifs n'arrivent pas à lutter à eux seuls contre les effets ravageurs de la ségrégation urbaine et sociale dans les hyperghettos urbains. En ce cas, les actions spécialisées peuvent céder à une exaspération sécuritaire qui les rend surtout productrices d'effets pervers. Devant ces périls, les politiques de sécurité restent rarement ou du moins rarement longtemps - abonnées à un seul modèle. Plus généralement, en tout cas tôt ou tard, elles les mélangent 3 Rééditions élargies: Sherman et al, 2002, 2006. 4 Un bilan qui revisite quelques 500 évaluations étalées sur quarante ans. 5 Voy. p. ex. bilan in Robert, Lascoumes, 1974. 17
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
dans des proportions variables. La prévention oscille sans cesse entre le trop général et le trop spécifique. C'est une politique publique instable par nature dont il faut sans cesse corriger la trajectoire. Un accompagnement évaluatif constitue alors un équipement utile pour le décideur qui veut échapper à la tyrannie des modes, des effets d'opinion ou des pressions intéressées des praticiens les plus influents. Le discours évaluateur peut surtout aider à rendre compte de l'action (accountabiliry) non seulement aux instances politiques qui décident et financent, mais aussi aux populations concernées ou à celles qui vivent à proximité. On néglige souvent cet usage, peut-être parce qu'il demande quelque effort: il y faut évidemment un langage adapté pour être compréhensible. Il peut être pourtant fort utile pour prévenir les hostilités et susciter les participations. Souvent, les responsables locaux se plaignent de la difficulté à impliquer les populations concernées; il faut bien dire qu'on n'en prend pas souvent les moyens: il y faut au moins un débat sur la base d'un compte rendu sérieux des impacts (positifs et négatifs) des actions ou de ceux qui sont attendus des projets au vu d'évaluations antérieures. Cet usage de l'évaluation est également susceptible de mettre en lumière les attentes de sécurité: les responsables ont naturellement tendance à penser que leur production s'adapte naturellement aux attentes sociales. C'est l'occasion pour eux de v~rifier si les impacts de leurs actions répondent à des attentes. A vrai dire, le problème se pose en termes plus compliqués. Dans le domaine de la sécurité publique comme dans d'autres matières, les attentes sont généralement diverses et souvent contradictoires: les groupes de jeunes des quartiers à l'abandon n'ont pas souvent les mêmes que les commerçants du centre-ville ou les retraités des banlieues résidentielles. L'art du politique consiste justement à combiner des attentes divergentes dans toute la mesure du possible6 et à opérer des arbitrages entre ce qui est 6
Anne Wyvekens (2008) donne d'intéressants exemples d'opérations de prévention visant à faire apprendre à des publics aux attentes hétérogènes à coexister dans des lieux publics parisiens comme le parc de la Villette ou des grandes gares de chemin de fer.
18
L'évaluation des politiques de sécurité et deprévention en Europe
incompatible en se référant au compromis social qui fonde dans une société donnée la légitimité de l'action publique. Rendre compte de l'impact des programmes en termes compréhensibles à des publics divers peut rendre plus aisée la clarification des choix qui sont à la base des politiques et faire apparaître d'éventuels effets pervers qui resteraient autrement ma perçus.
2 - Des résistances
à l'évaluation
Pourquoi donc, avec tous ces mérites, l'évaluation se heurte-t-elle à d'aussi fortes résistances? Il faut prendre en compte les réticences, peu avouées, de responsables, nationaux ou locaux, qui répugnent à ce qui leur apparaît comme un contrôle. Ce n'est pas que tous rechignent devant l'obligation de rendre compte, mais s'ils en admettent la nécessité, c'est souvent au seul profit du débat politique, celui qui leur est familier. Moins volontiers, admettent-ils une démarche qui leur paraît technocratique. Dans certains pays, on soupçonne même l'évaluation de participer d'une conception gestionnaire7 qui évacue la spécificité de l'action publique au profit d'un emprunt aux modes de raisonnement et d'action de l'entreprise. Il y a du vrai dans cette objection, toutefois l'emprise gestionnaire plaide surtout en faveur d'un contrôle de programme (monitorin~ ou d'un audit (auditin~ qui se préoccupent surtout de vérifier l'adéquation des mises en œuvre aux objectifs proclamés ou leur rentabilité fmancière8, ce qui ne constitue qu'une caricature de recherche évaluative. Quelquefois, les réticences des responsables viennent d'un souci moins noble que celui de préserver le champ du débat politique. Par exemple la volonté de conserver une marge 7 Managériale, en franglais. 8 Exemples dans Leigh (2000) - à propos de l'obligation d'une amélioration
de l'ejjicienryde 2% par an dans le Crime and DisorderAct - ou Braga, Weisburd, Waring, Green Mazerolle, Spelman, Gajewski (1999) avec l'importance de l'estimation Value for Money du programme de réforme de la police de New jersey City. 19
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
de manœuvre: ainsi dans les formules de prévention générale, les responsables locaux peuvent trouver dans les programmes de financement des moyens complaisants pour abonder une action sociale sans aucun ciblage préventif. Ou, tout bonnement, la répugnance à rendre des comptes, la conviction que le responsable sait ce qui est efficace et bon pour la société, que toute vérification est superflue. L'évaluation peut aussi manquer non pas parce que les responsables y répugnent pour une raison ou pour une autre, mais parce que leurs attentes sont trop divergentes pour laisser à l'évaluateur une marge suffisante: écartelé entre les forts présupposés des forces politiques nationales, les exigences contradictoires des Finances, de la police, des travailleurs sociaux, des enseignants, des médecins, des procureurs, des juges, des élus locaux, des associations... il ne parvient pas à ménager l'autonomie nécessaire pour un travail sérieux. Finalement, on n'évalue rien et les arbitrages s'opèrent seulement au rapport de forces entre les différents protagonistes. Certaines mesures résistent davantage que d'autres à l'évaluation. D'abord, on ne peut, à proprement parler, évaluer toute une politique que par une sorte de méta-évaluation qui fait la somme des évaluations des différents programmes qui la composent. Pour évaluer, après les critiques de la Cour d'Audit, la politique Naar een veiliger samenleving inaugurée en 2002 par le premier gouvernement Balkenende, L. Van N oije et Karin Wittebrood (2008) ont, ainsi, dû passer en revue 149 évaluations. Par ailleurs, on a souvent soutenu que les mesures de prévention sociale sont plus malaisées à évaluer que celles de prévention situationnelle. Ainsi Karin Wittebrood (infra) déclare-t-elle inévaluables les programmes qui prétendent s'attaquer à des causes supposées de la délinquance comme l'école buissonnière, la qualité éducative des parents ou l'alcoolisme dans la mesure où cette relation causale demeure hypothétique9. La difficulté vient probablement du fait que les 9 Pour autant, Hope (infra) rappelle que le New Dealfor CommunitiesProgramme (NDC) qui poursuit la réduction du chômage, celle de la délinquance, l'amélioration de la santé et des emplois, la rénovation de l'habitat et de son 20
L'évaluation despolitiques de sécurité et deprévention en Europe
politiques sociales ne s'attachent qu'indirectement à réduire la délinquance ou l'insécurité, plus exactement elles cherchent à contribuer à de tels effets par l'intermédiaire de leur impact direct sur les conditions de vie des populations-cibles. Enfin, il est surprenant de constater que le domaine répressif est beaucoup moins soumis à évaluation que le préventiflO ; il en a pourtant encore plus besoin tant il repose massivement sur des assertions improuvées11 et l'évaluation s'y heurte peut-être à de moindres difficultés car il implique une participation individuelle et obligatoire des populations-cibles tandis que la prévention cherche à mobiliser une participation qui reste collective et volontairel2. Devant une situation aussi contradictoire, on a donc choisi de commencer par passer en revue les pratiques de l'évaluation des politiques de prévention et de sécurité dans quelques pays européens.
Il - Un échantillon
de conceptions
de l'évaluation
Plutôt que de couvrir un nombre important de pays européens, on a constitué une sorte d'échantillon de pratiques et même de conceptions très différentes de l'évaluation des politiques de prévention et de sécurité. En Belgique l'effort évaluatif - qui est lié aux contrats de sécurité entre l'Etat fédéral et des communes - semble plutôt perdre de la vigueur dans les dernières années. La France présente le cas d'une évaluation 'officielle' prise en charge par l'administration. Les Pays-Bas offrent l'exemple d'une méta-évaluation qui toise l'ensemble des matériaux nationaux disponibles à environnement sur 39 sites particulièrement défavorisés, a fait programme national d'évaluation. 10L'un des mérites de la méta-évaluation néerlandaise relatée par (infra) consiste justement à ne pas faire l'impasse sur le domaine cpd Mackenzie, 2006. 11Comme Lawrence Sherman le rappelait en 1997 à propos massif à l'emprisonnement. 12Comme le fait remarquer Tim Hope (infra).
l'objet d'un Wittebrood pénal. Voy. du recours
21
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
l'aune d'un canon scientifique 'quasi-expérimental' d'origine anglo-saxonne. Finalement, Angleterre et Pays de Galles présentent le cas d'une pratique évaluative ancienne et systématique qui couvre tout le champ des politiques de prévention et permet d'aborder des problèmes méthodologiques complexes 1 - Une évaluation
en peau de chagrin13
Les contrats de sécurité passés entre le ministère fédéral de l'Intérieur et des communes se sont accompagnés d'évaluations destinées à décider de la poursuite, de)'extension ou de la réduction des financements consentis par l'Etat central. L'ensemble de ces 'évaluations' sont dites 'sommatives' en ce seps qu'elles ont pour but de dresser un bilan de contrats entre l'Etat et une commune pour décider de sa poursuite. Certaines évaluations - dites 'administratives' - se présentent sous forme de tableaux synthétisant le nombre de contrats et de localités concernées, les allocations budgétaires, les dispositifs retenus, avec quelquefois des statistiques policières ou des données tirées du Moniteur de sécuritél4. D'autres - dites internes - doivent être réalisées par des agents rémunérés par les communes bénéficiant d'un contrat de sécurité. Mais, depuis 2005, ces évaluations se sont transformées en diagnostics (préalables) de sécurité obligatoires depuis 2007 - réalisés sur la base d'un guide méthod9logique mis au point par le ministère de l'Intérieur. A côté, un programme de recherche a été initié toujours, par le ministère de l'Intérieur - dès 1985 d'abord sur la police. A partir du début de la décennie suivante, il a été élargi aux politiques de prévention et de sécurité en vue de déterminer 13
D'après le rapport présenté sur le cas belge par Sybille Smeets et Carrol Tange (infra et réE. cit.) lors du séminaire de Bologne. 14Un questionnaire préparé par la police et administré par téléphone par une firme privée à un échantillon aléatoire de quelque 40 000 enquêtés. Les questions portent sur les problèmes dans le quartier, la victimation, l'insécurité, les contacts avec la police et le sentiment sur son fonctionnement. Il a été administré 6 fois depuis 1997. 22
L'évaluation despolitiques de sécurité et deprévention en Europe
les faiblesses des programmes et de contribuer à leur amélioration. On parlait alors d'évaluations 'formatives'. Pendant toute la dernière décennie du XXe siècle, des équipes universitaires ont ainsi étudié les processus et les fonctionnements de programmes portant sur la police communale, la police de proximité, le rapprochement entre police et citoyens, l'accueil des victimes, la réinsertion professionnelle, le hooliganisme, le décrochage scolaire, la coordination des projets... Il s'est agi de recherches surtout qualitatives qui ne se proposaient pas expressément de mesurer l'impact ,sur la délinquance et l'insécurité. A partir de 1999, les appels d'offres ont répondu à un souci de devenir plus opérationnel. Ils ont fait appel à des organismes gouvernementaux ou des structures privées. Le montant des contrats de recherche et leur durée se sont sensiblement réduits. Loin de chercher à évaluer l'impact de programmes ou de politiques, ces études se présentent surtout comme des inventaires de moyens ou des propositions de méthodes de gestion, de planification des politiques ou encore d'analyse des données. Malgré tout, les résultats de ces travaux sont très peu pris en compte par leurs commanditaires, sauf dans une perspective de 'mieux se connaître pour mieux se justifier' . Jusque-là, les politiques publiques tentaient des compromis entre une tendance libérale plutôt favorable à un renforcement des moyens répressifs, et une autre socialdémocrat~ faisant plutôt confiance aux contrats locaux de sécurité. A leur image, les évaluations réalisaient une sorte de compromis entre la mesure de l'impact des programmes et une étude qualitative des discours et du vécu des acteurs. Dans les années récentes, l'accent est mis sur la rationalisation des moyens dédiés à la sécurité et la concentration des financements d'évaluation sur des études directement gestionnaires où le monde scientifique tient de moins en moins de place.
23
L'évaluation des politiques de sécurité et deprévention de la dilinquance en Europe
2
- Une
évaluation administrativel5
Depuis le gouvernement Rocard de la fin des années 1980, l'évaluation des politiques publiques constitue une activité administrative tout à fait officielle. Un texte réglementaire lui a même été consacré une dizaine d'années plus tard: le décret 981048 du 18 novembre 1998 relatif à l'évaluation des politiques publiques. Cette activité semble généralement prise en charge par l'administration elle-même, le plus souvent par le truchement des corps d'inspection qui existent dans chaque branche de l'administration. Le plus prestigieux d'entre eux, l'inspection générale des Finances (IGF), paraît tenir une place prééminente, généralement en association avec l'inspection propre au ministère impliqué. La Cour des Comptes a également, parmi ses tâches permanentes, une fonction d'évaluation des politiques publiques. La place de ces deux organismes souligne la coloration très 'financière' de la conception officielle de l'évaluation à la française: il s'agit avant tout d'une vérification de la bonne utilisation des deniers publics. En ce qui concerne les politiques de prévention et de sécurité, toutefois, on ne trouve qu'un, nombre limité d'exemples à citer. En 1993, le conseiller d'Etat Jean-Michel Belorgey avait présidé une mission d'évaluation de la politique dite de la Villel6 mais sans faire une place très considérable aux programmes de prévention qui ont été intégrés dans cet ensemble de politiques publiques à partir de la fin des années 1980. Ce rapport faisait suite à un bilan des contrats locaux de Développement social des quartiers -l'ancêtre de la politique de la Ville - mené à bien en 1988 sous la direction de François Lévy, ingénieur général des Ponts et Chaussées. 15D'après le rapport présenté au séminaire de Bologne sur l'exemple français par Anne Wyvekens (itifra et réf. cit.). 16Il faut remarquer que le groupe chargé de cette mission ne comprenait pas seulement des administratifs: pour l'essentiel, le travail préliminaire a été mené par des scientifiques, notamment Jacques Donzelot qui s'est appuyé sur cette expérience pour publier ensuite un ouvrage avec Philippe Estèbe (1993). 24
L'évaluation despolitiques de sécurité et de prévention en Europe
Ce quasi-monopole administratif de l'évaluation des politiques, notamment de celles de prévention et de sécurité, semble s'accompagner d'une solide méfiance des décideurs politiques et administratifs à l'égard du monde scientifique, soupçonné de nourrir trop facilement des pensées critiques envers l'action publique. De leur côté, les milieux universitaires paraissent peu mobilisés par cette activité évaluatrice. Seuls des politologues spécialisés dans l'analyse des politiques publiques semblent lui accorder un certain intérêtl7, mais pas tous cependant: cette optique ne retient guère l'attention de ceux qui étudient les politiques publiques par le bas, sous l'angle des interactions entre l'agent administratif de base et le client, ou encore sous le point de vue de ce dernier. Il existe une sorte de consensus scientifique pour juger que ce qui est mis en œuvre par l'administration sous le terme 'évaluation' constitue seulement de l'audit interne et qu'il n'existe pratiquement pas en France de véritable évaluation des politiques publiques, notamment de celles de prévention et de sécurité. Toutefois, l'Institut national de la statistique et des études économiques (INSEE) a procédé à une étude de l'évolution de la situation relative des quartiers faisant l'objet de la politique de la Ville entre les recensements de 1990 et 1999. Ce travail de statisticiens publics est ce qui semble se rapprocher le plus d'une étude évaluative. Pour la période la plus récente, parmi les multiples observatoires nationaux opérant dans le champ des politiques de prévention et de sécurité, celui des zones urbaines sensibles et surtout celui des drogues et toxicomanies ont publié des rapports qui se rapprochent clairement d'une perspective évaluative. On peut encore citer quelques travaux particuliers, par exemple sur le recours à la vidéo surveillance dans les lycées de la région d'Ile-de-France, mais c'est pour relever que leur diffusion est sérieusement entravée par les consignes des commanditaires. 17 Voy. p. ex. Lascoumes,
Setbon,
1995; Kessler, Lascoumes,
Setbon,
Thoenig, 1998. 25
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
Finalement, il faut mentionner un certain nombre de travaux à tournure évaluative concernant le devenir de condamnés à différentes sortes de peines.
3 - Un exemple de méta-évaluation d'une politique de prévention et de sécurité18 Les interrogations de la Cour néerlandaise d'Audit sur les performances d'un programme de prévention et de sécurité lancé en 2002 ont conduit à la réalisation, par l'Institut néerlandais pour la recherche sociale (Sociaal en Culturee! Planbureau, SCP), d'une méta-évaluation en trois phases confiée à Van Noije et Wittebrood. Ces auteurs ont d'abord réuni quelque cent cinquante évaluations disponibles sur tel ou tel aspect de cette politique. Ils ont ensuite sélectionné celles d'entre elles qui semblaient conformes à un canon évaluatif défIni par rapport l'exercice classique réalisé sous l,a direction de Lawrence Sherman pour le Congrès des Etats-Unis, également aux critères du Campbell Collaboration Crime and Justice Group destiné à
favoriser le développement d'une évaluation quasiexpérimentale dans le domaine de la délinquance et de la justice pénale. Ils ont enfIn utilisé les travaux retenus pour passer en revue les différents chapitres de la politique gouvernementale sous examen l'application de la loi, la prévention 'développementale'19, la prévention situationnelle, enfIn les mesures systémiques - tout en soulignant qu'on ne disposait pas toujours des travaux nécessaires pour porter un jugement sur plusieurs aspects du programme inauguré en 2002 et qu'il était nécessaire d'encourager un développement plus systématique encore de l'évaluation quasi-expérimentale. Ce n'est pas la première fois que le gouvernement néerlandais fait ainsi procéder à une revue systématique des 18D'après le rapport présenté au séminaire de Bologne sur le cas néerlandais par Karin Wittebrood (infra et réf. cit.). 19 Developmentalprevention regroupe l'ensemble des programmes destinés à prévenir la délinquance des jeunes. 26
L'évaluation despolitiques de sécurité et deprévention en Europe
évaluations disponibles20. La matière première en est fournie grâce à l'habitude ancienne de réserver à l'évaluation 10% du montant des programmes de prévention et de sécurité. Pareille situation tend à montrer une certaine habitude de la métaévaluation, même si, à chaque fois, les réviseurs déplorent la qualité trop inégale des évaluations qui ont été pratiquées.
4 - Abondance d' évaluations et discussions méthode21
de
En Angleterre et Galles, depuis les années 1980, l'évaluation accompagne systématiquement les programmes de prévention et de sécurité. Qui plus est, depuis son retour au pouvoir en 1997, le Labour a couplé sa politique de réduction de la délinquance et des désordres avec une Evidence-basedpoliry and practice (EBPP) qui repose avant tout sur l'accumulation d'un savoir-expert construit à partir de l'examen systématique d'évaluations. Dans la réalisation de ces dernières, sont devenus de plus en plus influents les critères de standardisation développés dans la foulée des travaux de Sherman à l'Université de Maryland et de ceux du groupe qui poursuit la réflexion de Donald Campbell. On peut ainsi dénombrer les évaluations de : * Home Office CrimepreventionFeasibiliryStu4J basée sur une recherche action utilisant une méthode d'étude de cas; * NeighbourhoodWatch Evaluation qui met en œuvre une démarche quasi-expérimentale à partir de données d'enquêtes; * Communiry Policing Fear &duction également de tournure quasi-expérimentale; * PrioriryEstates Prqjectelle aussi quasi-expérimentale; * Kirkholt Burglary Reduction Prqject focalisée sur l'appréciation de l'efficacité de programmes axés sur le cambriolage à répétition;
20 Voy. Junger-Tas,
1989; Polder, Van Vlaardingen, 1992; Soetenhorst
de
Savomin Lohman, 1997 ; Van Dijk, 1993. 21 D'après le rapport présenté au séminaire de Bologne sur l'exemple anglogallois par Tim Hope (itifra et réf. cit.). 27
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
* Sqfer Citiesprogrammeparmi lesquelles une utilisation sophistiquée de méthodes micro-économétriques par Ekblom & al. (1996), mais aussi une autre recourant à des techniques qualitatives (filley, 1993a) ; * Design Improvement Controlled Experiment (DICE) au moyen d'une batterie de démarches incluant des données d'enquêtes; * Communities that Care (CtC) Demonstrations Prqjects pour la Joseph Rowntree Foundation par une équipe de l'Université de Sheffield; * New Dealfor CommunitiesProgramme(NDC) recourant à une batterie d'indicateurs et de démarches analytiques; * Crime Reduction Programme (CRP) regroupant quelques 80 études évaluatives focalisées sur la réduction du cambriolage et la surveillance à distance ; * CommuniryPolicingReassurance. Cette abondance de travaux utilisant des démarches et des données diverses permet une discussion approfondie de la méthodologie évaluative. C'est ainsi que le rapporteur britannique peut passer en revue les insuffisances d'une évaluation se contentant d'un modèle de 'boîte noire', discuter des mérites de l'évaluation 'd'expérimentation réaliste' de Pawson & Tilley (1997), montrer comment la démarche 'quasieXpérimentale' elle-même (Farrington, 2003) se heurte à des difficultés pour la solution desquelles il propose d'emprunter des enrichissements à la micro-économétrie. L'implication systématique de l'évaluation dans le pilotage des politiques de prévention et de sécurité met, par ailleurs, en mesure de débattre des retombées d'une si intense mobilisation des ressources scientifiq¥es et de leur arrimage à des finalités de politiques publiques. A ce propos, Hope (2009 et infra) avance qu'une telle situation pourrait conduire paradoxalement, non à une 'scientifisation' de la politique, mais à une politisation de la science, si elle se combinait avec une irrésistible aversion pour les résultats critiques. Il ne peut y avoir d'apport de la science à la politique que si chacune conserve son autonomie par rapport à l'autre, et donc ses vertus propres. Que l'évaluation des politiques de prévention et de sécurité renvoie à une gamme aussi contrastée de pratiques dans 28
L'évaluation despolitiques de sécurité et deprévention en Europe
des pays européens par ailleurs assez proches, montre la difficulté de la synthèse. Il faut pouvoir traiter des problèmes suscités par le déficit d'évaluation mais aussi de ceux suscités par son excès.
III- Les apparences de l'évaluation sans ses risques La tentation est grande de capturer les bénéfices de l'évaluation sans se soumettre à ses risques. Il y a deux manières d'y parvenir: la première consiste à s'évaluer soi-même, la seconde à contrôler tellement bien l'évaluateur externe qu'il est pratiquement contraint à des conclusions positives.
1 - Les charmes de l'auto-évaluation La manière la plus simple consiste à s'évaluer soi-même. Ainsi la réforme de l'organisation policière belge a permis, d'après Smeets et Tange (infra), de réserver les volets policiers des contrats de sécurité22 à une évaluation interne à cette administration. Wyvekens (infra) en donne l'exemple encore plus significatif de 'l'évaluation des politiques publiques' en France, une activité administrative régie par l'autorité réglementaire23 et prise en charge les corps d'inspection des différentes administrations. En réalité, le vérificateur est trop proche du dispositif d'action pour produire une véritable évaluation et ces prétendues 'évaluations' sont, au mieux, des audits internes. Parfois, elles n'atteignent même pas ce niveau: Roché (2005) cite ainsi 'l'évaluation' de la mise en place d'une police de proximité par des inspecteurs de l'administration et de la police: il n'y découvre qu'une longuelistedejugementssuijectifs. Sur la condamnation de l'auto-évaluation, il y a consensus des spécialistes, quelquefois même en termes assez rudes24.
22Ensuite devenus plans stratégiques de sécurité et de prévention. 23 Décret n° 98-1048 du 18 novembre 1998 relatif à l'évaluation politiques publiques. 24V oy, p. ex. Brodeur, 1998b.
des
29
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
De l'intérieur, le risque est trop grand de confondre le produit d'un programme avec ses effets sur une population ou un territoire, pour toute une série de mauvaises raisons. De cette position, on a si facilement accès aux données internes qu'on s'en satisfera volontiers25, sans examiner avec beaucoup de rigueur si elles mesurent ce que l'on a fait ou l'influence qu'a pu avoir cette action26. De l'intérieur, il est difficile d'échapper à la logique de l'action: si les objectifs n'ont pas été mis en œuvre ou s'ils l'ont été infidèlement, on le verra facilement; mais s'ils l'ont été, il sera difficile d'imaginer que l'effet sur la cible n'est pas nécessairement atteint ou qu'il diffère de ce qu'on escomptait. En tout cas, s'il parvient à apercevoir les effets escomptés, l'auditeur interne est dans la plus mauvaise position possible pour voir ceux qui sont inattendus, latéraux ou de déplacement. Concrètement, cette exigence produit deux conséquences. L'évaluation ne peut être demandée ni à un organe chargé de concevoir l'action ou de la mettre en œuvre, ni même à un organe chargé de contrôler l'action publique, par exemple à un corps d'inspection ou d'audit. Il est souhaitable par ailleurs que la responsabilité de l'évaluation dépende d'un organe qui n'est pas impliqué dans la conception et la mise en œuvre des politiques et des programmes27. S'évaluer soi-même ne procure que des résultats illusoires, des apparences d'évaluation. Dans sa révision des évaluations disponibles aux Pays-Bas, Karin Wittebrood (infra) conclut qu'aucune de celles réalisées en interne par les
25Ainsi, selon Smeets et Tange (infra), le ministère fédéral belge de l'Intérieur impose aux titulaires de contrats de sécurité d'utiliser les statistiques internes à l'administration 'pour des raisons d'objectivité' (sic). 26 Éventuellement, on pourra même parfois les présenter de façon à donner l'impression d'un résultat positif. 27 Ainsi le dispositif d'évaluation de la réforme policière à Chicago a été confié à un consortium de départements universitaires locaux commandité et financé par l'État de l'Illinois. Il se situe tout à fait en dehors de la municipalité et du corps policier qui ont la charge de concevoir et de mettre en œuvre Ie programme CAPS (Skogan, Hartnett, 1997a, b). 30
L'évaluation despolitiques de sécurité et deprévention en Europe
promoteurs de programmes de prévention et de sécurité n'atteint le niveau minimal de validité. Pour tenter de mieux sauver les apparences, un substitut consiste à faire appel à des cabinets privés. Smeets & Tange (infra) tout comme Wyvekens (infra) donnent de multiples exemples de la faveur dans laquelle est tenue cette solution tant en Belgique qu'en France: le plus souvent affranchis des canons de la recherche évaluative, ils sont aussi rapides que leur commanditaire le souhaite et leurs résultats ne sont pas contrariants. Aux Pays-Bas, Wittebrood (infra) les juge d'un niveau technique parfois acceptable, parfois insuffisant, mais en tous cas jamais critiques.
2 - Neutraliser l'évaluateur externe On comprend aisément que l'auto-évaluation (ou le recours à des cabinets privés complaisants) permette de s'approprier l'apparence de l'évaluation sans en courir les risques. Discerner un risque finalement comparable dans un 'excès' d'évaluation paraît plus paradoxal. Pourtant, l'intégration systématique de l'évaluation dans tout programme de prévention et de sécurité peut produire une sorte de domestication de l'évaluateur externe qui devient abonné aux contrats de l'administration au risque d'y perdre une partie de son indépendance, un peu comme le journaliste embeddeddans une unité militaire en opération. Il n'est pas absolument certain que la standardisation même stricte des opérations de recherche évaluative suffise à garantir contre ce péril. La technique méthodologique peut constituer une défense illusoire que l'on brandit d'autant plus volontiers que l'on sacrifie les autres critères de la production scientifique, le jugement des pairs et la publication des démarches et des résultats dans un format qui permette une réplication. Dans ce cas, loin de parvenir à cette 'scientifisation' de l'action politique qu'appelait de ses vœux l'initiateur de la démarche, Donald T. Campbell (1969) comme critère d'une bonne société 'ouverte', on parviendrait plutôt à une 'politisation' de l'activité scientifique. 31
L'évaluation des politiques de sécurité et de prévention de la délinquance en Europe
C'est probablement ce risque, plus encore, que les difficultés de méthode, qui retiennent beaucoup de scientifiques de s'impliquer dans l'évaluation. Mais, dans ce cas-là, le recours à l'évaluation n'apporterait plus réellement de valeur ajoutée qui suppose d'accepter le risque d'une conclusion négative de l'évaluateur et que ce dernier, lui-même, prenne toujours les moyens de pouvoir conclure négativement aussi bien que positivement. C'est ainsi que des évaluateurs confirmés (ainsi, Hope, 2009) insistent pour un maintien sourcilleux de l'autonomie et de la déontologie propres au monde scientifique dans une matière dont l'enjeu politique est si élevé parce que l'insécurité est devenue moins un problème à résoudre qu'un levier de gouvernement (governthroughcrime). IV - Les critères
de l'évaluation
La faiblesse de tous ces raccourcis destinés à obtenir les bénéfices d'une évaluation sans en courir les risques vient toujours d'une méprise sur ce qu'est l'évaluation.
1 - Audit interne et évaluation Comparer les objectifs et leur mise en œuvre, chercher à déterminer des coûts et à les comparer à des prévisions initiales, décrire des produits, les rapporter aux objectifs, toutes ces démarches s'apparentent à l'audit (auditiniJ, au calcul coût/ efficacité (valuefor monry) ou au contrôle de programme (monitoriniJ,mais elles ne constituent pas une évaluation28. Se limiter à mesurer ce qui a été fait n'est pas évaluer. L'évaluation ne commence qu'avec la détermination d'un impact. Un exemple29 permettra de faire sentir la différence: 28
Voy. p. ex. Sherman et al (1997) : la description de la mise en œuvre, son
contrôle (monitoriniJ, son audit ne valent pas évaluation; voy. aussi Brodeur, 1998b ou McKenzie, 2006, 342. 29 Emprunté au manuel édité par Hough, Tilley (1998) pour le Home Office afin de guider les autorités locales dans la mise en œuvre du Crime and DisorderAct de 1998. 32
L'évaluation despolitiques de sécurité et deprévention en Europe
l'installation de vingt caméras dans les rues d'une ville constitue un produit (outpuf) pas un impact (outcome): c'est ce que l'on a fait. En revanche, obtenir une baisse de 20% de la délinquance dans la rue ou une atténuation de la peur, constituent bien des résultats. Vérifier que l'on a bien fait ce que l'on avait prévu, ce n'est pas encore une évaluation même si ce préliminaire lui est nécessaire. L'évaluation commence quand on cherche, non
pas ce qui a été fait, mais la conséquence qu'a eue cette action sur une cible. Souvent cependant, on croit abusivement avoir évalué son action alors que la vérification n'a pas été poussée jusque-là, qu'elle s'est bornée à enregistrer les produits pas les impacts. On peut agir ainsi sous l'effet d'une mode gestionnaire ('managériale') qui insiste sur l'adéquation de la mise en œuvre aux objectifs ou sur la capacité à contrôler ses dépenses, et qui offre différentes techniques de vérification. Paradoxalement, cette posture peut très bien découler aussi d'une forte tradition administrative où le centre dispose de moyens d'inspection qu'il mobilise pour vérifier la fidélité des mises en œuvre par rapport aux intentions des politiques.
2 - L'évaluation et ses données Cette clarification de la nature même de l'exercice a des conséquences sur ses matériaux: en règle générale, les données internes au dispositif ne suffisent pas à évaluer30. La raison en est simple: tous ces comptages ne saisissent les événements qu'à travers les prises en charge institutionnelles dont ils font l'objet. Qu'un vol ou qu'une agression figure dans les statistiques policières dépend, non seulement de la survenance d'une victimation, mais encore de la propension de la victime à déposer une plainte et de celle de la police à enregistrer l'affaire sous une forme qui en permette le comptage. Un exemple permettra de saisir la difficulté: soit une augmentation des enregistrements policiers de la délinquance. Doit-on conclure à l'aggravation de cette dernière? Pas 30
P. ex. Brodeur, 1998b. 33
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
nécessairement, des enquêtes peuvent révéler, au contraire, une baisse des victimations. C'est la propension des victimes à se plaindre qui a cru31 ou la manière d'enregistrer les plaintes qui est devenue plus systématique32. La seule consultation des données officielles aurait induit en erreur. Par ailleurs, des comptages de fait ne permettent pas toujours d'apprécier la prévalence d'une victimation: soit une augmentation du nombre de délits enregistrés, elle peut provenir d'un élargissement de la population touchée ou bien, au contraire, d'une aggravation de l'incidence - il n'y a pas davantage de victimes mais chacune l'est plus souvent. Pour apprécier l'impact d'un programme de prévention, il faut absolument distinguer ces deux hypothèses, victimation diluée ou victimation concentrée. Souvent, seule une enquête le permet. Enfin, le relief d'une victimation dépend beaucoup de la manière dont elle est vécue. Dans une enquête33, nous étions en présence de victimes peu alarmées - leur mésaventure tenait à leur style de vie et il leur était facile de le modifier légèrement pour éviter une répétition, par exemple d'éviter de se promener dans certains quartiers à certaines heures - tandis que d'autres vivaient très mal des incidents guère plus graves - leur victimation était liée à leurs conditions de vie, il leur aurait fallu déménager, pour se mettre à l'abri et ils n'en avaient pas les moyens. Evaluer l'impact des programmes de prévention suppose de distinguer ces deux sortes de vécus. Là encore, de simples données institutionnelles ne suffisent pas, une enquête s'impose. Tilley (1995) fait aussi remarquer que les données institutionnelles sont susceptibles - c'est bien compréhensible, mais néanmoins trompeur - d'être présentées d'une manière tendancieuse pour donner à croire à l'efficacité de l'action entreprise, même si ses résultats ne sont pas évidents. 31 Cet exemple est rapporté par Wittebrood (infra) à propos de programmes néerlandais, comme ill' était par Sherman et al. (1997) à partir d'expériences américaines. 32Exemple in Hough, Mayhew, 2004. 33 Zauberman, Robert, Pottier, 2000. 34
L'évaluation des politiques de sécurité et de prévention en Europe
Seulement, se contenter de données institutionnelles préexistantes est généralement bon marché et (relativement) rapide, tandis que faire enquête coûte cher et demande du temps34. Que faire alors? D'abord, on peut mobiliser d'autres données préexistantes appartenant à d'autres secteurs35 et qui permettent des recoupements: les impayés des logements sociaux, les statistiques d'incidents scolaires, d'école buissonnière. .. Il est ensuite possible de pré-positionner des enquêtes, par exemple en réalisant dans le cadre d'un observatoire régional des enquêtes régulières sur la victimation, l'insécurité, la délinquance autoreportée. Même s'il faut grossir certains sous-échantillons pour travailler sur des zones précises, le coût sera moindre que celui d'une enquête montée à partir de rien et surtout la réalisation sera plus rapide. Enfin, mieux vaut évaluer seulement certains programmes et y mettre le prix en réalisant les enquêtes utiles plutôt que de prétendre tout évaluer sans données suffisantes. C'est ici que s'avère utile la disposition réservant, comme c'est l'usage aux Pays-Bas, à l'évaluation un pourcentage des crédits affectés aux politiques de prévention; Lawrence Sherman (1997) le dit explicitement: ils doivent permettre de mettre en œuvre les enquêtes coûteuses qui sont nécessaires à une évaluation sérieuse. Finalement, il ne faut pas attendre que le programme soit mis en œuvre ou, pis, achevé pour se préoccuper des données qui seront utiles à son évaluation: certaines doivent être recueillies avant son démarrage afin de pouvoir ensuite comparer les situations ex ante et ex post. Au chapitre des données, on doit encore se demander si celles qui sont quantitatives sont seules éligibles à la recherche évaluative. A priori, rien n'empêche de mobiliser dans une évaluation des données qualitatives. En concluant récemment, au Centre Marc Bloch à Berlin, une conférence de politologues spécialisés dans l'examen des politiques publiques au niveau des interactions entre 'l'agent de guichet' et ses clients, je 34Ekblom, 1998 ; Hough, Tilley, 1998. 35P. ex. Hough, Tilley, 1998; cpr Lagrange, Sina, 1998, encore qu'ils traitent du diagnostic préalable et estiment que l'évaluation doit faire appel à d'autres données. 35
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
remarquais que certaines de ces observations ethnographiques auraient pu fournir un bon matériau évaluatif. On sait, par ailleurs, que Tilley (1993a, b) a mobilisé des techniques qualitatives dans l'évaluation de portions de Sqfer Cities. Pawson & Tilley (1994, 1997) ont plaidé pour une évaluation 'réaliste' qui recourt au qualitatif, ce qui a déclenché une controverse avec les promoteurs du Campbell CollaborationCljme and Justice Group et notamment David Farrington (2003). A vrai dire, la discussion dépasse le seul statut des données; elle porte plutôt sur la critique d'une méthode quasi-expérimentale à laquelle Pawson & Tilley reprochent de rechercher ce qui marche. Pour eux, en effet, il n'est possible d'évaluer que ce qui a marché dans un contexte donné et compte tenu de ce contexte... au moyen d'observations plutôt ethnographiques. Quel que soit le sort de cette querelle, il n'est pas certain qu'il porte condamnation du recours au qualitatif dans l'évaluation36. En tout cas, mesurer l'impact d'un programme demande de ne pas s'arrêter à un simple audit ou à un contrôle de gestion, de séparer l'évaluation du pilotage de l'action, enfin de se donner les moyens de générer des données extérieures au dispositif sous examen.
v - Mesurer préalablement la consistance à évaluer
de l'action
Pour autant, si la mesure de ce qui a été fait ne peut tenir lieu d'évaluation, elle en constitue pourtant le préalable obligatoire, afin d'éviter de mesurer l'impact de ce qui n'a pas vraiment eu lieu. Il faut donc commencer par déterminer la consistance de ce dont on va rechercher l'impact. Peu de domaines de l'action publique sont davantage sujets aux effets d'annonce que celui de la criminalité: on parle et l'on promet, mais ces affichages sont loin de constituer des descriptions fidèles de ce 36 Toute l'œuvre de M.Q. Patton (voir notamment 1980) constitue un énergique plaidoyer en faveur de démarches qualitatives d'évaluation. Il définit cette dernière: déterminer comment un programme affecte les gens (328). 36
L'évaluation des politiques de sécurité et deprévention en Europe
que l'on va réellement entreprendre. Il faudra ensuite être capable de distinguer l'échec dû à l'inefficacité du programme de ceux imputables tout simplement à une absence de mise en œuvre ou à son incomplétude. On admet généralement que la phase préliminaire de l'évaluation doit rendre compte des oijectifs, des mqyens (inputs), de la mise en œuvre, des produits (outputs). Ce sont les premiers qui posent le plus de difficulté: généralement, on charge la barque et l'on annonce une multitude d'objectifs, parfois sans aucune relation compréhensible avec les mesures prises37. En cas de partenariat multiple, qui est le plus souvent la règle, ces finalités peuvent différer d'un protagoniste à l'autre et quelquefois se contredire38. Enfin, certains jugent nécessaire de distinguer les buts affichés de ceux qui restent latents. On risque bien de se lancer dans une course épuisante à la détermination des intentions. La tâche serait-elle plus aisée quand on descend de la politique globale au programme particulier? Je suis arrivé à conclure qu'il n'était pas souhaitable de trop s'attarder à ce premier point: l'auditeur ou le contrôleur de gestion s'y attacheront eux fortement; pour l'évaluateur, c'est le contenu de l'action qui compte bien plus que les objectifs de départ. Cependant, leur prise en compte peut peser, dans une certaine mesure sur le choix des critères, en évitant de choisir ceux qui correspondraient à un but étranger à la logique de l'action entreprise. Ainsi la formule de police communautaire ou de Communiry Policing9 implique le choix d'une démarche préventive ou aprioriste plutôt que répressive ou aposterioriste. On va exercer une surveillance propice à dissuader plutôt que d'attendre la commission du délit pour intervenir. L'évaluateur serait alors à côté de la plaque s'il choisissait comme instrument 37 Ainsi Brodeur (2000) note la distance qui existe entre la prolixité du discours sur le CommunitJ Policing et la pauvreté relative des démarches concrètes pour sa mise en œuvre. 38 Au point de défier toute évaluation qui voudrait s'attacher à cette multiplicité contradictoire: Crawford, 1998b. 39 Voy. p. ex. Skogan, 1990; Fielding, 1995; Rosenbaum, 1994; Skogan, Hartnett, 1997a, b; Brodeur, 1998a, 2000. 37
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
de mesure des comptages de l'activité répressive, par exemple des délits enregistrés: il jaugerait l'action à l'aune d'un but qu'elle ne poursuit pas. La difficulté est cruciale pour les programmes de prévention sociale qui ne poursuivent la réduction de la criminalité ou de l'insécurité qu'indirectement à travers d'autres objectifs, comme l'accès à l'emploi stable ou la diminution de la pauvreté. En les évaluant à l'aune d'objectifs qu'ils ne poursuivent pas directement, on se prive de la possibilité de vérifier s'ils atteignent leurs objectifs immédiats. Reste ensuite la difficulté consistant à déterminer si le succès de l'objectif immédiat a ensuite ricoché favorablement sur l'objectif indirect de la réduction du crime ou de l'insécurité. La détermination des moyens importe surtout aux contrôleurs de gestion qui veulent, dans une optique 'managériale', mesurer le rapport entre les coûts exposés et les produits obtenus4o. Elle est moins centrale, me semble-t-il, pour l'évaluateur. En tout état de cause, il s'agit - ce n'est pas toujours tâche aisée - de distinguer ce qui est moyen nouveau ou additionnel spécifiquement lié à l'action entreprise. Souvent, les programmes s'opèrent par redéploiement de dotations existantes ou à moyens constants ou relativement constants. Dans une telle situation, le surcoût spécifique demeure marginal, du moins dans sa partie chiffrable car sa mise en œuvre peut exiger des personnels des dépenses d'énergie, de volontarisme et d'imagination d'autant plus élevés qu'on leur fournit peu de moyens additionnels41. Dans l'évaluation, déterminer ce qui a effectivement été mis en œuvre constitue, me semble-t-il, le point crucial de la phase préliminaire42. C'est ainsi qu'on pourra éviter d'imputer au programme les échecs qui proviennent des défauts de sa réalisation ou, tout bonnement, de son absence. Tant il est vrai qu'en notre domaine on dit beaucoup plus qu'on ne fait, 40 Voy. p. ex. Braga, Weisburd,
Waring,
Green
Mazerolle,
Spelman,
Gajewski,1999. 41 Dans ce cas, le lancement du nouveau programme peut entraîner l'évaluateur devra en tenir compte - un certain délaissement des tâches habituelles. 42Par ex. Brodeur, 1998b. 38
L'évaluation despolitiques de sécurité et deprévention en Europe
l'annonce tient souvent lieu d'action. Pour y parvenir sans trop de difficulté, il est vraiment utile d'avoir décidé de l'évaluation avant même le démarrage du programme; il est aussi indispensable que l'évaluateur soit indépendant de ceux qui déterminent le programme comme de ceux qui le mettent en œuvre; il faut cependant qu'il puisse sans difficulté observer ce qui se fait. Cette contradiction n'est pas toujours facile à gérer: que le responsable national de la politique publique - législatif ou exécutif - ait prévu l'évaluation et provisionné son ftnancement, qu'un pôle central sélectionne les projets à évaluer et cautionne les évaluateurs constituent alors des précautions propres à mettre de l'huile dans les rouages. Enftn, la phase préliminaire de l'évaluation s'achève par la mesure des produits (outputs). Mais cet élément est surto~t crucial pour le contrôleur de gestion ou l'auditeur. A l'évaluateur, sa détermination sert surtout à le distinguer de l'impact (outcome) qui constitue, lui, le vrai critère de l'évaluation43. Et c'est pourquoi l'évaluateur, contrairement à l'auditeur ou au contrôleur de gestion, ne peut se contenter de données internes; il lui faut faire enquête pour constituer des données externes au dispositif et donc susceptibles d'en mesurer l'impact. Sinon, selon l'expression de Sherman et al. (1997), on évalue les efforts pas les résultats. C'est à ce stade que les données internes sont surtout utiles: pour rendre compte de la mise en œuvre et de ses produits. Encore faut-il qu'on ne réduise pas l'action à quelques indicateurs qui la caricatureraient: seule une analyse compréhensive permettra ensuite d'estimer leur impact«. Au surplus, décrire les opérations réalisées ne suffIrait pas, encore faut-il les remettre dans leur contexte pour juger ensuite de la transposabilité des résultats observés. Hope (infra) va plus loin et conseille de prendre en compte, non seulement l'existence d'une action, mais aussi son intensité45 en estimant, grâce à des emprunts méthodologiques à
43 P.
ex. Crawford, 1998b ; Hough, Tilley, 1998.
44 V oy. Pawson, Tilley, 1994. 45 En ce sens également McKenzie,
2006, 342. 39
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
l'économétrie, un score d'intensité46, une manière élégante de mesurer la consistance globale de l'action que l'on va évaluer.
VI
-
Les savoir-faire
évaluatifs
Il s'est installé une sorte de standard minimal comportant une comparaison avant/après, la prise en compte de groupes ou de zones de contrôle, enfin l'examen de la relation entre l'action et l'impact. C'est d'ailleurs à cette aune que L. Van Noije et Karin Wittebrood (2008) ont sélectionné 69 évaluations valides sur les 149 qu'ils ont pu réunir aux Pays-Bas. Ce faisant, ils se réfèrent explicitement aux précédents de Sherman et aL (2002), du Campbell Collaboration Crime and Justice Group (Farrington, Petrosino, 2001) et du ScientificModel Scale ou SMS (Farrington, Petrosino, 2001 ; Farrington, 2003). Créé et longtemps présidé par David Farrington, professeur de psychologie criminelle à l'Université de Cambridge, le Campbell Collaboration Crime and .JusticeGroup se propose de réaliser une revue systématique des études d'évaluation de l'efficacité de l'intervention criminologique et de la rendre largement accessible. TI entend ainsi poursuivre l'œuvre princeps de Donald T. Campbell (1969) qui est généralement considéré comme le promoteur de la recherche évaluative. On notera que ces deux auteurs essentiels sont tous deux des psychologues expérimentalistes: l'évaluation quasi-expérimentale qu'ils proposent des politiques de prévention et de sécurité doit beaucoup au mode de raisonnement et aux méthodes de leur discipline d'origine. Farrington (2003) retient cinq critères de qualité méthodologique des évaluations; il attribue les quatre premiers à Campbell : * la validité statistique concerne le caractère significatif de la liaison entre l'intervention et l'effet supposé (outcome); * la validité interne concerne l'examen du lien de causalité entre intervention et effet; * la validité du construit concerne l'adéquation de l'effet avec la définition opérationnelle et la mesure des construits théoriques qui soustendent l'intervention;
46 Time series analYsis of programme
40
impact.
L'évaluation des politiques de sécurité et de prévention en Europe
* la validité externe concerne la possibilité de généraliser la relation causale entre intervention et effet; * enfin la validité descriptive concerne l'adéquation de la présentation, dans un rapport de recherche, des traits cruciaux d'une évaluation. Parmi toutes les échelles de qualité méthodologique des évaluations, la plus célèbre est la Maryland ScientificMethod Scale (SMS) mise au point à partir du bilan mené à bien pour le Congrès des États-Unis par Lawrence Sherman et ses collaborateurs. Elle possède cinq niveaux : * niveau 1 : simple corrélation entre un programme et une mesure de la délinquance, * niveau 2 : mesure de délinquance avant et après la mise en œuvre du programme, * niveau 3 : mesure de la délinquance avant et après et instauration d'un groupe de contrôle, * niveau 4 : mesure de la délinquance avant et après et contrôles multiples avec prise en compte des autres variables pouvant influencer la délinquance, * niveau 5: assignation au hasard dans le groupe soumis au programme et celui dédié au contrôle. Mais Farrington (2003) lui reproche de ne pas couvrir toutes les dimensions de validité retenues par le Campbell Group.
La comparaison avant/ après est évidemment fondamentale: sans elle, pas d'évaluation, tout simplement. Quatre points au moins méritent l'attention. D'abord, mieux vaut prévoir l'évaluation avant le commencement de l'action47 : on sera plus à l'aise pour observer la situation ex ante, plutôt que d'avoir à la reconstituer péniblement après coup. Ensuite, mieux vaut retenir un nombre suffisant de critères pour cette comparaison avant/après, afin de ne pas manquer des effets auxquels on n'avait pas pensé. Pareille précaution permet de découvrir plus facilement les effets pervers48: un harcèlement des dealers diminue en effet l'impact de la drogue dans un 47
P. ex. Sherman et al., 1997 ; Brodeur, 1998b. 48P. ex. Sherman et al., 1997, mais aussi Hope (infra) à propos du programme Kirkholt. 41
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
quartier, mais les méthodes d'intervention policière exaspèrent tellement les jeunes que les violences augmentent. Que cette mesure d'avant/après déborde le cadre de la zone d'intervention du programme permet d'observer d'éventuels effets de déplacement49 de la délinquance - elle diminue là où s'applique le programme mais se transporte à côté - mais aussi des effets de contagion vertueuse50 - l'investissement préventif est assez puissant pour rayonner aux alentours de sa zone propre d'intervention5!. Les spécialistes critiquent beaucoup les mesures d'avant/après qui ne s'accompagnent pas de l'observation de zones ou de populations de contrôle où le programme à évaluer ne s'applique pas. On insiste même sur l'utilité de disposer d'un panier de zones ou de population de contrôle afin de neutraliser l'effet d'une crise soudaine dans l'une d'entre elles52. Ainsi ambitionne-t-on de passer du modèle assez primitif de la 'boîte noire'53 à un dispositif que l'on qualifie de quasi-expérimental. Pour autant, la mise en œuvre de cette procédure n'est pas sans poser de redoutables problèmes. Passe encore si l'on divise en deux un même quartier ou une population pour réserver une moitié au contrôle. Mais s'il faut chercher ailleurs une ou des zones ou populations de contrôle, deux difficultés apparaissent. i) Il est difficile de parvenir à un appariement convaincant aussi proches paraissent deux quartiers par leurs populations et leurs problèmes, leurs histoires peuvent différer profondément et donc leurs capacités d'autocontrôle - et ii) une zone ou population de contrôle peut faire l'objet d'un autre programme produisant des effets semblables à celui que l'on veut tester. Pour souhaitable qu'elle soit, la comparabilité est souvent malaisée à assurer. Disposer de zones ou de populations de contrôle a pour but de trancher l'interrogation: le changement 49Hough, Tilley, 1998. 50 On pense fréquemment
aux effets de déplacement, moins souvent à ceux d'élargissement (Hope, infra). 5! P. ex. Ekblom et al., 1996. 52Voy. p. ex. Bennett, 1991. 53 Se dit d'une observation qui considère les intrants et les extrants mais pas les mécanismes intermédiaires. 42
L'évaluation despolitiques de sécurité et deprévention en Europe
observé peut-il être attribué au programme évalué ou se serait-il passé quand même en son absence? Mais le fonctionnement de ce contrôle n'est pas automatique. Ainsi l'effet nul d'un programme de surveillance du voisinage peut simplement traduire l'identité de 'capital social' de la zone d'application et de celle de contrôle (Hope, infra). Ce type de difficulté disparaît évidemment avec l'évaluation 'réaliste' de Tilley. Puisqu'il ne s'agit plus de déterminer 'ce qui marche', mais ce qui a marché dans un contexte donné compte tenu de ce contexte, il n'est évidemment plus utile de rechercher des zones ou populations de contrôle, ni de s'exposer aux affres de cette quête. Dans une telle perspective, ce n'est plus le programme que l'on teste mais la théorie qui sous-tend sa mise en œuvre concrète. Plus généralement, l'application mécanique d'une démarche quasi-expérimentale ne permet pas d'éviter tous les biais de sélection sur lesquels Hope (infra) a particulièrement attiré l'attention. Ainsi on peut choisir des terrains parce qu'ils semblent bien disposés envers le programme que l'on veut mettre en œuvre, mais l'effet observé peut être dû autant au 'capital social' dont dispose ce terrain qu'au programme qu'on y déploie54. Mais l'on peut aussi sélectionner des zones ou des groupes particulièrement défavorisés et n'observer alors que leur retour à la moyenne. C'est pourquoi Hope suggère de modéliser les effets de sélection en s'inspirant de la microéconométrie. En tous cas, l'ensemble de ces difficultés donne une importance particulière à la troisième phase de l'évaluation: avant de conclure à l'existence d'un impact, il faut pouvoir i) envisager et rejeter des explications altematives55, ü) expliquer 54Encore qu'un programme peut avoir au moins l'effet positif de mobiliser les ressources latentes du groupe ou de la zone où il s'applique. Il devient alors la variable intermédiaire qui produit l'impact (outcome),alors que l'on ne parvient pourtant pas à observer de relation directe entre sa mise en œuvre et l'impact. 55 Rosenbaum, 1986; entre autres, il faudra disposer de données suffisamment longues sur la situation antérieure pour déceler d'éventuelles tendances qui rendaient compte du changement avant/après, même si le programme n'avait pas existé (Hough, Tilley, 1998; Hope, 2000). Il faut 43
L'évaluation des politiques de sécurité et deprévention de la déh'nquance en Europe
au contraire comment les actions concrètement réalisées ont pu parvenir au résultat observé56 et ill) décider de la vraisemblance de ce processus. C'est là un point crucial où se déploient le savoir-faire de l'évaluateur et son expérience. Reste enfin l'aval de l'évaluation, son utilisation. On peut distinguer l'accompagnement de l'action et sa transposabilité. Simple jugement après-coup, l'évaluation n'a pour le programme sous examen qu'un intérêt historique qui peut ne pas passionner énormément les responsables et les praticiens. C'est tout l'avantage d'une étude d'impact mise en place dès le début qui est donc à même de produire des informations en
cours de route permettant d'ajuster les dispositifs 57. Mais on attend aussi de l'évaluation qu'elle indique les formules assez prometteuses pour être t;ansposables. La vaste revue commandée pour le Congrès des Etats-Unis à Lawrence Sherman et al. (1997) poursuivait avant tout cet objectif, tout comme celle des mesures correctionnelles menée à bien par McKenzie (2006). C'est d'ailleurs pour cela que l'on recommande de concentrer l'évaluation sur certains programmes qui, par leur rigueur et leur ampleur, sont susceptibles, en cas d'évaluation positive, de resservir ensuite à une plus grande échelle58. Néanmoins, l'exercice est délicat: généraliser une expérience-pilote ne va pas de soi; ce qui a donné de bons résultats dans un certain contexte peut s'avérer moins performant si on le transpose dans d'autres très différents. Ici, les biais de sélection peuvent jouer à plein d'où l'importance de les détecter et de les neutraliser avant de conclure à une validité externe du programme sous évaluation.
aussi s'assurer que les changements quantitatifs observés sont suffisamment significatifs (Sherman et al., 1997). 56Voy. p. ex. Tilley, 1993b; Hough, Tilley, 1998; Brodeur, 1998b. 57 C'est l'ambition du programme d'évaluation de la réforme de la police à Chicago. Voy. Skogan, Hartnett, 1997a, b. 58 Ainsi Hough, Tilley (1998) conseillent de la réserver aux programmes innovateurs, élaborés et coûteux; voy. aussi la proposition du rapport Sherman etal. (1997). 44
L'évaluation despolitiques de sécurité et de prévention en Europe
Conclusion En fin de compte, l'évaluation constitue un exercice cumulatif. C'est en évaluant qu'on apprend à améliorer ses façons de faire. C'est aussi en évaluant qu'on accumule progressivement un savoir pratique sur l'impact des différentes démarches de prévention... un savoir toujours révisable, comme c'est habituellement le cas en matière scientifique, mais un savoir qui permet de rendre compte de l'action publique et de l'ajuster au fur et à mesure. Il est vain de chercher à tout évaluer, surtout quand on dispose de peu d'expériences et de compétences. On ne peut déboucher que sur des pseudoévaluations dont la valeur tient surtout de l'impression et de l'effet de mode. Mieux vaut commencer modestement en choisissant quelques programmes précis sur lesquels on concentrera les moyens et les compétences disponibles. Ainsi développera-t-on peu à peu un savoir-faire et accumulera-t-on des diagnostics raisonnablement fiables. Puis, le processus fera boule de neige à travers une succession d'essais et d'erreurs. Il ne faut pas oublier toutefois que l'évaluation est le domaine de relations particulièrement délicates entre le monde des décideurs et celui des scientifiques. Entre le refus des premiers de recourir aux seconds et, au contraire, une quasiannexion, l'établissement d'une coopération fondée sur le respect de l'autonomie réciproque des deux sphères n'est pas facile à obtenir. Sans elle cependant l'évaluation ne serait que faux -semblant. Pour autant, l'efficacité d'un programme ne tranche pas de la pertinence de sa localisation: les moyens que l'on dépense à un endroit risquent de manquer ailleurs où les besoins peuvent être plus urgents. Au delà de toute évaluation, on ne peut pas se dispenser d'une réflexion sur la répartition des actions, sinon les actions de sécurité peuvent bien devenir à la
longue un privilège de nantis 59. EnfIn, les politiques de prévention et de sécurité sont généralement incapables de venir à bout des effets dévastateurs de l'accumulation de conditions socio-économiques négatives 59Crawford, 1998a, b ; également Hope (infra). 45
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
dans certains groupes sociaux ou certaines zones urbaines à forte concentration de pauvreté60. Il ne faudrait pas qu'elles servent à masquer l'absence de politiques sociales et économiques efficaces ou, pis, la persistance d'une accumulation de décisions et de pratiques ségrégatives. Sans politique efficace de réaffiliation, elles ne seraient qu'un leurre. Ceci dit, il serait intéressant de déterminer combien d'évaluations (scientifiquement acceptables) ont eu un effet réel de modification de politiques publiques. Au chapitre des recommandations, on pourrait suggérer à qui veut s'engager dans l'évaluation des politiques de prévention et de sécurité: - de ne pas confondre l'évaluation - qui porte sur l'impact de ces politiques sur une cible - avec l'audit, le contrôle de programme ou le calcul coût-efficacité; - d'en confier la réalisation à un organe scientifique compétent et extérieur aux institutions qui sont en charge des programmes à évaluer; - de respecter l'extériorité mutuelle du domaine des décideurs et de celui des évaluateurs ; - de prévoir l'évaluation avant le démarrage du programme; - d'y affecter des données et un savoir-faire cohérents avec la nature de l'évaluation.
60Sherman et al (1997) y insiste à plusieurs reprises pour les États-Unis. 46
L'ÉVALUATION DES POLITIQUES DE SÉCURITÉ DE PRÉVENTION EN BELGIQUE
ET
Sybille Smeets avec la collaboration de Carrol Tange La question de l'évaluation des politiques de sécurité et de prévention apparaît en même temps que ces dernières, en particulier à partir de 1992, avec l'adoption des contrats de sécurité, dispositifs emblématiques de la lutte contre l'insécurité urbaine en Belgique et qui constituent la base d'un partenariat contr~ctualisé entre certaines villes et communes, les Régions! et l'Etat fédéral. Celui-ci, représenté par le ministère de l'Intérieur, sélectionne et finance des projets de prévention policière et/ ou sociale proposés par des localités manifestant un besoin urgent d'améliorer l'état de la sécurité sur leur territoire (besoin qui sera principalement apprécié à la lumière de la criminalité enregistrée) et les subsides s'accompagnent de directives strictes dont celle d'évaluer l'efficacité des projets fInancés. Les contrats de sécurité connaissent depuis leur naissance un développement important, tant en ce qui concerne l'enveloppe budgétaire qui leur est consacrée que le nombre de villes et communes qui peuvent bénéfIcier de celle-ci (103 aujourd'hui2), mais aussi de nombreuses restructurations dont les plus importantes sont, d'une part, la disparition en 2002 des projets policiers3 et, d'autre part, leur transformation en 2007 en
! Bruxelloise et Wallonne. 2 Sur un ensemble de 589 villes et communes. 3 Parallèlement au développement d'une politique
de prévention de la délinquance, la politique policière connait également, durant les années 1990, un développement sans précédent. Dès 1991, la police, surtout au niveau local, fera l'objet d'une série de mesures qui visent à améliorer son fonctionnement. La modernisation et la valorisation de la police communale, tout comme l'évaluation de l'impact des mesures prises dans ce cadre, se concrétisent également par la mise en place des contrats de sécurité. La réforme des services de police (loi de 1998) et la disparition des volets
L'évaluation des politiques de sécurité et de prévention en Europe
Plans stratégiques de sécurité et de prévention, dorénavant conclus pour quatre ans. Ce sont donc principalement les contrats de sécurité qui feront l'objet d'une politique d'évaluation, toujours au départ du gouvernement fédéral. Si les autres niveaux de pouvoir communaux, régionaux et communautaires - initient et financent également des politiques de prévention et/ou de sécurité, les évaluations de celles-ci sont plus rares et ne font qu'exceptionnellement l'objet de directives claires. Quand elles existent, les évaluations administratives et/ ou internes s'inspirent d'ailleurs largement des évaluations fédérales, tant par la forme que par le fond. Nous partons du principe que l'évaluation, contrairement à la recherche scientifique stricto sensu, implique toujours une dimension politique: d'une part, elle doit répondre à des questions destinées à produire de l'action politique4 et est intrinsèquement liée à la prise de décision politique quant aux besoins collectifs ou individuels jugés prioritaires dans la mise en œuvre des programmes ou dispositifs évalués, mais aussi quant à l'allocation des ressources publiques s. D'autre part, l'évaluation s'adresse à de multiples « audiences» et « interlocuteurs» qui peuvent être en compétition dans la manière d'interpréter et d'utiliser les résultats produits6: décideurs politiques, commanditaires de l'évaluation, acteurs et bénéficiaires des programmes et dispositifs évalués, médias, milieux scientifiques et citoyens eux-mêmes ont des préoccupations et des priorités qui ne sont ni forcément cohérentes, ni forcément consensuelles. Enfin, à la multiplicité des audiences s'ajoute une diversité des modalités d'évaluation qui peuvent être mobilisées (notamment en termes de
policiers des contrats de sécurité ont pour effet une disparition progressive de l'évaluation externe de la police au profit d'une auto-évaluation focalisée sur le fonctionnement interne et la gestion des corps de police. 4 Lacroix, Tange, 1997, 7. 5 Greene, 1994. 6 Ibidem. 48
L'évaluation despolitiques de sécurité et de prévention en Belgique
méthodologie7). Celles-ci font aussi l'objet de négociation, d'ajustements réciproques entre évaluateurs et commanditaires, de jugements et de contestations qui vont bien au delà de considérations scientifiques ou techniques sur la validité interne ou externe de l'évaluation. De ces choix transparaissent à la fois l'objectif, formulé explicitement ou non, que l'on souhaite voir atteint par l'évaluation et la ou les audiences que l'on considère comme prioritaires8. Ce qui est laissé dans l'ombre est à cet égard aussi révélateur que ce qui est mis en lumière. Dans ce cadre, nous avons choisi de ne pas nous limiter aux évaluations scientifiques, et au sein de celles-ci à celles qui peuvent être qualifiées de recherches systématiques (voire de quasi-expérimentales). L'évaluation dont il est question ici est, au contraire, envisagée dans son acception la plus large, au risque sinon d'arriver à la conclusion que 'l'évaluation n'existe pas' en Belgique9. Ainsi à la question posée s'agit-ild'une véritable rechercheévaluative qui confronte les of?jectifs,les mqyens, la mise en œuvre et les produits avec l'impact de la politique ou du programme évalué, y
comprisles effets latéraux ou contre-intuitifs?lo, nous serions dans la plupart des cas dans l'obligation de répondre par la négative. S'agissant cependant de faire un bilan de ce qui existe, nous sommes partis de la question suivante: qu'est-ce qui est défini ou se définit comme de l'évaluation? Ce point de départ nous semblait d'autant plus pertinent qu'il s'agit ici de mettre en évidence ce que recouvre concrètement l'emploi du terme 'évaluation' en Belgique. Nous distinguerons les évaluations existantes en deux groupes, chacun présentant des caractéristiques propres. Les différences entre ces deux groupes renvoient principalement aux positionnements institutionnels et aux rôles respectifs des évaluateurs, qui ne sont pas sans conséquence sur le contenu et
7 Entendue ici non seulement comme l'ensemble des méthodes et techniques de recueil et d'analyse des données, mais également comme positionnements épistémologique et théorique (Lacroix, Tange, 1997, 18). 8 Lacroix, Tange, 1997, 18. 9 À l'instar de certains chercheurs ou praticiens français (if. Wyvekens, infra). 10Lettre de commande. 49
L'évaluation despolitiques de sécurité et tk prévention en Europe
la finalité des évaluations. Dans un premier temps, nous aborderons les évaluations «internes », parmi lesquelles s'inscrivent, d'une part, les évaluations administratives des politiques de sécurité et de prévention réalisées directement par et pour les autorités subsidiantes et, d'autre part, les évaluations internes des dispositifs bénéficiant de ces subsides. Dans un deuxième temps, nous aborderons les évaluations scientifiques (recherches évaluatives) réalisées par des centres de recherche indépendants, rattachés ou non à des universités, et commanditées par ces mêmes autorités subsidiantes.
I - Les évaluations 'internes' ou la prédominance des
évaluations sommatives
Les évaluations internes se différencient des évaluations scientifiques notamment par leur finalité, principalement sommative (ou sanctionnelle)l1. Elles visent à établir un bilan du programme ou du dispositif mis en œuvre et à porter un jugement sur la valeur de ceux-ci. Elles sont donc principalement orientées vers la prise de décision en matière de continuation, d'extension ou de réduction des programmes et des dispositifs.
1 - Les évaluations administratives Les évaluations administratives sont réalisées par des services rattachés aux autorités subsidiantes, en l'occurrence le ministère de l'Intérieurl2. Elles constituent une partie non
11 Patton,
12 Jusqu'en
1980.
2002, la Police générale du Royaume assurait l'évaluation des volets policiers des contrats de sécurité et le Secrétariat permanent à la politique de prévention celui du volet socio-préventif. En 2002, ce demier a été intégré dans une Direction générale Politique de sécurité et de prévention qui assure le suivi et l'évaluation de tous les dispositifs des contrats de sécurité. Il est à noter que les conseillers, désignés comme évaluateurs, sont souvent de jeunes universitaires, sans expérience de recherche ou d'évaluation. 50
L'évaluation des politiques de sécurité et deprévention en Belgique
négligeable du contro'ledu respect par les villes et communes des obligations minimales accompagnant les contrats de sécurité, des engagements contractuels et de l'usage des moyens financiers. Les données utilisées sont relativement limitées: le contenu des contrats eux-mêmes, certaines données administratives sur les budgets dépensés et le personnel engagé et des visites annuelles des dispositifs mis en place. Il s'agit surtout ici de sanctionner une obligation de moyens et d'évaluer l'e.ffectivité13de la mise en œuvre, les évaluations d'efficiencel4 et d'efficacité étant renvoyées aux évaluations internes des dispositifs. La sanction d'une évaluation administrative négative est théoriquement la suppression ou la diminution des subsides alloués. Ce type d'évaluation va donc principalement servir à la négociation des contrats de sécurité avec les villes et communes concernées, notamment en matière d'enveloppes budgétaires et d'ajout de nouveaux dispositifs aux contrats. Les rapports d'évaluations administratives sont à l'image de cet objectif: présentés sous formes de tableaux ou de camemberts, ceux-ci s'articulent autour de données chiffrées synthétisant le nombre de contrats et la liste des localités, les nombres 'd'emplois' créés, l'incidence budgétaire par volet du contrat, par commune ou Région et par ministère fédéral concerné et une typologie des dispositifs (par thématique). Plus rarement, ils intègrent des statistiques policières et des résultats liés au Moniteur de sécuritél5. Ce dernier, en tant qu'enquête
13 Définie comme l'adéquation entre les pratiques annoncées et celles effectivement mises en œuvre (Laval, 1990). 14 Définie ici comme l'adéquation des ressources avec les résultats, en s'intéressant particulièrement à la question de savoir si l'objectif a été atteint en utilisant au mieux les ressources engagées (ibidem). IS Le Moniteur de sécurité se présente sous la forme d'un questionnaire préparé par la police fédérale et administré téléphoniquement par une firme privée auprès d'un échantillon de la population (+ 40000 personnes), sélectionné de manière aléatoire dans l'annuaire téléphonique, avec une représentativité par Région et type de communes. Le Moniteur local concerne notamment les villes ou communes bénéficiant d'un contrat de
_
51
L'évaluation despolitiques de sécurité et deprévention en Europe
qualitative auprès de la population, est d'ailleurs présenté comme une forme d'évaluation des politiques de sécurité au sens large. Ainsi, malgré certaines limitations méthodologiquesl6, le Moniteur de sécurité a été utilisé à de nombreuses reprises comme élément d'évaluation de la satisfaction des citoyens par rapport à la police et du niveau d'insécurité à l'égard de certains types de phénomènes criminels prioritaires aux niveaux fédéral et local.
2
- Les
évaluations internes ou l'auto-évaluation contrats de sécurité A
- De
des
l'évaluation au diagnostic
Les évaluations administratives doivent théoriquement être complétées par les évaluations internes, assurées depuis 1996 par un personnel communal désigné à cet effet (l'évaluateur interne). Ces évaluations, constituées en obligation minimale des contrats de sécurité, doivent officiellement permettre de vérifier la mise en œuvre des projets, leurs effets et leur efficacité au
sécurité. Cinq thèmes y sont abordés: les problèmes dans le quartier, la victimation (ainsi que la communication et la déclaration), le sentiment d'insécurité, les contacts avec les services de police et le fonctionnement de la police. Il été administré six fois depuis sa création en 1997. Les résultats et la méthodologie sont disponibles sur [www.poldoc.be/dsb.htm). 16On peut citer, sans prétendre à l'exhaustivité, la subjectivité des questions, le choix de réponses limité (aucune des catégories proposées ne fait, par exemple, référence à autre chose que la délinquance ou les incivilités), les biais inhérents au questionnaire par téléphone, la représentativité restreinte de l'échantillon (il y a, par exemple, une surreprésentation des personnes plus âgées - de plus de 50 ans - par rapport aux 15-35 ans, ce qui renvoie en réalité aux biais de l'enquête téléphonique), le choix, pour les moniteurs locaux, de se concentrer sur les villes et communes sous contrat de sécurité, l'absence de contextualisation, le peu d'implication des utilisateurs locaux dans la construction du moniteur, les difficultés de mise en relations avec les statistiques policières. 52
L'évaluation des politiques de sécurité et deprévention en Belgique
regard notamment des deux objectifs de réduction du sentiment d'insécurité et de prévention de la petite délinquance. Au delà de ces indications, très générales, il est uniquement précisé que ces évaluations doivent reposer dans un souci d'oo/cctivité(sic) sur les statistiques criminelles17. L'évaluateur interne est cependant placé dans une situation difficile, qui perdure aujourd'hui: membre du personnel de la commune mais financé (souvent à temps partiel) par le ministère de l'Intérieur, il doit évaluer la politique de ses autorités communales, à leur profit, mais également au profit des autorités subsidiantes. Sur base de cette évaluation, ces dernières peuvent décider de renégocier à la baisse le financement du contrat ou de supprimer certains dispositifs. Cette 'double casquette' n'est pas sans impact sur le contenu des évaluations internes. En pratique, la plupart d'entre elles se limitent à faire l'inventaire des actions en cours et à évaluer, tout comme les évaluations administratives, l'effectivité des dispositifs, des engagements de personnels et de l'utilisation des budgets. Dans certains cas, ces évaluations contiennent aussi, mais souvent en guise d'annexes, des données chiffrées renvoyant aux statistiques policières18, aux résultats du Moniteur de sécurité local, au nombre de rapports rendus par les acteurs de terrain ou, plus exceptionnellement, à des petites enquêtes très localisées et limitées portant sur la satisfaction des habitants ou leur perception des problèmes de sécurité. Pour uniformiser ces évaluations et permettre la comparaison entre contrats de sécurité, le ministère de l'Intérieur propose dès 2000 divers canevas d'évaluation, souvent sous forme de questionnaires,
17 Circulaire du ministre de l'Intérieur du 19 septembre 1996 relative à la mission d'évaluation interne, non publiée. 18Dans certaines communes émergent également des tentatives de scanning local (mini-enquêtes réalisées par les policiers de quartier auprès des habitants, par exemple) ou de crimemapping (mise en carte de faits constatés par la police). Elles restent très douteuses au plan méthodologique, inaccessibles aux personnes extérieures au corps de police et ne servent que rarement l'évaluation mais davantage le travail de police opérationnel (les patrouilles orientées, par exemple). 53
L'évaluation despolitiques de sécurité et de prévention en Europe
dont les items très factuels accentuent encore la dimension administrative et la faiblesse des analyses des évaluations internes. En 2005, un guide méthodologique pour un diagnostic local de sécurité COLS) est proposé aux localitésl9. Il préconise de rédiger la partie « diagnostic» sur base de trois items: une description de l'insécurité objective (statistiques policières et judicaires, nombre de sanctions administratives communales comme indicateur du nombre de « désordres publics »), une description de l'insécurité subjective (Moniteur de sécurité local, éventuellement enquêtes de victimation) et une analyse SWOT (forces, faiblesses, opportunités et menaces20) de la politique mise en place au niveau local. Dans ce cadre, le diagnostic doit sefocaliser sur les priorités fédérales qui sont pertinentes pour les contrats de sécurité et de prévention, lors de l'identification des zones problématiques. Il s'agit notamment des délits contre les biens, technoprévention, nuisances sociales, lutte contre la toxicomanie, violence et protection de certains groupes fragilisés au sein de la population. (...) Après détection des phénomènes prioritaires, il convient deformuler des objectifs stratégiques afin de conduire des projets et de mener des actions en ce sens21.
En 2007 avec la transformation des contrats de sécurité en plans stratégiques, le DLS devient obligatoire, tout comme le canevas proposé, et remplace l'évaluation interne stricto sensu. Cette obligation de rédiger un DLS va influencer la manière dont va se réorienter le travail des évaluateurs internes. L'importance donnée, dans le Guide, aux statistiques policières
19Direction générale politique de sécurité et de prévention, 2005. 20 Strengths,
weaknesses,
opportunities,
threats. Forces:
les forces d'une organisation/
d'un
projet qui doivent permettre à cette organisation/ce projet de pouvoir faire face aux 'menaces' éventuelles émanant de l'environnement. Faiblesses: (...J les faiblesses et les points à améliorer d'une organisation/d'un projet rgin de pouvoir satiifaire par exemple aux nouvelles exigences qui seront imposées par l'environnement. Opportunités: (...) facteurs auxquels l'organisation/le projet est confronté qui ont beaucoup de chances d'aboutir au développement ou à l'amélioration de l'organisation/du projet. Menaces: (.. .) éléments qui peuvent constituer une menace pour la survie de l'organisation/ du pro/et (ibid., 68). 21 Ibid., 69-70.
54
L'évaluation despolitiques de sécurité et ck prévention en Belgique
et aux résultats du Moniteur de sécurité, mais également la volonté d'axer l'évaluation sur certains phénomènes criminels (Plutôt que sur les projets) vont obliger les évaluateurs internes à s'adapter constamment et à 'bricoler'22 pour que le diagnostic ne soit pas défavorable à leur commune, en particulier en ce qui concerne les nombreux projets à vocation plus sociale (maisons de quartier, travailleurs de rue et médiations diverses) pour lesquels les critères et les axes d'évaluation proposés sont peu pertinents. On voit ainsi se multiplier depuis quelques années les enquêtes locales de satisfaction, les encarts de 'bonnes pratiques' ou de 'témoignages' (généralement les dispositifs novateurs ou qui fonctionnent bien, même si ceux-ci ne sont pas représentatifs de l'ensemble du plan stratégique), la juxtaposition des points d'entrée des évaluations (par phénomènes, par projets, par enveloppes budgétaires, par quartiers) et, grande nouveauté, l'utilisation d'autres données socio-économiques, démographiques et urbanistiques, notamment afin de relativiser les chiffres de la criminalité. De la même manière, le DLS, par son ambition, oblige souvent l'évaluateur interne à sortir de son isolement, à faire appel à d'autres partenaires ou personnes ressources pour constituer un comité de rédaction ou récolter les données nécessaires. De manière générale, si dans la plupart des localités le DLS est ressenti comme une charge de travail supplémentaire, dans les villes et communes qui en ont les moyens financiers et humains et dont la politique de prévention est soutenue par les autorités locales, il a aussi pour effet l'enrichissement de l'évaluation, notamment par la multiplication et le croisement des référents
22 Comme
le souligne
Poulet
(1995, 20sqq.) lefait de dire que les acteurs 'bricolent'
à partir des matériaux qui leur sont accessibles ne signijie pas qu'ils n'ont aucune idée des oijectifs qu'ils poursuivent mais que ces oijectifs sont susceptibles d'être modijiés en cours ck route (.. .j, que ces changements de directions ne sont pas totalement maîtrisés puisque chaque acteur compte avec ce quefont les autres et doit s'adapter au fur et à mesure (...j et qu'il compose à partir d'élément empruntés à des contextes divers qui ont cependant chacun une certaine 'logique' (...j qui limite les usages qu'il peut enfaire.
55
L'évaluation despolitiques de sécurité et deprévention en Europe
auxquels l'évaluateur interne est en mesure de confronter une situation locale. Mais ce constat en appelle un autre: le contenu et la qualité des DLS varient fortement d'une localité à l'autre, suivant les moyens donc celle-ci dispose et suivant le degré d'intégration des subsides et des niveaux de pilotage des politiques de sécurité. En l'absence de cette intégration, on n'évalue que ce pourquoi on a été financé, sans tenir compte des autres dispositifs et de leurs éventuels effets, on multiplie les petites évaluations sur le court terme, et l'on omet souvent des données disponibles à un autre niveau de pouvoir, en particulier des données de contextualisation. D'autres difficultés, mentionnées par les évaluateurs internes eux-mêmes, concernent, d'une part, le timing des DLS - annuel - trop court pour des analyses approfondies et, d'autre part, la mobilité importante du personnel des contrats de sécurité, en ce compris l'évaluateur interne, qui empêche la thésaurisation de l'expérience nécessaire au suivi et à la connaissance des projets.
B - Un usage limité En théorie, les évaluations internes doivent à la fois servir à la négociation des contrats (c'est-à-dire de leurs subsides) et à la redéfinition de nouveaux projets. En pratique, elles serviront uniquement le premier objectif. La volonté de privilégier le DLS par rapport à l'évaluation interne devait permettre d'élargir les objectifs de la seconde. Un DLS a, en effet, une finalité beaucoup plus large que l'évaluation a posteriorides dispositifs mis en place puisque le diagnostic, par définition, se situe en amont de l'action à décider et doit permettre de mieux cerner ou définir ce qui pose problème. Son objectif, en l'occurrence, est notamment de percevoir les attentes des citoyens, d'identifier ce qui pose problème (les .rymptomes)et, in fine, de déterminer ou, le cas échéant, de réorienter la politique locale en matière de sécurité. En pratique, le DLS prend la place de l'évaluation interne, sans opérer de rupture dans la manière de concevoir et d'utiliser celle-ci, et va donc comme celle-ci, au niveau fédéral du moins, servir le même objectif. Cela fera d'ailleurs l'objet de critiques 56
L'évaluation despolitiques de sécurité et deprévention en Belgique
de la part des évaluateurs internes eux-mêmes. D'une part, il y a une incohérence à favoriser un outil global comme le DLS, qui doit permettre de définir les grandes lignes de la politique locale en matière de sécurité, mais aussi plus largement de qualité de vie, et de ne s'en servir que pour évaluer (et financer) les dispositifs luttant contre des phénomènes criminels considérés comme prioritaires par l'autorité subsidiante. D'autre part, l'absence d'une évaluation fédérale, sur base des compilations et des analyses transversales des diverses données et évaluations issues des DLS, est regrettée. Les DLS ne sont ainsi utilisés que de manière individuelle (par localité), et non comme un instrument de gestion globale ou un outil permettant la diffusion des «bonnes pratiques» en matière d'évaluation ou son amélioration. Au niveau local, certaines villes et communes généralement les plus importantes - percevront l'intérêt de ce nouvel outil, surtout comme instrument de communication politique et de publicité (brochures, conférences de presse, présentation au conseil communal, etc.) à l'attention des habitants, de l'opposition et des pouvoirs supra-locaux, et parfois comme outil d'aide à la décision, en permettant de déterminer les territoires et les actions prioritaires. Dans ces localités, les DLS ont permis d'asseoir ou d'augmenter la légitimité des politiques locales de sécurité en produisant une image intégrée et cohérente d'un ensemble de dispositifs disparates qui, pris individuellement, offrent rarement une visibilité importante, sinon dans les quartiers où ils sont implantés. En ce sens, les DLS offrent, pour ces villes et communes du moins, une plus-value que n'offraient pas les évaluations internes « ancienne mouture ». Il - Les recherches
évaluatives
Dès 1985, le gouvernement belge, par l'entremise du ministre de l'Intérieur, lance un vaste programme de recherche scientifique à l'attention des universités. Si dans un premier temps les appels d'offre concernent principalement la recherche sur la police, la mise en place des contrats de sécurité va élargir le programme aux évaluations scientifiques des politiques de 57
L'évaluation despolitiques de sécurité et de prévention en Europe
prévention et de sécurité. L'objectif annoncé du programme de recherche, en particulier des recherches évaluatives, sera, d'une part, l'amélioration de l'organisation et du fonctionnement des programmes et dispositifs évalués, d'autre part, de fournir des mqyens et de méthodes scientijiques permettant une metlleure gestion de la prévention de la criminalité [et] de légifèreren connaissance de cause dans des domaines particuliers [police et prévention de la délinquance]. Enfin, les recherches devront être conduites afin de fournir des résultats susceptibles d'applications concrètes et directes23.Ces objectifs
sont toujours les mêmes aujourd'hui. On peut cependant distinguer deux périodes. Une première période de 1991 à 1999, durant laquelle les recherches évaluatives sont principalement formatives, avec comme objectif de déterminer les faiblesses des programmes et dispositifs mis en place afin de les améliorer. Une deuxième période qui débute avec le changement de gouvernement fédéral en 1999 et qui voit s'affirmer la tendance à privilégier des recherches davantage tournées vers des résultats directement transposables en pratiques et/ou en orientations politiques et qui, vont, infine, s'éloigner de toute démarche évaluative, même si les recherches sont annoncées comme telles.
1 - 1991-1 999 : des recherches évaluatives transversales, de processus et de fonctionnement Dans un premier temps, les évaluations scientifiques, qui représentent durant cette période presque 75 % de l'ensemble des recherches commanditées par le gouvernement fédéral (Plus d'une centaine de recherches), sont principalement confiées à des centres de recherche indépendants, généralement universitaires, composés essentiellement de criminologues, de sociologues et/ou de juristes. Jusqu'en 1999, les recherches évaluatives sont d'abord des évaluations de processus et de fonctionnement: elles visent
23 Ministère de l'Intérieur, Police communale, sécurité des citqyens et recherche scientifique,Police générale du Royaume, Service Étude, Conférence de presse du 19 mars 1991. 58
L'évaluation despolitiques de sécurité et deprévention en Belgique
à évaluer, au travers des modalités de mise en œuvre des programmes et/ou des dispositifs, des éléments facilitateurs ou des freins de ceux-ci ou encore leur cohérence. Elles concernent, pour la moitié d'entre elles, les effetsou l'impact de l'action, des acteurs ou du dispositif sur leur environnement (notamment la réponse à la question des problèmes et biais occasionnés par ces actions, ces acteurs ou ce dispositif). Dans certains cas, ces recherches évaluent aussi la pertinence24 de ces dispositifs ou programmes. Hormis quelques exceptions, ces évaluations sont, pour la plupart, transversales et portent sur des thématiques plutôt que des projets individuels: on évalue un ensemble de dispositifs identiques existant sur le territoire national ou régional. La comparaison se fait donc au regard des similitudes ou des différences entre effets, impact ou processus de mise en œuvre de cet ensemble. Ceux-ci sont également évalués à l'aune de leur objectif particulier et spécifique (rapprochement de la police et du citoyen, meilleur accueil des victimes, réinsertion professionnelle des habitants des quartiers, diminution du décrochage scolaire, coordination des projets, etc.) et n'ont pas vocation à mesurer les effets des dispositifs ou programmes en termes de réduction de la délinquance ou du sentiment d'insécurité. La majorité (2/3) des recherches évaluatives produisent un matériau empirique important, notamment sur base de méthodes qualitatives (observations participantes et/ ou entretiens semi-directifs). Quant aux thématiques abordées, les recherches évaluatives porteront pour la plupart sur la police communale, déjà au centre des réformes policières, notamment dans le cadre des financements des volets policiers des contrats de sécurité: les relations de la police avec le public, en particulier les jeunes, les victimes, les populations immigrées ou les usagers de drogues; l'organisation du corps de police; la police de proximité; la collaboration entre polices et la statistique policière. Quant aux politiques de sécurité strictosensu,
24 Définie ici comme la relation entre les besoins (liés à la situation initiale) et les objectifs, moyens, ressources et intervenants mobilisés par le programme (Laval, 1990). 59
L'évaluation despolitiques de sécurité et de prévention en Europe
les évaluations concerneront des projets pilotes de prévention locale, le décrochage scolaire, la coordination des contrats de sécurité, les nouvelles fonctions de terrain ou d'encadrement, créées par et pour ceux -ci et le hooliganisme2s. Durant cette période, une certaine marge de manœuvre, notamment méthodologique, est laissée aux chercheurs. En atteste la composition des comités d'accompagnement de ces recherches - principalement d'autres universitaires - et une volonté de diffusion des résultats des recherches évaluatives, au travers d'une politique systématique de publications sous formes d'ouvrages par le ministère de l'Intérieur ou d'articles dans des revues scientifiques et/ou professionnelles par les chercheurs. Pour autant, l'objectif d'aide à la décision et la place importante du ministère de l'Intérieur dans la commande d'évaluation vont limiter sensiblement le champ de la recherche évaluative. Certaines thématiques, pourtant sensibles, seront ainsi exclues26.
2 - 1999-2008 internalisation
: appauvrissement de la recherche budgétaire
thématique, et raréfaction
Après les élections législatives de 1999, les appels d'offres de recherches évaluatives financées par le ministère de l'Intérieur proposent des recherches-évaluations de plus en plus
2SPonsaers,Janssen, 1993,39-79; Tange, 2002, 31-95. 26 En matière de police, la gendarmerie, la police judiciaire près les parquets, et de manière générale, le travail judiciaire, ne seront que rarement abordés en tant qu'objets d'évaluation, tout comme les relations avec les autorités de police ou encore les illégalismes policiers. De manière générale, les dispositifs de sécurité routière, pourtant au centre des préoccupations politiques, le sentiment d'insécurité ou la victimation ne seront pas non plus abordés. Enfin, même si certains d'entre eux sont financés par le fédéral, la plupart des dispositifs d'encadrement de jeunes ne seront pas non plus évalués. 60
L'évaluation despolitiques de sécurité et deprévention en Belgique
beleidsrelevanf27.Elles sont à la fois moins ambitieuses, plus opérationnelles, répondant aux priorités gouvernementales du moment et assurées en partie, et au détriment des centres de recherches indépendants, par des structures privées (consultance et audits) ou par des organismes gouvernementaux28, plus à même, pense-t-on, d'élaborer des recommandations politiques29. Lorsque les évaluations sont attribuées à des centres de recherche indépendants, on constate également l'apparition de nouvelles disciplines: psychologie, pédagogie, ressources humaines, sciences de gestion, ingéniorat, informatique, viennent ainsi s'ajouter aux disciplines concernées jusqu'alors par ces recherches et marquent également la volonté de privilégier des approches plus appliquées et/ou plus techniques. Cette mobilisation d'expertises multiples se fait d'ailleurs souvent au détriment des approches pluridisciplinaires. L'enveloppe budgétaire des recherches évaluatives est également beaucoup plus limitée, ce qui a des effets sur le timing et le budget de personnels: on voit se multiplier des contrats de recherche de six mois, parfois trois mois, avec un équivalent temps plein, là où durant la période précédente la norme était d'un an minimum, souvent renouvelable, avec deux temps pleins. Dans un même temps, les appels d'offre privilégient également les partenariats entre organismes, surtout
27 Le terme, utilisé par le gouvernement fédéral, peut être traduit imparfaitement par 'relevant' ou 'intéressant' pour la politique. 28 On peut citer le département de criminologie de l'Institut national de criminalistique et de criminologie, le Service de politique criminelle (ministère de la Justice), la police fédérale et la Direction générale Politique de sécurité et de prévention (ministère de l'Intérieur). De manière caractéristique, depuis la réforme des polices, la police gère elle-même l'étude d'un certain nombre d'aspects de son activité auparavant étudiés par des chercheurs externes à l'institution. Cela concerne tant ses ressources et ses activités (quantifiables) que les regards et avis portés sur celles-ci ou des problèmes de sécurité de manière générale (enquêtes auprès de la population et autres formes de scanninj). 29Tange, 2002, 56-57. 61
L'évaluation des politiques de sécurité et deprévention en Europe
entre universités flamandes et francophones, mais aussi entre organismes privés et publics, internes et externes, ce qui oblige encore à fractionner les moyens disponibles. Même si une certaine latitude est encore laissée aux chercheurs, cette situation n'en influence pas moins les choix méthodologiques: aux recherches empiriques de longue haleine, on préfère, d'une part, des évaluations quantitatives qui favorisent le croisement de données déjà existantes plutôt que la production de nouvelles données; d'autre part, des méthodes qualitatives limitées (l'entretien de groupe, les séminaires mixtes entre chercheurs et professionnels, etc.). En réalité, sous l'appellation de « recherches évaluatives », on retrouve toute une série d'études qui, loin de s'intéresser à l'impact et souvent en faisant l'économie du contexte, visent plutôt à rédiger des inventaires des moyens existants, disponibles ou à développer ou de propositions d'outils ou de méthodes de bonne gestion, d'analyse des données ou de planification des politiques (établissement de priorités policières ou de sécurité)30. Dans ce cadre, les thématiques des recherches « évaluatives» seront progressivement modifiées et porteront surtout sur des questions de gestion et de bonne administration (contenu de formation, budgets, gestion du temps, management, technologie, adaptation de la législation, etc.), selon des approches plutôt normatives, techniques ou comparatives, n'apportant que peu d'informations sur les pratiques et visant plutôt à rencontrer le souci des autorités de préciser, voire d'offrir un cadre à celles-ci. Démonstratif de cette tendance, les organismes internes de recherche vont jouer un rôle de plus en plus grand dans la rédaction des appels d'offre (notamment en termes de thèmes de recherches et de méthodologie et parfois de 'résultats proposés') et dans le choix des prestataires quand ceux-ci sont externes. Ce qui explique que la redéfinition des programmes d'appel d'offre de recherche
30On voit également apparaître des « évaluations» prospectives au moyen de certaines méthodes de prédiction et du recours à certains experts dans le but d'établir une image nationale de la sécurité permettant de déterminer les futures orientations politiques. Voir Ponsaers, 2005. 62
L'évaluation despolitiques de sécurité et deprévention en Belgique
se fait souvent moins en vertu des résultats des recherches précédentes qu'en vertu des nouvelles orientations politiques ou internes à ces organismes. De même, les comités d'accompagnement des recherches feront la part belle aux 'administrateurs' de ces organismes internes, au détriment des universitaires devenus largement minoritaires. Les modalités de diffusion des résultats sont dès lors beaucoup plus restreintes, avec pour effet une invisibilisationdes recherches31 : il n'y a plus de politique de publication systématique et certains chercheurs se voient interdire la publication des résultats, en raison de leur utilisation de bases de données 'confidentielles', de leur dimension méthodologique ou technique nécessitant une 'certaine discrétion' ou tout simplement parce que ceux-ci sont à usage uniquement interne.
3
- L'usage
des résultats
Avant 1999, on peut mettre en évidence deux soucis fondamentaux de la recherche évaluative s'équilibrant encore tant bien que mal: d'une part, découvrir et clarifier des situations complexes méconnues à l'aide de ces recherches, éventuellement en fournissant dans la foulée des outils permettant aux administrations de prolonger ce travail en interne; d'autre part, élaborer de nouvelles options politiques et pratiques, en principe sur base du travail de clarification, pour en assurer ensuite le suivi et l'évaluation par l'administration (évaluation administrative). Dans ce cadre, les recherches évaluatives doivent très clairement servir à la réorientation et l'amélioration des programmes et dispositifs mis en place. De manière plus secondaire, les évaluateurs scientifiques étaient également intégrés dans les commissions d'évalua!Ïon (administratives) et de négociations de contrats de sécurité. A ce titre, la recherche évaluative servait également à la renégociation des contrats (évaluation sommative). Malgré ces objectifs, les résultats des recherches scientifiques ont été très peu pris en compte (sinon lus) par les autorités fédérales ou locales en
31 Tange,
2002, 63. 63
L'évaluation despolitiques de sécurité et de prévention en Europe
charge des dispositifs, et ce malgré une volonté d'en diffuser les résultats. Dans certains cas, certains projets (notamment pilotes) seront reconduits avant même que les évaluations les concernant ne soient terminées. À partir de 1999, les appels d'offre se concentrent sur des recherches qui doivent favoriser des résultats directement transposables en pratiques et s'éloignent, malgré leur appellation, de la démarche d'évaluation. En pratique, les résultats des recherches, s'ils sont utilisés de manière plus systématique, vont surtout servir soit de légitimation a posteriori des options politiques déjà fixées, soit d'appui au développement opérationnel de ces options. Dans ce cadre, il est demandé aux équipes de chercheurs, tant externes qu'internes, privés ou publics, de se positionner en tant qu'experts en méthodologie d'enquête, d'analyse de données (surtout quantitatives), de cadre normatif, au profit des opérateurs réels de ces outils, c'est-à-dire les administrations et les services de police. Si les recherches évaluatives ont toujours eu pour objectif l'aide à la décision, on est passé d'une volonté affichée de 'comprendre pour mieux décider' à celle de 'connaître - voire de se connaître - pour mieux (se) justifier'.
III- La grande absente: la mesure des effets sur la délinquance et le sentiment d'insécurité Dans le bilan des recherches évaluatives commanditées depuis le début des années 1990, on ne peut que constater l'absence des évaluations visant à mesurer les effets des programmes et des dispositifs au regard des deux grands objectifs des politiques de prévention et de sécurité (diminution de la délinquance et diminution du sentiment d'insécurité). Par ailleurs, si la question de l'impact des programmes ou des dispositifs sur l'environnement ou les acteurs a été centrale dans les recherches évaluatives, en particulier avant 1999, les évaluations ont consisté davantage en une appréciation du processus ou du déroulement d'une action, éventuellement de sa réception par les acteurs et les bénéficiaires de cette action, ce qui explique la prédominance des approches qualitatives.
64
L'évaluation despolitiques de sécurité et deprévention en Befique
Quant à ces choix, nous pouvons poser plusieurs pistes d'explications, sans cependant prétendre les épuiser. La première explication est à trouver dans le contexte politique de la Belgique. La politique de sécurité s'est construite par strates et dans l'urgence, en réponse à des événements très médiatisés, reléguant au second plan les questions de fond. Cette tendance ne sera pas sans influence sur la manière d'envisager l'évaluation et sur les conditions de recherche, qu'il s'agisse des thèmes, des timings ou d'autres modalités, comme le choix des méthodes privilégiées. D'une part, le souhait de répondre rapidement aux demandes supposées des citoyens en matière de sécurité se fait au détriment d'une analyse des besoins et d'une évaluation en amont de la mise en œuvre des programmes et dispositifs, rendant dès lors impossible toute démarche évaluative de comparaison entre un 'avant' et un 'après'. Mais, dans le même temps, la crise de confiance des citoyens vis-à-vis des institutions publiques, et en particulier de la police, fait naître la nécessité de disposer rapidement de données empiriques fiables, nécessité à l'origine du premier programme d'appel d'offre en matière de recherche. Le choix de favoriser des évaluations de processus plutôt que de mesurer qualitativement ou quantitativement les effets des politiques trouve également son origine dans l'objectif assigné à ces évaluations: fournir une caution scientifique aux politiques développées mais sans remettre en question le bien-fondé de celle-ci. Les questions d'insécurité constituent en effet un enjeu électoral important qui se décline différemment dans les programmes de différents partis. Mais, à l'image du système politique belge qui favorise des gouvernements de coalition, les politiques publiques en cette matière constituent des compromis entre une tendance plus libérale, qui désire plutôt affecter les moyens directement au système de justice pénale et à la police, et une tendance socialiste, fondatrice des contrats de sécurité; d'autre part, entre Flamands plus sensibles aux théories et approches anglosaxonnes et francophones davantage séduits par les approches sociales des politiques de la ville françaises. La politique d'évaluation est à l'image de ce compromis: compromis ellemême entre, d'une part, une volonté de n'évaluer qu'à l'aune de 65
L'évaluation despolitiques de sécurité et deprévention en Europe
l'objectif de réduction de la délinquance et au regard des statistiques policières et, d'autre part, une volonté de privilégier l'évaluation qualitative basée sur la parole et le vécu des acteurs et des bénéficiaires des programmes ou des dispositifs. Jusqu'en 1999, le compromis se soldera par une séparation entre évaluation quantitative limitée aux évaluations internes et évaluation qualitative du domaine des évaluations scientifiques. Dans le même temps, on constate, dans les discours politiques, la mise à l'arrière-plan des objectifs généraux des contrats de sécurité pour se concentrer sur l'amélioration du rapprochement entre institutions politiques et citoyens et rétablissement de la confiance de ces derniers. Ce seront ces derniers objectifs qui feront finalement l'objet d'une évaluation scientifique. Jusqu'en 1999, cette absence d'évaluation des résultats des contrats de sécurité ne pose pas de réel problème au gouvernement qui assoie la légitimité de sa politique, d'une part, sur l'idée que ce qui compte est 'de faire quelque chose' et de rendre ce 'quelque chose' visible et, d'autre part, sur l'augmentation continuelle de la création d'emplois que permettent ces politiques. Mais le changement de majorité gouvernementale en 1999, jumelé à une volonté de rationalisation des moyens justifiée notamment par le gouffre financier que représente la réforme des polices, va considérablement durcir les négociations entre partisans et détracteurs des politiques locales de sécurité32. Les élections législatives de 1999 vont donner lieu à une sérieuse remise en question de l'efficacité des politiques de prévention, notamment par les libéraux qui occupent dorénavant le poste de ministre de l'Intérieur. Dans ce cadre, l'absence d'évaluation scientifique stricto sensu va être la porte ouverte à des interprétations divergentes et partisanes des données quantitatives disponibles
32 Cette opposition prendra sa forme la plus radicale après les élections législatives de 1999 entre les différentes composantes du gouvernement, notamment entre libéraux qui désirent la disparition des contrats de sécurité afin de transférer leur budget au système de justice pénale et socialistes qui sont partisans d'un statu quo. 66
L'évaluation despolitiques de sécurité et deprévention en Belgique
(en particulier les statistiques criminelles) et va sonner le glas des recherches évaluatives qualitatives sans pour autant ouvrir la porte à d'autres formes d'évaluation. La réduction drastique des budgets octroyés au programme de recherches commandité par le ministère de l'Intérieur, et dès lors la réduction des timings et du personnel financés par celui-ci, explique en partie cette situation: l'évaluation scientifique systématique nécessite des moyens importants que le gouvernement n'est plus prêt à octroyer. Mais l'explication se situe également du côté des centres de recherches indépendants. Du côté de ceux-ci, en effet, l'évaluation, au sens strict du terme, est encore considérée comme une démarche de recherche 'non noble', surtout en criminologie où s'affrontent des tendances opposées entre une criminologie étatique 'dans le système' au service de la politique criminelle et une criminologie universitaire 'en dehors du système' qui se veut indépendante de cette dernière33. Dans ce cadre, si nombre de centres de recherches ont, au début des années 1990, accepté de jouer le jeu de l'évaluation, c'était à la condition de ne pas trop se 'compromettre', notamment au regard de l'objectif de réduction de la délinquance qu'ils ont été prompts à critiquer. Sous couvert d'évaluation, les centres ont ainsi profité de la manne financière dégagée par le ministère de l'Intérieur pour faire de la recherche sur des pratiques jusqu'alors peu investiguées empiriquement. Ces recherches ont par ailleurs largement permis d'améliorer la connaissance sur des terrains plus difficiles d'accès (la police notamment), en raison du secret professionnel ou de l'obligation d'obtenir des autorisations d'instances peu enclines à collaborer à l'étude de leur propre fonctionnement. L'absence d'évaluation au sens strict s'explique donc également par le compromis entre universités et commanditaire: les recherches évaluatives, sous condition d'une certaine autonomie méthodologique, offraient, d'une part, un matériau et des résultats perçus comme acceptables pour la recherche et l'enseignement dans les universités, d'autre part, une base de réflexion objectivée en vue de la prise de décision
33Junger-Tas,
1974-1975. 67
L'évaluation despolitiques de sécurité et deprévention en Europe
et une caution scientifique pour le commanditaire de ces évaluations. Ce compromis a fonctionné jusqu'en 1999, date à partir de laquelle la limitation des conditions matérielles et des thématiques de recherche conduit une majorité de centres de recherches universitaires à ne plus répondre aux appels d'offres du ministère de l'Intérieur, dans la mesure où ceux-ci ne répondent plus au compromis implicite qui prévalait jusqu'alors. On assiste ainsi progressivement, d'une part, à une concentration de la recherche évaluative universitaire sur des pôles d'expertises confinés de plus en plus à un rôle de conseils méthodologiques, d'autre part, à un déplacement des recherches relevant d'une certaine criminologie 'dans le système' vers des centres de consultance et d'audit privés ou des organismes de recherches internes. Si ceux-ci acceptent plus facilement les conditions de recherches imposées par le commanditaire et s'ils sont considérés comme plus susceptibles de fournir des résultats directement utilisables ou transposables par le politique, la plupart des organismes internes et privés ne possèdent pas les compétences nécessaires à l'évaluation scientifique, que ce soit au sens large ou au sens retreint. Au point qu'aujourd'hui, l'on assiste également à un déplacement de recherches encore qualifiables d'évaluation au sens large vers des études et des expertises tournées vers le fonctionnement interne qui n'ont, malgré leur nom, plus grand-chose à voir avec des démarches évaluatives.
68
L'ÉVALUATION DES POLITIQUES DE PRÉVENTION ET DE SECURITE EN FRANCE: UNE ACTIVITÉ PROBLÉMA TIQUE Anne Wyvekens Le souci d'évaluer les politiques publiques est relativement récent en France. S'il s'accentue depuis quelques années - le mot évaluation est de plus en plus utilisé - /'évaluation demeure [. ..] une activité problématique (Lascoumes, 2006). Formulée pour les politiques publiques en général, cette affirmation est particulièrement pertinente en ce qui concerne les politiques de prévention et de sécurité. Au sens strict, elles ne font pas l'objet d'évaluation. Il existe en revanche un large éventail de pratiques qualifiées d'évaluatives. Après les avoir présentées, on développera quelques remarques sur leur réalisation et leurs usagesl. I - Qu'entend-on 1 - L'évaluation
par évaluation?
au sens strict France
n'est
pas pratiquée
en
Évaluer une politique, c'est apprécier [...] son efficacité en comparant [ses] résultats aux of?jectifsassignés et aux mqyens mis en œuvre. On complétera cette définition 'officielle' et générale (décret n° 98-1048 du 18 novembre 1998 relatif à l'évaluation des politiques publiques) par celles qu'en donnent quelques chercheurs s'intéressant aux politiques de prévention-sécurité. L'évaluation commence quand on cherche, non ce qui a été fait, mais la conséquence de cette action sur une cible. [...] L'évaluation suppose une réelle extériorité par rapport au dispositif. L'examen de l'impact [...] nécessite la comparaison avant/après, la prise en compte de groupes ou de zones de contro'Ïe, enfin l'examen de la relation entre l'action et l'impact
I Je remercie les personnes
-
chercheurs, acteurs institutionnels et de la
société civile - qui ont bien voulu m'accorder un entretien et contribuer ainsi à la réalisation de cet « état des lieux ».
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
afin de supputer si d'autres causes n'expliquent pas ce dernier (Robert, 2005). Pour satisfaire aux exigences de l'évaluation scientijique, le chercheur
doit d'abord
pouvoir
mesurer
aussi
bien le résultat
de l'opération
(la variable dépendante) que l'intervention elle-même (la variable indépendante). Le résultat c'est la manifestation criminelle à laquelle le programme policier s'attaque, par exemple le nombre de vols de véhicules automobiles ou d'accidents mortels liés à l'excès de vitesse. Ces incidents doivent être dénombrés de manière exacte, fiable et constante (ce qui présente souvent des difficultés considérables). Il importe aussi de décrire précisément la nature de l'intervention mise en place par les policiers. L'évaluateur vérifie que l'oPération s'est déroulée comme Prévu et avec l'intensité suffisante. Comment lespoliciers sont-ils intervenus exactement? Combien defois ? Qui étaient leurs partenaires et ceux-ci ont-ilsjoué leur rote? Quand l'intervention a-t-elle débuté? (BIais, Cusson, 2007).
L'évaluation ainsi entendue n'existe pas en France. Il est courant d~ns ce domaine de comparer la situation française à celle des Etats-Unis. Nous ne connaissons pas, en matière de politiques publiques, l'évaluation expérimentale ou quasi expérimentale: celle qui, à la manière de l'évaluation médicale par exemple, procède par comparaison entre un groupe test et un groupe de contrôle. Cette a~sence renvoie à un contexte scientifique: à la différence des Etats-Unis, où la recherche en sciences humaines accorde une place importante au recueil de données chiffrées, la France développe une recherche plus qualitative, privilégiant notamment l'analyse des processus liée à l'influence de la sociologie des organisations (perret, 2003). On n'y pratique guère plus l'évaluation procédant par comparaison entre un « avant» et un « après ». ~e contexte sociopolitique est tout aussi déterminant: là où l'Etat américain dispose d'une légitimité réduite, qui a pour conséquence le besoin, de démontrer l'efficacité des interventions publiques, l'Etat français n'a pas àjustijier a priori son intervention dans tout domaine où
l'intérergénéralest en cause(perret, 2003). D'où pendant longtemps l'absence, ou la grande rareté de démarches évaluatives obligatoires, et lancées soit avant la généralisation d'une mesure, accompagnant la définition de celle-ci, soit dès le début de l'initiative. Ces constats s'appliquent particulièrement à l'évaluation des politiques de prévention/ sécurité. Quand on parcourt les 70
L'évaluation des politiques deprévention et de sécurité en France
ouvrages consacrés à l'évaluation des politiques publiques, il est rare que figure, dans la partie consacrée aux illustrations, une politique de prévention ou de sécurité. L'actualité parlementaire récente en donne un autre exemple, éloquent. Le président de la commission des lois de l'Assemblée nationale, coauteur d'un rapport « accablant» qu'il vient de rendre sur la justice des mineurs2, déclarait lors d'une interview: En réalité,on n'a pas de retour sur l'efficacité des stfnctions prononcées. Les instruments
de mesure
font cruellementdéfaut>.A propos de la politique de la ville, un témoin privilégié raconte comment une demande d'évaluation du contrat de ville lui fut adressée deux ans après la signature de celui-ci: aucun indicateur d'impact n'avait été construit à l'origine. Comment évaluer une action alors qu'au départ on ne s'est pas mis en situation d'évaluer ?... On ne pouvait donc travailler que sur des
indicateurs de réalisation.De quoi parle-t-on, alors, quand il est question d'évaluation? Le discours des chercheurs se distingue de celui des décideurs. Les envisager successivement permet d'apporter un peu d'ordre dans le foisonnement de pratiques, toutes dites 'évaluatives', qui sont évoquées par les uns et par les autres.
2
- L'évaluation'
au sens large' . le point de vue des chercheurs
Aussitôt après avoir constaté l'absence d'activité évaluative « au sens strict », quasi-expérimentale, les chercheurs ou les gestionnaires de recherche tempèrent la radicalité de leur propos, parlant 'd'évaluation au sens large'. Ils rangent dans cette catégorie les très nombreuses évaluations de fonctionnement, ou de processus. Une bonne part d'entre elles ont porté et portent sur les poli~ques locales de prévention de la délinquance ou de sécurité. Evaluation au sens large, ou plutôt première étape d'une véritable évaluation, puisque celle-ci suppose de se pencher à la fois sur la manière dont une politique ou un programme a été mis en œuvre et sur 2 Deuxième volet des travaux de la mission d'information décisions de justice pénale. 3 Le Figaro, 27 mai 2008.
sur l'exécution des
71
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
son impact. L'évaluation de la politique de la ville (Belorgey, 1993 ; Donzelot, Estèbe, 1993) fut sans doute un modèle du genre, même si la part consacrée à la politique de prévention n'y était pas importante. Les contrats locaux de sécurité ont fait l'objet de ce type d'évaluation, avec des bonheurs divers. Il en est de même pour la justice de proximité ou, moins récemment, les conseils communaux de prévention de la délinquance. Dans un autre domaine, celui des réponses judiciaires à la délinquance, on mentionnera les travaux relatifs aux alternatives aux poursuites: médiation pénale, réparation pénale et, plus récemment, composition pénale. La police de proximité a donné lieu à des études du même type. Dans tous les cas il s'agit avant tout de passer au crible la mise en œuvre d'une mesure, les difficultés qu'elle soulève, les représentations dont elle fait l'objet, mais jamais ses 'résultats'. Ou alors de très loin: Dans une recherche sur le fonctionnement du parquet, si un magistrat parle des conséquences de son action, ily a une petite dimension d'évaluation.
On mentionnera ensuite une 'invention française': les diagnostics locaux de sécurité. Préalables obligatoires à la signature des contrats locaux de sécurité, ils posent les bases d'une possible évaluation dans la mesure où les 'fiches-actions' de ces contrats, qui décrivent les actions à entreprendre, sont supposées être élaborées en fonction des éléments d'un 'diagnostic' de la situation locale. Il y a là au moins, à défaut de la construction d'indicateurs, la définition d'objectifs. Ici encore, un élément de la démarche évaluative apparaît, sans que le lien soit fait avec les autres. Dans un registre similaire, celui de l'état des lieux, la France est une adepte résolue d'une autre forme d'évaluation au sens large: l'observatoire. Un observatoire recueille, collationne et éventuellement analyse des données statistiques relatives à une question particulière. Nombreux dans tous les domaines, les observatoires le sont particulièrement dans celui de la sécurité. Certains sont nationaux - Observatoire national de la délinquance (OND), Observatoire national des zones urbaines sensibles (ONZUS), Observatoire français des drogues et des toxicomanies (OFDT) -, voire internationaux - Observatoire international des violences scolaires -, d'autres sont locaux, que ce soit au niveau de municipalités (observatoires de la 72
L'évaluation despolitiques deprévention et de sécurité en France
délinquance) ou de départements (observatoires de l'absentéisme et des violences scolaires). Certains sont rattachés à des institutions publiques, d'autres mis en place par des chercheurs, d'autres encore par des acteurs du secteur économique, tels les transporteurs (observatoire de la sûreté à la SNCF, observatoire national de la sûreté dans les transports ferroviaires et collectifs) ou les bailleurs sociaux (observatoire des incivilités mis en place par l'Union sociale pour l'habitat). Il ne s'agit pas, là non plus, d'évaluation à proprement parler. On est en quelque sorte, par rapport à l'analyse de processus, sur l'autre versant de l'évaluation: celui d'une forme de résultat. Il est intéressant de constater que les deux éléments de l'évaluation existent... mais restent le plus souvent dissociés. Ainsi l'Observatoire national de la délinquance n'a-t-il jusqu'ici, malgré toutes les données qu'il récolte, été à l'origine d'aucune evidence-basedstudy, ni sur la police, ni sur la justice, ni sur la prévention. Deux « observatoires» font jusqu'à un certain point exception à ce constat: l'ONZUS (cf. infra) et l'OFDT. L'Observatoire français des drogues et des toxicomanies développe une activité d'étude et de recherche qui déborde largement la collecte de données statistiques. Parmi ses travaux, qui portent tantôt sur les usagers de drogues eux-mêmes, tantôt sur les politiques publiques - sanitaires ou pénales - relatives à la consommation ou au trafic, 1'9bjectif d'aide à la décision apparaît de façon récurrente. L'Evaluation du plan triennal de lutte contre la drogue et deprévention des dépendances (1999-2002)
(Setbon et
al., 2003) comporte six volumes, dont un consacré à l'évaluation des programmes départementaux de prévention (Lefebvre-Naré et al., 2003). Plusieurs études monographiques sont explicitement évaluatives (par exemple Setbon, 2000 ; Duburcq et al., 2001). Ces différentes études portent plus sur les processus que sur les résultats, mais certaines s'interrogent sur la notion même d'évaluation. On trouve même, dans les travaux de l'OFDT, une étude consacrée à l'évaluation en tant que telle de l'intervention en toxicomanie (Lahaye et al., 2002). L'INSEE (Institut national de la statistique et des études économiques) est quant à lui le cadre d'une démarche qui, sans pouvoir elle non plus être qualifiée d'évaluation au sens strict, 73
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
comporte une dimension de comparaison entre un 'avant' et un 'après'. Les chercheurs ont procédé, à propos des zones urbaines sensibles, à la confrontation entre diverses données provenant de deux recensements successifs (1990 et 1999). Ils ont ainsi établi que seules 150 des 717 zones urbaines sensibles avaient vu s'améliorer leur situation relative (Le Toqueux, Moreau, 2002; Le Toqueux, 2003). On touche ainsi, si ce n'est à l'impact de tel ou tel aspect de la politique de la ville (lien de cause à effet), du moins à l'évolution d'indicateurs susceptibles d'être mis en rapport avec cette politique. S'agissant du domaine de la répression - justice pénale, prison -, paradoxalement peu investi par l'évaluation au sens strict, on y trouve un nombre important de travaux de nature quantitative. La « veine» la plus importante et la plus ancienne concerne la récidive. Elle a été inaugurée par le démographe P. Tournier et recourt principalement à la méthode du suivi de cohortes. Portant d'abord sur des populations de condamnés à de longues peines, selon une méthode qui a évolué au fil du temps (pour un aperçu d'ensemble, voir Kensey, 2007), ces études mettent en relation la peine prononcée, son exécution et les taux de récidive (voir par exemple Kensey, Tournier, 1994). Là aussi, les chercheurs interrogent le mot évaluation. Onfait des statistiques, donc pas de l'évaluation. Mais quand même, l'ana!Jse statistique, celafait partie de l'évaluation, à partir du moment où on ne se limite pas à de simples comptages. On montre par exemple les évolutions de
la population carcérale, on montre pourquoi elle évolue de cette manière,
c'est donc une évaluationde la politique menée.Plus récemment, une étude a comparé le devenir judiciaire d'une cohorte de sortants de prison à celui de cohortes de condamnés à des peines non carcérales (Kensey, Lombard, Tournier, 2006).
3 - L'évaluation vue par les institutions Le discours institutionnel sur l'évaluation est différent de celui des chercheurs: plus assuré, et de plus en plus fourni en exemples de démarches présentées comme évaluatives. Le souci de l'évaluation date de la fin des années 1980, sous le gouvernement de Michel Rocard, dans le cadre de la
74
L'évaluation despolitiques deprévention et de sécurité en France
modernisation de l'État'. L'évaluation demeure toutefois essentiellement interne à l'administration, pratiquée par les corps d'inspection des différents ministères. Peu soucieux de se voir concurrencer dans ce champ de compétence, leurs agents ne bénéficient pas, toutefois, de formation particulière à l'activité d'évaluation. Si donc il est beaucoup question d'évaluation, ce qui est pratiqué relève plus de l'audit interne que de l'évaluation au sens strict (Robert, 2003, 121). Les évaluateurs font partie de l'institution et utilisent des données produites par celle-ci. Les premiers contrats locaux de sécurité ont fait l'objet d'une évaluation de ce type, menée par une mission interministérielle placée sous la direction d'un inspecteur général de l'administration. On mentionnera également l'évaluation des débuts de la politique de développement social des quartiers (Lévy, 1988). Une mission analogue - composée d'inspecteurs de l'administration et d'inspecteurs de la police nationale - fut quant à elle chargée d'évaluer la réforme dite « police de proximité» et supposée en accompagner la généralisation. La mission produira quatre rapports, qui demeureront secrets5, Leur contenu sera qualifié de longueliste de jugements suijectifs (Roché, 200Sb). Défaillante sur le plan méthodologique (manque de précisions sur les indicateurs, absence de groupe de contrôle, absence d'une approche identique sur les différents sites étudiés...), cette 'évaluation' fut en outre, comme c'est souvent le cas, ressentie plus comme une menace pour les réformateurs que comme une aide à la décision. Et la réforme fut généralisée au pas de charge, dans une temporalité incompatible avec l'idée d'une véritable expérimentation. Le début des années 2000 marque une nouvelle avancée en matière d'incitation à l'évaluation, aussi bien de façon générale que plus particulièrement dans le domaine de la sécurité. La 'loi organique relative aux lois de finances' (LOLF), datée du 1er août 2001 et applicable à toute l'administration er depuis le 1 janvier 2006, modifie la gestion budgétaire de 4 Pour plus de détails, voir Perret (2003). 5 Roché (2005a) en détaille le contenu. 75
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
l'État: à la place d'une gestion classique des dépenses, par ministère, elle institue une gestion par missions, programmes et actions. Les objectifs des programmes doivent être clairement énoncés et renvoyer à des indicateurs quantitatifs de performance. S'il ne s'agit pas d'une obligation d'évaluation, à tout le moins l'administration se trouve-t-elle contrainte de raisonner en termes d'indicateurs... puisque menacée en théorie de restrictions budgétaires si elle ne démontre pas d'améliorations. Aujourd'hui, de manière générale, la culture du management renforce l'activité 'évaluative' des institutions, ou du moins l'incitation la concernant. Ainsi par exemple, la loi du 9 septembre 2002 « d'orientation et de programmation pour la justice» prévoit-elle que des outils d'évaluationde l'actionéducativeet de suivi de la trqjectoire des mineurs suivis seront élaborés conformément aux orientations de la loi organique du 1" août 2001 relative aux lois de
finances... Quelques années plus tard, la formulation se fait plus impérative: la loi instituant des peines planchers en cas de récidive6 prévoit qu'une évaluationdes dispositifsprévuspar les articles 7 à Il sera réaliséeau plus tard le 31 mars 2011 (article 13). Les institutions policière et judiciaire n'échappent pas au nouveau management public et à la mesure de la performance. Nicolas Sarkozy, ministre de l'Intérieur, inaugure la pratique de réunions en préfecture où bons et mauvais points sont distribués aux préfets des cinq 'meilleurs' et cinq 'moins bons' départements en matière de délinquance. Au ministère de la Justice, un baromètre trimestriel (mensuel, aujourd'hui pour les juridictions des mineurs) récapitule l'activité des juridictions sous formes de statistiques synthétiques (Jean, 2008). Il - Qui évalue? La question de savoir qui évalue renvoie à celles de la compétence des évaluateurs et de leur « neutralité ». On a évoqué déjà les corps d'inspection. Leur rôle est central alors
6 Loi n° 2007-1198 du 10 août 2007 renforçant la lutte contre la récidive des majeurs et des mineurs. 76
L'évaluation despolitiques deprévention et de sécurité en France
que, à la fois juges et partie, ils ne sont en outre guère formés à l'exercice d'évaluation. S'agissant des chercheurs professionnels, la situation est paradoxale. Alors qu'ils sont supposés être les mieux à même de mener une véritable évaluation scientifique, plusieurs interlocuteurs laissent entendre, chacun à sa manière, qu'il manque en France de 'bons' évaluateurs, ce qui serait l'une des raisons de la faiblesse de l'activité évaluative. Il y a peu d'évaluations qui ont marqué les esprits. Si j'étais directeur de la police,je ne vois pas bien à qui je demanderais une évaluation. Je sais d'avance ce que produira tel ou tel chercheur. La remarque peut porter sur la maîtrise de certaines méthodes, en particulier quantitatives: enquêtes d'opinion, études de cohortes. Les chercheurs français pratiquent plus volontiers les méthodes qualitatives. D'autre part, à plusieurs reprises on entendra regretter le manque de distance dont feraient preuve trop de chercheurs, leur parti Pris,
le caractère idéologiquement a pas d'exemples montrant paraisse pas partisane.
biaisé de nombreux travaux. Il ny
l'intérer d'une évaluation
bien menée, qui ne
Les chercheurs, quant à eux, sont nombreux à mettre en avant que les politiques de sécurité, se situant à la lisière du social, ont des impacts non quantifiables, et qu'il est artificiel voire impossible de prétendre procéder de façon quasiexpérimentale. Ils revendiquent de la sorte la pertinence de leur pratique de l'évaluation 'au sens large', entendue au sens le plus extensif d'aide à la réflexionet d'aide à la décision.Cela dit, le monde de la recherche se montre globalement peu enthousiaste par rapport à la pratique de l'évaluation, comme si cette activité était considérée comme trop opérationnelle donc peu noble. Les demandes d'évaluation des administrations? On ne se précipite pas dessus. On estime que ce n'est pas forcément notre rôle. Telle étude d'impact, on
nous a un peu forcé la main, commente un gestionnaire de recherche. Au delà de la rareté des travaux d'évaluation à proprement parler, il est frappant d'observer la distance, qui reste importante, entre chercheurs et administrations. Les chercheurs réalisent, de leur propre initiative, des travaux qui alimentent plus le débat scientifique qu'ils n'éclairent la décision. Les administrations, de leur côté, mobilisent plus 77
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
volontiers leurs propres ressources (en personnel et en données), parfois au nom d'une nécessaire appropriation de l'évaluationpar les acteurs institutionnels. Un rôle d'interface est joué par des organismes d'incitation à la recherche, parmi lesquels la Mission de recherche Droit et justice?, pour les questions relatives au système judiciaire et pénitentiaire, et l'Institut national des hautes études de sécurité8, pour le domaine policier. L'un et l'autre, selon des schémas et dans des statuts différents, suscitent, financent et évaluent des travaux de recherche. Là aussi, l'évaluation en tant que telle est minoritaire. C'est au sein du second organisme qu'une position intermédiaire, entre le tiers neutre et l'évaluateur institutionnel, a été revendiquée dans l'évaluation de la réforme 'police de proximité'. Les 'transfuges' (Ocqueteau, 2003) sont des chercheurs occupant pour un temps une position, institutionnelle, en l'occurrence responsables de la recherche. A ce titre, ils accompagnent sur le terrain une mission interne d'évaluation, donnant ainsi, au moins partiellement, à l'opération la dimension d'extériorité qui lui fait défaut. En matière de politiques locales de sécurité, les évaluations ou diagnostics réalisés localement l'ont souvent été par une troisième catégorie d'acteurs, des cabinets de consultants. Aujourd'hui, au niveau national, ce sont également des cabinets privés qui décrochent les marchés - à la Délégation interministérielle à la ville, par exemple - ou qui ont la préférence des directions ainsi à la direction de l'administration pénitentiaire: des résultatsclairs,concis,des schémas. Outre la concision du résultat, c'est la brièveté des délais de réalisation qui importe. 7 Groupement
d'intérêt
public
dont
les membres
fondateurs
sont
le
ministère de la Justice (50% des droits), le Centre national de la recherche scientifique (30%), l'École nationale de la magistrature (10%), le Conseil national des barreaux (5%) et le Conseil supérieur du notariat (5%). Sont membres associés: le ministère de la Recherche, l'Institut des hautes études sur la justice et l'Association française pour l'histoire de la justice. 8 INHES, établissement public de formation et de recherche dépendant du ministère de l'Intérieur. 78
L'évaluation despolitiques de prévention et de sécurité en France
La question de savoir qui évalue recoupe celle du financement de l'évaluation (toujours entendue « au sens large »). La France est dotée une institution nationale de recherche, le Centre national de la recherche scientifique (CNRS), dont les personnels sont rémunérés à temps plein, sous un statut de fonction publique, pour leur activité de recherche. De nombreux travaux peuvent ainsi être réalisés sans financement extérieur. La recherche de financements - par le biais de contrats avec des administrations ou des entreprises - reste nécessaire pour couvrir des frais tels que missions sur le terrain et rémunération d'enquêteurs ou de Oeunes] chercheurs non statutaires. L'indépendance résultant de cette configuration est aujourd'hui tempérée par une tendance, qui s'accélère, à la diminution des ressources propres des unités de recherche, au profit d'une agence de moyens, l'Agence nationale pour la recherche (ANR), qui finance les projets par contrat, sur appels d'offres. Le développement d'un marché de l'expertise en matière de sécurité, autour des politiques locales et plus particulièrement des diagnostics sur lesquels elles doivent s'appuyer, a soulevé la question de la qualité des dits diagnostics. Les préoccupations de rentabilité ont conduit à la pratique de diagnostics stéréotypés, où une grille identique était appliquée à des situations locales différentes, bien loin des diagnostics « partagés» réalisés entre acteurs locaux par les municipalités les plus motivées (voir notamment Donzelot, Wyvekens, 2004), et valant à leurs auteurs la qualification peu amène
de pseudo-research consultants (Robert,
2003,
III- À quoi sert 'l'évaluation'
125).
?
Les usages possibles de 'l'évaluation' ne manquent pas. Les évaluations de processus, les descriptions de l'action a posteriori,en particulier lorsqu'elles sont 'partagées', 'appropriées' par les acteurs qu'elles concernent directement, doivent permettre à ceux-ci de mieux s'organiser entre eux, de faire progresser les méthodes, de relancer un dispositif ou un programme. C'est l'objectif que poursuit le Forum français pour la sécurité urbaine dans les prestations d'accompagnement qu'il 79
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
offre aux villes en matière de diagnostic ou de politiques de sécurité: le comité de suivi de ces travaux se veut le plus ouvert possible aux différents acteurs concernés. La distance précédemment évoquée, entre ceux qui réalisent l'évaluation et ceux qui l'ont commandée, distance plus ou moins volontairement entretenue, témoigne toutefois de la rareté de ce type d'usage. Le suivi d'une expérimentation est une autre utilisation possible. On a prétendu en faire lors de la réforme de la police de proximité. Le discours y était, mais la réalité fut bien différente puisque la généralisation de la réforme fut menée à marche forcée, sans tenir compte des rapports produits parallèlement. Une démarche analogue a été menée au moment de la mise en place de la mesure de placement sous surveillance électronique (Kensey, Lévy, Pitoun, Tournier, 2003). Commandée par la direction de l'administration pénitentiaire à un laboratoire du CNRS, l'étude, qui mettait en évidence un certain nombre de défauts dans la mise en place, n'a pas fait l'objet d'utilisation par l'administration. Il serait abusif de tirer de ces quelques exemples des conclusions générales, il n'en demeure pas moins qu'ils illustrent, à leur manière, le caractère 'problématique' de l'évaluation en France. De manière plus générale, l'évaluation - même entendue au sens large - est de nature à alimenter le dialogue, le débat politique. Voire à obliger les acteurs à 'rendre des comptes', que ce soit à leurs financeurs, aux bénéficiaires des actions ou aux citoyens dans leur ensemble. Il faut cependant se rendre à l'évidence: les résultats de ces travaux, quand ils existent, ne sont que rarement rendus publics. Bien des travaux menés par l'administration ou à son initiative sont à usage purement interne, pas ou faiblement diffusés. Un e,?'emple récent: l'étude sur la vidéo surveillance dans les lycées d'Ile-de-France (Le Goff et,al, 2007, voir infra), n'est pas diffus able, à la demande de l'Education nationale. On s'interroge également sur l'utilisation par le ministère de l'Intérieur d'une évaluation de la vidéo surveillance réalisée à l'initiative et avec le financement de l'INHES: plusieurs mois après sa remise, le rapport n'avait toujours été ni publié ni valorisé. Alors que la vidéo surveillance fait à présent l'objet d'une généralisation tous azimuts, à 80
L'évaluation despolitiques deprévention et de sécurité en France
l'initiative de ce même ministère. D'autres grands 'débats' publics sur des questions de sécurité - peines-planchers, rétention de sûreté - ne font référence à aucun travail d'évaluation. En trente ans de ces approches, on n'a vu aucun effet sur la décision politique ni sur le débat démocratique. La décision politique en
matière de sécurité semble en France particulièrement déconnectée du peu d'évaluation qui existe et, plus globalement, des travaux des chercheurs sur les dites politiques. Ce constat, partagé avec des pays plus férus d'évaluation, renvoie au caractère éminemment politisé de cette catégorie d'action publique. Comme le fait remarquer un de nos interlocuteurs, la 'dépolitisation' d'une question s'accompagne souvent d'une amélioration de la connaissance la concernant. Ainsi les questions de toxicomanie font-elles l'objet d'un 'réel effort' de connaissance, notamment à l'initiative de l'Observatoire français des drogues. Quant aux mesures de performance réalisées en application de la LOLF, ou de façon générale au sein des administrations, elles relèvent plus d'un objectif de contrôle de gestion que de véritable évaluation.
IV - Illustrations On terminera en évoquant deux démarches récentes qui, chacune à sa manière, peuvent être porteuses d'une forme d'avenir pour l'évaluation en France. Si elles ne constituent pas de «véritables» évaluations, l'une et l'autre ouvrent des pistes.
1 - La vidéosurveillance dans les lycées en ÎIe-deFrance. Usages et impacts Ce travail, réalisç par l'Institut d'aménagement et d'urbanisme de la région Ile-de-France (Le Goff et a/., 2007) a pour première particularité son origine. Il a ét~ engagé à la demande du groupe des élus Verts de la Région Ile-de-France, qui en faisait une condition au vote du budget de financement de la vidéosurveillance dans les lycées9. Explicitement donc, et 9 En France c'est le conseil régional qui finance les équipements des lycées. 81
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
cela est suffisamment rare pour être relevé, une décision politique serait prise à partir d'une démarche de connaissance. L'étude s'est déroulée selon une méthodologie qualitative (entretiens, observations), qui a permis à la fois de comprendre les usages - variés - du dispositif, d'en mesurer l'impact sur les faits de délinquance, les effets pervers ainsi que le décalage entre les effets et les représentations, tant chez les personnels que chez les élus. Elle a ainsi mis au jour une efficacité nettement plus limitée que ce que pensaient les personnels. Mais également des objectifs différents de ceux qu'imaginaient les élus: là où ils ne voyaient d'autre enjeu que la lutte contre les intrusions, ils ont découvert des usages relatifs à la discipline à l'intérieur de l'établissement. 2 - L'observatoire
national des zones sensibles
urbaines
La loi du 1er août 2003 'd'orientation et de programmation pour la ville et la rénovation urbaine' prévoit l'élaboration et la mise en œuvre de programmes à destination des zones défavorisées, en matière d'emploi, de logement, de santé, d'école, de sécurité et ordre public. Elle crée un Observatoire national des zones urbaines sensibles chargé de mesurer l'évolution des inégalités sociales et des écarts de développement dans chacune des zones urbaines sensibles, de suivre la mise en œuvre des politiques publiques conduites en leur faveur, de mesurer les mqyens spécifiques mis en œuvre et d'en évaluer les effets par rapport aux objectifs et
aux indicateurs de résultats mentionnés [en annexe]. Cette construction représente, en France, une sorte de révolution. Un lien est établi entre des résultats (dans le domaine qui nous occupe: taux d'élucidation, nombre de victimes, sentiment d'insécurité) et les ressources mobilisées (nombre de contrats locau~ de sécurité, d'agents locaux de médiation sociale, etc.)lO. A défaut donc d'expérimentation 10 6.2.1 Indicateurs -
nombre
enregistrés d'infraction
82
de résultats:
de crimes et délits (commis dans les zones urbaines sensibles) par les services de police et de gendarmerie par (statistiques État 4001 - coups et blessures volontaires
catégorie criminels
L'évaluation des politiques deprévention et de sécurité en France
aléatoire, des indicateurs sont récoltés et centralisés. L'ONZUS travaille en collaboration avec l'OND qui lui fournit les statistiques relatives aux infractions constatées11, ainsi que l'exploitation des données de l'INSEE sur le sentiment de sécurité dans les quartiers. Au delà de ce pas en avant vers l'évaluation, on pourra regretter que les moyens correspondants ne soient pas dégagés (Roché, 2005) : le budget de l'évaluation ne constitue pas un pourcentage du montant global de subvention accordé. L'observatoire ne dispose pas d'informations suffisamment précises sur les politiques menées, ce qui rend difficile leur confrontation aux résultats. Les faits constatés dans les quartiers en question sont confrontés aux chiffres de l'ensemble de la circonscription de sécurité publique. Des liens sont établis entre le sentiment de sécurité des et délictuels sauf ceux suivis de mort, vols violents sans arme contre des femmes sur voie publique, destructions et dégradations de véhicules privés, cambriolages de locaux d'habitation principale, destructions et dégradations de biens publics, trafic et revente sans usage de stupéfiants, mauvais traitements et abandons d'enfants) ; - taux d'élucidation (des faits précédents) ; - nombre d'outrages et violences à agents de la force publique (État 4001) ; - nombre d'incidents scolaires signalés dans les collèges sur la base des données du système de recensement et de signalement des faits de violence ; - eXploitation de l'enquête annuelle INSEE (enquête permanente sur les conditions de vie des ménages, questions relatives au sentiment de sécurité). 6.2.2. Indicateurs de moyens: - nombre d'agents d'unités spécialisées (brigade des mineurs et brigade de prévention de la délinquance juvénile) affectés aux circonscriptions comprenant une ZUS ; - nombre de lieux d'accueil comprenant une ZUS ;
d'aide aux victimes
dans les communes
- nombre de dispositifs d'accès au droit et à la justice (maisons de la justice et du droit, point d'accès au droit) ; - nombre de contrats locaux de sécurité et de prévention de la délinquance ; - nombre d'éducateurs de prévention spécialisée; - nombre d'agents de médiation sociale. 1128 index sur les 107 de l'État 4001, représentant de 70 à 80 % des faits de délinquance. 83
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
habitants et les différentes caractéristiques des quartiers. Et surtout, on assiste, avec cet observatoire, structure pérenne, à la possibilité de récolter les données stables indispensables à des analyses plus élaborées, qu'on espère pouvoir mener ultérieurement (ONZUS, 2005). En guise de conclusion Si l'évaluation à la manière quasi expérimentale n'existe pas en France, on voit que les travaux à portée ou à prétention évaluative n'y manquent pas. Ce qui donne le plus matière à réflexion est au fond d'une autre nature: c'est l'absence ou le manque de « culture de l'évaluation». Manque de souci de rendre des comptes, de 'laisser voir', de 'donner à voir'. La question qui se pose est moins celle du choix de la méthode que celle - longuement débattue au cours du séminaire - du rapport entre la science et le pouvoir.
84
ÉVALUATION PRÉVENTION
DES POLITIQUES DE SÉCURITÉ ET DE DE LA DÉLINQUANCE AUX PA YSBAS"1 Karin Wittebrood
L'augmentation de la sécurité publique - c'est-à-dire tant la réduction de la délinquance et des incivilités commises que l'amélioration de la sécurité ressentie ou subjective - a été placée assez haut sur la liste gouvernementale des priorités politiques aux Pays-Bas, depuis le lancement en 2002 du Programme de Sécurité (Naar eenveiligersamenleving,'Vers une société plus sûre') par le premier gouvernement du Premier ministre Jan Peter Balkenende. Ce programme concentre principalement son attention sur ces formes de criminalité et de nuisances qui touchent les citoyens et les entreprises/institutions dans l'espace public. Les gouvernements Balkenende successifs ont visé une réduction nationale de la délinquance et des incivilités de 25% entre 2006 et 2010 (par rapport à 2002). Le sentiment de sécurité doit aussi augmenter substantiellement pendant cette période. Quand le quatrième gouvernement Balkenende a été formé au début de l'année 2007, l'impression générale était que beaucoup de choses avaient été mises en mouvement et réalisées par le Programme de Sécurité de 2002: les Pays-Bas étaient devenus plus sûrs et les infractions contre les personnes et les entreprises avaient diminué. Le projet 'La sécurité commence par la prévention' (Veiligheid begint bij Voorkomen) a récemment remplacé le Programme de Sécurité 2002. Le gouvernement Balkenende IV a toutefois indiqué que les objectifs formulés dans le Programme de sécurité restaient en vigueur et que l'introduction de mesures là où elles étaient nécessaires se poursuivrait. L'optimisme exprimé à propos de l'efficacité du Programme de Sécurité n'était pas universellement partagé. En 2006, la Cour des Comptes néerlandaise a fait remarquer qu'il était virtuellement impossible de déterminer la contribution de la politique Traduction d'Émilie Vormès, révisée par Renée Zauberman. 1 Basé sur Van Noije, Wittebrood, 2008.
*
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
du gouvernement central à fa résolution des problèmes sociaux pour lesquels cette politique était mise en place et que il n y a pas de preuve tangible de
la relation entre les ressources,les mesures et les effets souhaités (fK 2005/2006,6). En s'appuyant en partie sur l'étude de la Cour des Comptes néerlandaise et les recommandations qui en avaient découlé, le ministère de l'Intérieur et des Relations du Royaume et celui de la Justice, soutenus par le ministère des Finances, décidèrent de mettre en œuvre un programme de recherche pour étudier 'le coût social de la sécurité' (MaatschappelijkeKosten van Veiligheid). D'une part, cette recherche est menée dans l'intention de répondre à la critique de la Cour des Comptes selon laquelle cette politique ne s'appuie sur aucune théorie, qu'elle manque de justifications et que l'information sur les sommes dépensées pour la sécurité est insuffisante. D'autre part, les ministères concernés souhaitent utiliser les résultats de recherche pour avoir une meilleure vue des retours sur l'investissement dans la sécurité, et ainsi, une base plus solide pour les futurs choix politiques. Dans cette contribution nous répondrons à trois questions, d'après une analyse des effets supposés et réels de la politique de sécurité néerlandaise conduite par l'Institut néerlandais de recherches sociales (SCP) (Van Noije, Wittebrood 2008). * Sur quels présupposés repose la politique de sécurité collective? * Dans quelle mesure et de quelle manière les mesures prises sont-elles efficaces? * Les présupposés sur lesquels repose la politique de sécurité dans la société sont-ils plausibles? I - Sur quels présupposés
repose la politique
de sécurité collective? Le gouvernement utilise diverses mesures pour accroître la sécurité publique, depuis une plus grande présence policière dans les rues et l'utilisation de la vidéo surveillance à la fourniture de soins et de soutien aux jeunes à risques et à la condamnation à des peines plus sévères. On attend des effets préventifs de chacune de ces mesures. En d'autres termes, on suppose que 86
Évaluation despolitiques de sécurité et deprévention de la dilinquance aux Pcrys-Bas
leur mise en place réduira la délinquance et les incivilités à l'avenir. On s'attend aussi à ce qu'elles permettent aux citoyens de se sentir plus en sécurité. Les mesures prises peuvent être classées en un certain nombre de stratégies destinées à accroître la sécurité publique. Dans cette étude, nous en distinguons trois catégories principales: i) la répression pénale, ii) la prévention développementale et iii) la prévention situationnelle. De plus, nous accordons beaucoup d'attention aux mesures systémiques, qui occupent une place importante dans le Programme de Sécurité.
1 - La répression pénale La principale hypothèse générale qui sous-tend la répression est que celle-ci a un effet préventif à la fois général et spécifique et que cela contribue à la restauration de l'ordre légal. Le Programme de Sécurité se réfère souvent à la restauration de l'ordre légal. Le Programme de Sécurité se réfère souvent au durcissement de la justice pénale dans son ensemble. Deux groupes sont particulièrement ciblés par le Programme de Sécurité: les récidivistes et les jeunes. Toutefois, certaines des hypothèses s'appliquent également à l'ensemble des délinquants. En premier lieu, le Programme vise à accroître le risque pour les délinquants d'être pris, arguant que trop de non-interventions mine l'effet dissuasif des sanctions, réduit l'efficacité des sanctions appliquées et entame la crédibilité du système de justice pénale. En second lieu, on fait l'hypothèse que raccourcir la durée de traitement des affaires par le système judiciaire et par là même être capable d'imposer des peines plus rapidement augmentera l'efficacité de la sanction, réduisant ipsofacto la récidive. En troisième lieu, on fait l'hypothèse selon laquelle la "personnalisation" dans l'application des sanctions réduit le risque de récidive: l'argument est qu'en choisissant une sanction adaptée à une personne plutôt qu'une sanction spécifique au délit, on améliore à la fois l'efficacité de la sanction et son suivi. Si la sentence n'est pas basée uniquement sur le délit le plus récent mais sur l'ensemble du dossier pénal, le délinquant peut
87
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
être détenu plus longtemps. utilisé pour une réadaptation
Le temps supplémentaire peut être plus intense et donc plus efficace.
2 - Prévention développementale Dans la seconde stratégie, l'hypothèse générale est que le comportement délinquant d'un individu est déterminé par une combinaison de facteurs comprenant le mode de vie, la pression des pairs, la qualité de la parentalité et les perspectives d'avenir. De ce point de vue, le succès des interventions dépend en partie de leur précocité. En conséquence, dans cette stratégie, les mesures sont principalement orientées vers les jeunes. Le Programme de Sécurité cite les facteurs de risque en matière de délinquance juvénile (comme l'abandon prématuré de l'école, un niveau insuffisant de néerlandais, le chômage et l'abus d'alcool et de drogues). Il met également l'accent sur le besoin d'assurer une évolution positive des jeunes en leur apportant aide et soutien par exemple. Les détails et la mise en œuvre sont néanmoins largement laissés au ministère de la,Santé, du Bienêtre et des Sports, (VWS), au ministère de l'Education, de la Culture et de la Science (OC&W) et au ministère des Affaires sociales et de l'emploi (SZW) dans le cas de jeunes gens qui n'ont pas (encore) eu à faire à la police. Certaines interventions, particulièrement celles qui impliquent une assistance peuvent également faire partie des sanctions et donc tomber dans la stratégie répressive. Le Programme de Sécurité ne présente pas d'hypothèse sur l'efficacité de mesures qui promeuvent des facteurs de protection ou qui s'attaquent aux facteurs de risque.
3 - La prévention situationnelle La stratégie de prévention situationnelle s'appuie sur l'idée que modifier 'la structure des opportunités', par exemple en la rendant plus difficile ou moins attirante pour les auteurs potentiels, empêchera la commission des infractions. Le Programme de Sécurité se centre sur des éléments spécifiques de la stratégie de la prévention situationnelle. Une hypothèse importante est que des infractions répétées à la règle, combinées à un manque de surveillance visible dans l'espace public, créent un 88
Évaluation despolitiques de sécurité et deprévention de la délinquance aux Pcrys-Bas
terrain fertile à une application défaillante de la loi, largement ressentie par l'ensemble du public. L'intention est donc d'envoyer un signal en faisant respecter systématiquement même les petites réglementations. Une autre hypothèse clé est que la surveillance particulière de certains 'points chauds' et à certains 'moments chauds' est très productive. On suppose aussi dans le Programme de Sécurité que, parmi d'autres choses, prendre des mesures physiques de sécurisation peut décourager les auteurs potentiels de commettre leurs forfaits.
4 - Les mesures systémiques Pour améliorer le fonctionnement de mesures prises selon les trois stratégies décrites supra, le Programme de Sécurité consacre aussi son attention aux mesures systémiques. La plus importante d'entre elles, voit le système comme une chaîne et a pour souci principal le renforcement des relations entre ses différents partenaires qui la constituent. Dans le domaine de répression pénale, cela renvoie en premier lieu aux liaisons entre les partenaires dans la chaîne pénale: en 2006, la police était supposée déférer 40 000 suspects supplémentaires aux procureurs, ce qui n'a de sens que si les services des procureurs sont capables de répondre de manière adéquate en adaptant leurs méthodes de travail, et que simultanément, les tribunaux ne soient pas non plus débordés par le nombre d'affaires présentées. Penser en termes de chaîne implique aussi la jonction entre le processus judiciaire au travers duquel passe le délinquant et le soutien social et la réadaptation qu'il reçoit par la suite des services de probation et autres. Dans la stratégie de prévention développementale, l'approche de la chaîne a le souci d'assurer la relation continue entre les différentes organisations de prise en charge, les écoles, les administrations locales et la police, de telle manière que les problèmes puissent être détectés à un stade précoce et que les jeunes à risque ne soient ni perdus de vue, ni victimes d'un défaut de communication ou de stratégies contradictoires. Le cœur du dispositif dans la stratégie de prévention situationnelle est le partenariat public-privé.
89
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
Les mesures systémiques sont utilisées pour rendre les mesures de fond plus efficaces en créant des conditions appropriées et améliorer les fonctionnements. Le succès de ces mesures dépend de la manière dont elles ont été mises en place.
Il - Dans quelle mesure et de quelle manière les mesures prises sont-elles efficaces? Pour justifier la politique de sécurité, il faut savoir si les mesures déployées ont eu l'impact prévu sur la sécurité publique. La recherche évaluative doit apporter la réponse à cette question. Un jalon dans la recherche évaluative sur l'effet criminologique a été le rapport Sherman publié en 1997 Preventing crime. What works, what doesn't, what's promising (Prévenirla délinquance). Ce qui fonctionne, ce qui ne fonctionne pas, ce qui est prometteur (Sherman et al.,1997). Ce rapport a été mis à jour, développé et complété en 2002 et 2006 sous le titre Evidencebased crime prevention
(La prévention
de la délinquance
sur la base de faits
établis,Sherman et aL 2002 et 2006). Ce rapport résume 675 évaluations scientifiques de mesures prises pour réduire la délinquance dans différents pays. De plus, un réseau international a été mis en place il y plusieurs années pour encourager la recherche sur évaluation des résultats: le Campbell CollaborationCrime and Justice Group (Farrington, Petrosino, 2001). Ce groupe met l'accent sur l'importance de la publication des résumés systématiques des évaluations des résultats, selon un modèle d'étude (quasi)-expérimental. Des résumés actualisés sont publiés régulièrement (voir (www.campbellcollaboration.org]). Dans notre étude, nous avons suivi les mêmes méthodes de travail que Sherman et aL (2002) et le groupe CampbelL Ceci signifie tout d'abord que nous examinons les résultats d'évaluations d'impact principalement sur la base de leur validité interne. Pour ce faire, nous utilisons la (Maryland) ScientificMethods Scale (SMS), une échelle en 5 points qui montre simplement et clairement les différences de qualité méthodologique des différentes évaluations de résultats (Farrington et aL, 2001). En nous fondant sur une revue systématique de la littérature, nous avons dressé le bilan empirique des évaluations d'impact néerlandaises et les avons complétées par les conclu90
Évaluation des politiques de sécurité et deprévention de la délinquance aux Pcrys-Bas
sions d'autres pays. Nous nous sommes concentrés sur des recherches évaluatives capables de démontrer objectivement que la sécurité publique a été modifiée par une mesure donnée. Ceci signifie que la mesure d'impact choisi (portant en général sur la récidive, la délinquance, les incivilités ou la sécurité - et son manque - subjective) doit avoir été opérée explicitement. Aucune restriction n'a été appliquée dans la revue de littérature à propos de la qualité de l'évaluation d'impact, ce qui a permis d'évaluer aussi la qualité des études néerlandaises. De même, aucune restriction n'a été appliquée quant à l'année durant laquelle l'évaluation a été menée, la raison principale en étant qu'un certain nombre de bonnes évaluations d'impact ont été réalisées dans les années 1970 et 1980 et que nous souhaitions les inclure dans cette étude parce qu'elles donnent une bonne idée de la plausibilité de certaines hypothèses. Les critères de recherches nous ont fourni une liste de 149 évaluations d'impact néerlandaises qui ont été menées dans les dernières décennies (if. tableau 1). Une analyse de contenu a été ensuite réalisée pour chaque étude, parallèlement à une évaluation de sa qualité. Nous avons établi explicitement la validité interne: plus le score d'évaluation est élevé, plus grande est la probabilité que la mesure en question ait effectivement apporté le changement désiré. A minima, il devait y avoir des mesures avant/ après et il devait y avoir eu un groupe ou une zone d'intervention et un groupe ou une zone témoin. Ceci est important, car pour être capable de tirer une conclusion sur les effets potentiels des mesures sur l'objectif envisagé, il faut savoir si un changement a eu lieu et s'il aurait eu lieu sans l'intervention. Dans les résultats des évaluations d'impact, 69 suivaient au moins un modèle quasi-expérimental. Si certaines caractéristiques ont été plus ou moins sujettes à l'analyse statistique ou si l'intervention a été attribuée aléatoirement au groupe expérimental et au groupe témoin, on pouvait tirer des conclusions encore plus assurées. De manière générale, nous avons trouvé que la majorité des mesures déployées par le gouvernement dans les dernières décennies n'ont pas été évaluées pour déterminer leurs effets sur la sécurité publique. Une proportion non négligeable de 91
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
mesures mises en place ne remplissaient pas, de surcroît, les conditions minimales requises par l'étude (c'est-à-dire un modèle quasi-expérimental) pour une évaluation d'impact. Il en résulte qu'on ne peut déterminer clairement dans ces cas si une amélioration de la sécurité publique est due à la mesure en question ou à quelque chose d'autre. De plus, les mesures étaient souvent évaluées à une époque donnée. Par exemple, la recherche sur les effets des régimes de détention a principalement eu lieu dans les années 1970, alors que la recherche sur les mesures de formation pour jeunes s'est concentrée dans les années 1990 et la recherche sur les effets de la vidéo surveillance principalement dans ce siècle. Ce déplacement des centres d'intérêt correspond normalement bien aux évolutions de la politique de sécurité publique. Ceci n'est pas vraiment surprenant car de nombreuses évaluations d'impact sont entreprises à la demande des ministères t ou des administrations locales. La qualité des évaluations d'impact dépend de qui les réalise. Les évaluations menées par des chercheurs liés à l'organisation qui met en place la mesure sont celles qui sont relativement de la moins bonne qualité. Pratiquement, aucune de ces évaluations internes ne permet de conclusions sur l'efficacité de la mesure étudiée. La qualité des évaluations d'impact menées par les organismes commerciaux de recherche varie grandement: certaines sont bonnes, d'autres le sont moins. Une caractéristique partagée par toutes des évaluations toutefois est que - indépendamment de leur validité interne elles sont souvent moins critiques quand elles décrivent les résultats que les évaluations menées par les institutions (para)universitaires ou les agences de recherche publiques indépendantes. Les évaluations menées par ces organismes sont en moyenne de meilleure qualité et sont également plus critiques que des évaluations réalisées par d'autres.
92
Évaluation despolitiques de sécurité et deprévention de la délinquance aux Pcrys-Bas Répression pénale Total
54
Validité
interne
Prévention
déve-
loppementale 35
Prévention situationnelle 63
(SMS)
1
1
1
2
2a
9
12
27
2b
7
4
21
3
16
11
8
4
20
5
5
5
1
2
0
< 1986
7
0
3
1986-1990
3
4
10
1991 - 1995
14
6
10
1996 - 2000 2001 - 2008
12
4
10
18
21
30
Enquêtes /Entretiens
6
22
15
Enregistrements
36
8
8
Les deux
12
5
40
Année de publication
Sources
Centres
de données
utilisées
de recherche
publics indépendants
33
4
10
Université
9
15
12
Commercial
6
4
11
Interne
6
12
30
T ab/eau
III
1 - Nombre
d'études
dans ks différentes
stratégies
- Dans quelle mesure les hypothèses qui sous-
tendent la politique de Sécurité sociale sont-elles plausibles? En confrontant les hypothèses qui fondent les politiques du Programme de Sécurité avec les connaissances disponibles sur l'efficacité de mesures spécifiques d'amélioration de la sécurité publique, nous obtenons un aperçu de la vraisemblance de ces hypothèses et sommes donc ~apables de répondre à la troisième question de la recherche. A nouveau, nous procéde93
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
rons ainsi pour chaque stratégie, en nous concentrant sur les hypothèses que nous pouvons considérer comme plausibles ou non plausibles et sur les omissions majeures de ces théories.
1 - La répression pénale Dans la première phase de répression pénale - l'enquête - l'hypothèse principale de cette politique est que la certitude (ou la cohérence) de la sanction, amènera, par différentes voies, à accroître la sécurité du public. De nombreuses mesures sont par conséquent prises pour augmenter le risque pour les délinquants d'être pris. D'après notre étude, nous pouvons conclure qu'accroître le risque d'être arrêté a un impact positif principalement là où la police concentre ses efforts dans des lieux et à des moments 'chauds' et donc 'retire les suspects de la circulation', au moins temporairement. Un risque élevé d'être pris semble aussi avoir un effet dissuasif général. Celui-ci ne joue pas là où la police arrête un suspect après l'événement (arrestation réactive) mais seulement dans le cas d'une action spécifique et par anticipation. Cependant, l'hypothèse selon laquelle l'augmentation du risque d'être pris a un effet dissuasif sur les suspects eux-mêmes est peu vraisemblable. Si cela joue, c'est en abaissant effectivement le seuil de commission de nouveaux délits, en particulier parmi les mineurs et les auteurs d'infractions d'importance relativement faible. Dans la phase de poursuites, la politique est de réduire la durée de traitement de l'affaire, pour que les suspects soient condamnés et punis plus rapidement. On fait l'hypothèse que cela augmente l'efficacité des sanctions infligées. La recherche néerlandaise dans ce domaine montre que cette hypothèse ne tient pas vraiment la route: l'infliction rapide des peines n'a pas prouvé d'effet positif sur la réduction de la récidive. Une notion centrale de la phase de sanction et de suivi est qu'une approche personnalisée permet de prononcer plus de sanctions 'sur mesure' donc d'accroître ainsi l'efficacité des peines. En premier lieu, on attend beaucoup des peines de prison ferme. On trouve l'emprisonnement efficace pendant la durée de la détention: les suspects et les délinquants condamnés sont après tout rendus inoffensifs et n'ont (virtuellement) aucune 94
Évaluation despolitiques de sécurité et deprévention de la délinquance aux Pqys-Bas
occasion de commettre des délits. Comme le suppose la théorie fondant cette politique, il n'est toutefois pas vraisemblable de supposer que l'incarcération contribuera à réduire la récidive après la libération. En fait, on trouve même des indications que les peines de prison ferme peuvent avoir un effet négatif à cet égard. Cette politique ne prend absolument pas cette possibilité en compte alors que les conséquences à long terme peuvent être qu'il y des gens libérés qui ont un risque accru de récidive. Ce qui signifie que la détention combinée à un traitement, aussi bien qu'à d'autres types de sanctions mérite qu'on s'y intéresse comme alternative à la prison ferme. Selon l'hypothèse soustendant cette politique, des peines de prison courtes apparaissent inutiles dans tous les cas. Si c'est une peine de prison qui est décidée, il vaut mieux qu'elle soit suffisamment longue pour que le délinquant ait le temps de passer par un programme de resocialisation, à supposer que ce programme soit disponible en pratique. Bien que le Programme de Sécurité s'intéresse aux dispositifs de traitement pour les détenus, il ignore largement les hypothèses qui permettraient de rendre ces dispositifs efficaces. Ceci est une autre lacune de la théorie fondant cette politique. La recherche montre que la thérapie cognitivocomportementale et la formation aux compétences sociales sont les plus efficaces. Dans le cadre de cette politique, on peut accepter comme plausible l'hypothèse selon laquelle la réintégration par étapes et le suivi basés sur la surveillance et le soutien contribuent à réduire la récidive. Les programmes de resocialisation et de soutien sont également importants pour les détenus en liberté conditionnelle. L'hypothèse selon laquelle l'utilisation de ces peines en alternative à l'incarcération augm~nte le rendement de la sanction est plausible à court terme. A long terme, cette hypothèse n'est valide que si ces sanctions diminuent effectivement la récidive. Ceci semble être le cas pour les peines de prison conditionnelles. Lorsque la sanction ne fait que restreindre la liberté de mouvement et n'apporte ni resocialisation, ni soutien, le risque de récidive est considérable. Ce qui signifie que la condamnation qui sera prononcée ultérieurement sera maximale. 95
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
Dans la phase de sanction et de suivi, les délinquants récidivistes - souvent des drogués - sont un groupe cible important. Ils sont considérés comme la cause principale à la fois d'infractions fréquentes et des échecs de la répression pénale. Des peines de prison plus longues Gusqu'à 2 ans) sont une mesure particulièrement importante pour ce groupe. Du point de vue de la protection de la société, cette mesure est efficace. Pour un groupe sélectionné - ceux dont on estime qu'ils sont les plus susceptibles d'être influencés - cette période est utilisée pour des interventions comportementales. On a des indications qu'après avoir suivi ce programme, ce groupe voit sa récidive réduite, mais les autres peuvent s'attendre à un régime plus rigoureux et si cela signifie que les détenus passent leur temps dans leur cellule, on a toutes les chances d'avoir un effet néfaste sur la récidive. Le second groupe cible identifié dans le Programme de Sécurité au chapitre 'sanctions et phase de suivi' sont les jeunes. Pour ceux d'entre eux qui ont commis des délits les moins graves, l'hypothèse que font ces politiques qu'apporter un soutien aux parents a une influence positive sur la réduction de la récidive a des bases empiriques, en particulier si le soutien est complété par d'autres formes d'aide. L'idée d'envoyer les jeunes au programme Ha/fi est également empiriquement justifiée. Ceci et d'autres sanctions alternatives apparaissent en tout état de cause plus efficaces que les options comme celles des programmes scaredstraight' américains qui peuvent même servir à encourager la récidive. Les jeunes qui manifestent des comportements délinquants fréquents et graves sont souvent placés sous surveillance et traitement ou même placés en centre de réadaptation. 2
HALT qui signifie en néerlandais afTêt,frein est en l'occurrence l'acronyme de Het ALTernative. Ce programme a pour but de proposer des solutions alternatives hors du système pénal, pour des délits commis par de jeunes délinquants (N.d.T.). 3 On pourrait traduire par "terrifié raide" l'intitulé de ces programmes, qui, dans le cadre de théories de la dissuasion, visent à détourner les jeunes de la délinquance en leur présentant une vision terrifiante de la vie carcérale (N.d.T.).
96
Évaluation despolitiques de sécurité et deprévention de la délinquance aux Pqys-Bas
Comme pour les adultes, la thérapie cognitivocomportementale et la formation aux compétences sociales semblent donner les résultats les plus prometteurs. L'hypothèse selon laquelle une rééducation basée sur la discipline (comme celles de la Glen Mills School4 ou l'approche de Den Engh5) aide à réduire la récidive n'est donc pas très plausible. La critique des méthodes de rééducation basées sur la discipline ne peut à ce jour être extrapolée à la politique de la tolérance-zéro parce qu'on ne sait pratiquement rien de son efficacité.
2 - La prévention développementale Nous passerons rapidement sur la plausibilité de la théorie qui, dans le cadre de cette politique, met l'accent sur les actions de prévention auprès des jeunes. Cette théorie ne décrit aucun mécanisme qui lie les buts et les moyens, mais relie tout juste les problèmes (le comportement déviant) aux causes (abandon scolaire, qualité de la parentalité et consommation d'alcool). Nous ne sommes donc pas à même d'évaluer la plausibilité de cette approche. En gros, les facteurs cités dans cette théorie sont vraisemblablement des facteurs importants de comportement délinquant et agressif, même si la relation causale dont la théorie fait l'hypothèse reste une question ouverte. Il serait souhaitable pour des politiques à venir d'établir les hypothèses de relations entre les mesures et les facteurs de risque, et alors seulement on pourra évaluer les chances de succès de cette politique.
3 - La prévention situationnelle La stratégie de prévention situationnelle se concentre d'abord sur des mesures qui sont clairement visibles et destinées à envoyer un signal normatif. Cette stratégie se soucie uniquement de la prévention générale; aussitôt que quelqu'un est ef4 Institutions de rééducation aux États-Unis recevant des jeunes en placement judiciaire (N.d.T.). 5 Institution de rééducation pour jeunes aux Pays-Bas (N.d.T.). 97
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
fectivement appréhendé, nous sommes dans le domaine de la répression. L'hypothèse selon laquelle la surveillance formelle (c'est-à-dire la police) conduit à une réduction de la délinquance et des incivilités peut être considérée comme plausible, en particulier lorsqu'elle est concentrée à des temps et en des lieux 'chauds'. On trouve aussi des bases empiriques à l'idée qu'une présence policière visible est efficace pour accroître la sécurité subjective. Lorsqu'une surveillance formelle est instaurée par vidéo, les observations sur l'efficacité ne sont pas claires. La vidéo surveillance facilite surtout l'intervention rapide de la police et l'élucidation/l' enquête. L'hypothèse selon laquelle la vidéosurveillance, en tant que surveillance formelle, prévient la délinquance et les incivilités est douteuse. L'hypothèse selon laquelle la vidéo surveillance peut accroître la perception de sécurité du public peut être rejetée encore plus fermement. Les mesures conçues pour améliorer la protection de cibles potentielles de la délinquance et rendre ainsi plus difficile la commission des délits pour les auteurs potentiels fait aussi l'objet d'un grand intérêt dans le Programme de Sécurité. Ces mesures ont principalement le souci de la sécurité technique (un domaine où le public et les entreprises sont encouragés à prendre leurs propres responsabilités). Les résultats de recherche, majoritairement positifs, laissent entendre que l'on peut considérer comme plausible l'hypothèse sur les mesures de protection que fait cette politique. On sait peu de choses sur l'effet de telles mesures sur la perception de la sécurité (ou de son absence). Finalement, les mesures de réduction des opportunités sur lesquelles met l'accent le Programme de sécurité et que le gouvernement considère comme de sa responsabilité plutôt que de celle des particuliers, sont lourdement centrées sur les auteurs. L'idée de la stratégie de la prévention situationnelle est toutefois plus large. Il semble que lorsque cette politique est mise en place au niveau local, un éventail complet de mesures est déployé et des mesures visant les victimes et situations de délinquance potentielles sont (aussi) prises. Dans cette politique, toutefois, un choix a été fait en faveur de mesures qui sont intimement liées à celles utilisées dans la stratégie répressive. C'est dommage, parce que des mesures comme des fonctions 98
Évaluation des politiques de sécurité et deprévention de la délinquance aux Pcrys-Bas
de surveillance (par exemple par des gardiens et des inspecteurs) semblent prometteuses. Bien que les résultats de la recherche ne soient en rien univoques, les conclusions pointent dans une direction positive en ce qui concerne la réduction de la fréquence des infractions et la perception de la sécurité.
4 - Conclusion générale à propos du Programme de Sécurité Que savons-nous de la contribution du Programme de Sécurité à la baisse récente de la délinquance et à l'amélioration du sentiment de sécurité? Les multiples aspects du Programme de Sécurité font qu'il n'est pas possible d'exprimer à son sujet une opinion définitive d'ensemble. Certains éléments sont prometteurs pour la réduction de la délinquance et des incivilités (comme le déploiement de la police aux points et temps « chauds », l'attention apportée au soutien parental et l'utilisation de labels de qualité) alors que d'autres non (par exemple des conditions de détention plus dures, des arrestations pour des délits mineurs et des centres de rééducation axés sur la discipline) alors qu'on ne connaît pas l'effet d'autres mesures (la vidéo surveillance, par exemple). S'attaquer aux délinquants à répétition, une démarche qui est au cœur du Programme de Sécurité, illustre ses résultats mitigés. Par exemple le tableau de la réduction de la « délinquance porte à tambour» est positif. La police et le système pénal ne s'assurent pas seulement que les délinquants fréquents sont retirés des rues, mais aussi qu'ils n'y reviennent pas dès le lendemain pour reprendre leurs activités criminelles. C'est là que nous voyons que cette politique obtient de bons résultats à court terme, avec une protection immédiate de la société. Ceci peut aussi avoir un impact positif en matière de réparation sociale. Notre conclusion sur le groupe cible et le processus de poursuites par lequel passent les délinquants à répétition est beaucoup plus critique. En premier lieu, il y a une disposition importante à arrêter des suspects pour des infractions mineures, une approche qui peut avoir comme effet indésirable 99
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
d'encourager une carrière criminelle. Deuxièmement, des peines de prison ferme plus longues sont imposées pour éviter la « délinquance porte à tambour» mais sans idée claire quant aux interventions ultérieures sur les comportements ou sur la manière dont les coupables passent leur temps pendant et après leur période de détention. Dans le domaine de la diminution de la récidive, qui est la clé du succès à long terme, il n'y a donc aucune indication que « des sanctions sûres, plus rapides et plus sévères» aient un plus grand succès que d'autres politiques.
* Notre conclusion est qu'il n'est souvent pas (encore) possible d'établir la vraisemblance des hypothèses que font les politiques, en partie parce que dans de nombreux cas, nous ne savons pas si ces mesures contribuent à augmenter la sécurité publique. Ces conclusions conduisent à observer que la qualité de la recherche évaluative a besoin d'être grandement améliorée pour fournir une meilleure assise aux politiques de sécurité. Il est très important que les évaluations d'impact soient, davantage que par le passé, basées sur des critères scientifiques. Une recherche évaluative efficace doit être capable de démontrer objectivement qu'un changement de la sécurité publique est le résultat d'une mesure donnée, au lieu d'indiquer simplement si les citoyens ou les professionnels en sont satisfaits ou croient qu'elle a eu un effet. Bien que l'utilisation d'un modèle expérimental aléatoire est indubitablement un but valable, ce serait un malentendu de croire que seul un tel modèle peut donner un aperçu des effets des mesures gouvernementales. Les situations de la réalité sociale peuvent généralement n'être manipulées que dans certaines limites, et un modèle d'étude quasi-expérimental (avec ses nombreuses variantes) peut déjà lui-même nous emmener bien plus loin que maintenant. Nous avons vu - en particulier dans la recherche récente - qu'avec un peu de créativité il est certainement possible de concevoir un protocole quasiexpérimental, comportant une capacité de rétroaction. Le fait qu'on ne choisisse pas souvent un modèle quasiexpérimental est dû entre autres à la longueur et au coût de ce genre d'études. De plus, la conduite d'une évaluation d'impact 100
Évaluation des politiques de sécurité et de prévention de la délinquance aux Pt!Ys-Bas
est souvent décidée à un stade relativement tardif, et en particulier dans des projets spécifiques (groupes cibles spéciaux ou lieux particuliers), il n'est alors plus possible d'utiliser un dispositif de recherche adapté. Toutefois, une évaluation d'impact superficielle donne des conclusions inutilisables sur l'effet d'une mesure sur la sécurité publique et il vaudrait mieux ne pas la mener du tout. Nous ne soutenons pas le point de vue courant que si un certain nombre d'études de mauvaise qualité pointent toutes dans la même direction, on peut tirer une bonne idée de leurs effets. Bien que l'utilisation d'un modèle quasi-expérimental soit une condition nécessaire pour une évaluation d'impact de bonne qualité, elle n'est en rien suffisante. En plus de la validité interne, d'autres facteurs sont également importants. Par exemple, dans les évaluations d'impact décrites dans ce rapport, nous nous sommes rendu compte que la validité des définitions utilisées a joué un rôle important, en particulier lorsque le résultat mesuré était la délinquance (en particulier par rapport aux mesures conçues pour réduire les opportunités). En particulier dans les évaluations où l'on observait une augmentation du nombre des infractions enregistrées après l'introduction d'une mesure donnée, il était souvent peu clair de savoir dans quelle mesure cette augmentation reflétait une augmentation réelle de la délinquance. Plusieurs études montrent que l'augmentation était attribuable à des choses comme une propension plus importante des victimes au renvoi des délits, ou à une élucidation et un enregistrement des incidents plus rapides. Il est donc important de faire usage, autant que possible, de différentes sources de données. Il y a aussi largement de la place pour améliorer les comptes rendus des études d'évaluation menées. Dans les évaluations que nous avons étudiées, des informations manquaient régulièrement sur des aspects comme le mode d'introduction de la mesure, le design précis de l'étude, la taille de l'échantillon, la période de recueil des données et l'amplitude des effets. La validité externe, c'est-à-dire la mesure dans laquelle les résultats des évaluations d'impact pouvaient être généralisés à d'autres situations était souvent peu claire. Les évaluations d'impact 101
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
obscures sur ce point souffraient en général également d'une validité interne limitée. Bref, on n'obtiendra davantage de connaissances sur les effets d'une politique d'accroissement de la sécurité publique qu'en appliquant des critères scientifiques à la recherche évaluative sur les impacts.
102
ÉVALUATION DES POLITIQUES DE SÉCURITÉ ET DE PRÉVENTION DE LA DÉLINQUANCE EN ANGLETERRE ET AU PAYS DE GALLES' Tim Hope Ce chapitre ne traite pas tant des résultats intrinsèques de la recherche évaluant les politiques de sécurité et de prévention de la délinquance que de la question de l'évaluabilité de la prévention locale de la délinquance, en se fondant sur les exemples des études menées en Angleterre et au Pays de Galles. Le concept d'évaluabilité fait référence aux aspects du contexte institutionnel d'une intervention qui qffectent la méthode d'évaluation ,emplqyée, et à la validité des inférences tirées de J'usage de cette méthode. A la
différence de la discussion méthodologique en soi, l'analyse de l'évaluabilité constitue une critique réflexive qui cherche à rendre compte de la façon dont le contexte institutionnel (les circonstances dans lesquelles est menée une évaluation donnée) est lié à la démarche méthodologique particulière adoptée. L'étude réflexive de l'évaluabilité est beaucoup moins développée que l'étude de la méthode d'évaluation elle-même; pourtant les questions de gouvernance en jeu dans la recherche évaluative ont souvent une influence cruciale sur sa conception, sa conduite et ses conclusions. Comme les gouvernements britanniques récents ont massivement investi dans l'évaluation de la prévention locale de la délinquance, les questions de gouvernance ont eu un impact critique sur leur évaluabilité. Pourquoi
évaluer?
La question
scientifique
Du point de vue des sciences sociales, la position classique sur les objectifs d'une recherche évaluative est celle de Campbell (1969). S'appuyant sur le credo des programmes de la 'Grande société' de l'Amérique des années 1960, Campbell avançait qu'une 'société d'expérimentation' serait une 'bonne société' car les savoirs sur la société et la politique progresse-
.
Traduction d'Émilie Vormès, révision Renée Zauberman.
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
raient par l'application d'une méthode scientifique. L'usage de critères scientifiques pour éclairer les choix politiques mènerait par conséquent au progrès dans le domaine des politiques sociales de la même façon que cela semblait être le cas dans le champ des sciences médicales. Néanmoins, Campbell voyait aussi le besoin d'établir, pour atteindre ce but, des principes expérimentaux dans l'administration publique. Le principal obstacle à la mise en place de tels principes n'était pas l'absence de connaissances sujettes à expérimentation, ni même les difficultés pratiques de mise en œuvre de méthodes scientifiques d'évaluation (c'est là l'objet de la méthodologie des recherches évaluatives), mais les obstacles politiques à des choix et des savoirs informés sur la société qui découlent de la nature de la gouvernance ellemême. Dans la conception qu'avait Campbell de la société réformiste, la science fournirait non seulement un outil méthodologique au service des gouvernements, mais constituerait aussi un outil méthodologique permettant de tenir un gouvernement responsable de ses actions vis-à-vis de l'intérêt public au sens large. Sans une méthode externe (et accessible au pub,lic) pour rendre compte des choix politiques, les agents de l'Etat sont incités, par définition, non seulement à éviter l'examen critique de leurs actions et réalisations, mais aussi à se constituer un capital politique en s'attribuant le succès de ce qu'ils ont prétendument accompli. Par conséquent, l'application rigoureuse de méthodes scientifiques objectives vise à élever la recherche évaluative au dessus de la politique, en apportant de la preuve de 'Ce qui marche' (What Works) sur une base censée être moins partiale et partisane que celle des discours et de la compétition politique. Pourquoi
évaluer?
La question
politique
Généralement, au Royaume-Uni, ce sont ses financeurs qui décident à l'avance du type d'action de prévention locale de la délinquance, du choix et de la localisation de la cible, et de ses bénéficiaires. Il n'y a que de très rares exemples de localités q~ se prennent en main et s'auto-organisent « spontanément ». A côté de l'étude universitaire des 'mouvements sociaux' (qui couvre l'action locale spontanée), la recherche évaluative est elle104
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angletem
même une activité de recherche appliquée intimement liée au processus de gouvernement. Les programmes locaux de prévention de la délinquance sont des interventionsdu gouvernement dans la société civile et ce sont leur nature et les besoins de leurs financeurs qui affectent leur évaluabilité. Au RoyaumeUni, le financeur de la prévention locale de la délinquance est en général le gouvernement central, et l'objectif de ces interventions est de mettre en œuvre ses politiquesl. Par conséquent, pour répondre à la question 'pourquoi évaluer', les financeurs publics ont trois motifs ou objectifs pour commanditer ou engager une recherche évaluative : * Rendre des comptes: c'est la conception selon laquelle les actions d'un gouvernement devraient être soumises d'une façon ou d'une autre à une critique à la portée de ceux qui l'ont élu. Les méthodes de recherche en sciences sociales sont ainsi considérées comme le meilleur moyen d'assurer la responsabilité politique. * La technologie:la conception selon laquelle l'évaluation des programmes gouvernementaux fera apparaître des informations qui fourniront un plan d'action et de la manière de le réaliI Ce schéma tend à refléter l'organisation de l'administration au RoyaumeUni. Le Royaume-Uni est un État centralisé, dont le gouvernement est responsable devant le Parlement britannique, et divisé en trois régions autonomes (l'Angleterre et le Pays de Galles - qui comprennent la grande majorité de la population britannique - l'Écosse et l'Irlande du Nord. L'Écosse, le Pays de Galles et l'Irlande du Nord possèdent leurs propres gouvernements autonomes, dont les pouvoirs varient cependant considérablement entre eux comme vis-à-vis du gouvernement britannique. Au niveau infranational, on trouve des gouvernements locaux élus directement et des autorités administratives non élues (y compris des autorités de police autonomes) qui ont des capacités - limitées - de lever des impôts, mais ne peuvent agir au delà des pouvoirs qui leur sont dévolus. En tout état de cause, la grande majorité des fonds nécessaires pour financer les services publics locaux est collectée par le gouvernement central, puis redistribuée aux administrations locales, avec des degrés variables dans les responsabilités de l'administration locale et dans le contrôle fiscal de l'administration centrale. Ces dernières années, les dépenses publiques du gouvernement central ont été conditionnées aux résultats des services publics, un régime mis en place par la loi (Hope, 2002a). 105
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
ser. Les méthodes de recherche en sciences sociales sont considérées comme le meilleur moyen pour mettre au point une technologie de gouvernance qui facilitera la mise sur pied d'une réforme sociale - c'est-à-dire, pour découvrir«ce qui marche ». * La validation: l'opinion (souvent une impression politique) selon laquelle le but de l'évaluation est d'apporter la preuve du caractère souhaitable d'une politique (et de ses partisans) et/ou de sa supériorité par rapport à des politiques alternatives (et à d'autres politiciens) - c'est-à-dire de démontrer'ce qui marche'
.
Puisque l'évaluation est un processus politique, ces trois considérations « politiques» ont chacune joué un rôle déterminant dans la conduite de la recherche évaluative sur la prévention locale de la délinquance. Dans les politiques et la pratique en Grande-Bretagne, les distinctions entre ces considérations sont devenues floues et confuses (Hope, 2002a), parfois intentionnellement (Hope, 2004).
I - L'évaluation de la politique de sécurité et de prévention de la délinquance en Angleterre et au Pays de Galles Ce chapitre traite de la recherche en Angleterre et au Pays de Galles destinée à évaluer la prévention locale de la délinquance, définie comme les interventions destinéesà changerles conditions sociales considérées comme favorisant la délinquance et l'insécuritédans lesmilieux de viey compris les espaces publics et les quartiers résidentiels (Hope, 1995). En particulier, ces interventions visent souvent à changer les structures institutionnelles locales de façon à accroître l'exercice du contrôle social à la fois de la part des citoyens à titre individuel et des autorités (Hope, Karstedt, 2003; Hope, 1998; 1995; Foster, Hope, 1993). Les 'institutions' et le 'contrôle social' peuvent être définis aussi bien informels que formels - le tableau 2 en donne des exemples. Par essence, ce sont des interventions qui concernent des zones résidentielles (quartiers) en tant qu'entités holistiques (des communautés) qui comprennent leur propres dynamiques et relations sociales internes, y compris l'interaction d'institutions formelles et informelles pour coproduire de la sécurité dans les 106
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angleterre
lieux publics (Hope, 1995). En tant que telles, elles constituent des "programmes communautaires globaux" (Comprehensive Communiry Initiatives - CCls - Connell, Kubisch, 1998).
Formelle Institutions
Contrôle social
-
Informelle
police
- gouvernement - institutions pénales - aménagement des espaces - prévention situationnelle de la délinquance
Tableau
2 - Dimensions
de la prévention
- familles, réseaux - associations locales - surveillance naturelle - recours à l'autorité - contrôle social informel - socialisation
locale de la délinquance
1 - Types de programmes Il existe deux types génériques de programmes gouvernementaux nationaux pouvant toucher la sécurité locale: * Préventionde la délinquance.Les programmes anglais et gallois à grande échelle comprennent les Safer Cities Programmes (plans pour des villes plus sÛtes) et le Crime &duction Programmes (plan de réduction de la délinquance), ainsi que des fonds disponibles via des plans régionaux de financement des projets des collectivités locales, depuis 1998 via le mécanisme gouvernemental local nommé Crime and Disorder Reduction Partnerships (partenariats pour la réduction de la délinquance et des incivilités) (Hope, 2005a, 2002b). Ces plans comportaient la gamme d'activités décrites dans le tableau 2. Des investissements non négligeables ont été réalisés dans le domaine du Neighbourhood Watch (surveillance des quartiers), la vidéo surveillance, et l'éclairage public. Il y a également eu un investissement continu dans la police de proximité, y compris le Problem-orientedPolicing (police orientée vers la résolution des problèmes), le &assurance Policing.et, plus récemment, le NeighbourhoodPolicing(police de 2 Cette formule difficilement traduisible désigne un programme de police de proximité destiné à renforcer la confiance de la population dans les forces de 107
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
voisinage). Dans la plupart de ces programmes de financement, il s'agissait de «projets-témoins» à petite échelle, centrés sur des quartiers. En général, les autorités cherchent à fournir aux collectivités locales des services de prévention de la délinquance spécifiques. Parfois, ceux-ci voient évaluée leur efficacité coûtefficacité, et parfois ils ont été accompagnés ou ont fait partie de programmes nationaux d'évaluation. L'un des thèmes communs de gouvernance est le partenariat (entre les autorités centrales et locales, entre les institutions publiques - par exemple un gouvernement local et les services de police) et entre ces entités et la société civile (qu'il s'agisse de citoyens ou de personnes morales). Néanmoins, il existe également chez les agents des structures de pouvoir, des hiérarchies et des cultures organisationnelles qui affectent la façon dont ils interagissent "en partenariat", les résultats produits et la manière dont ils le sont. * Rénovationurbaine.La sécurité locale est également l'un des objectifs des plans de rénov~tion urbaine, même si cet objectif n'est ni unique ni exclusif. A l'inverse des effets directs des plans visant à la prévention de la délinquance, les plans de rénovation tendent à traiter les conditions locales qui engendrent la criminalité - l'exclusion sociale, l'absence de pouvoir des autorités locales et d'efficacité collective, l'isolement par rapport aux grands courants de la société et par conséquent déclenchent au niveau local les changements qui conduisent à accroître le contrôle social (Hope, 200Sa). Depuis les années 1970, les plans de rénovation sont devenus de plus en plus pointus et spécialisés, sortant des financements globaux pour évoluer vers des programmes de démonstration plus ciblés. Parmi les plans nationaux on trouve; le PrioriryEstates Project (pEP - Cités prioritaires), Ie Design ImprovementControlledExperiment (DICE - Expérience contrôlée d'amélioration du cadre de vie dans l'habitat social), le Single RegenerationBudgetprogramme (SRB, programme de concentration budgétaire pour l'amélioration de l'habitat), et plus récemment, les plans New Deal for Communities (NDC - nouvelle donne locale) et Housing Market Renewal (HMR - rénovation du marché du logement). Pendant police locales comme sa coopération (N.d.T.).
108
dans la lutte contre la délinquance
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angletem
toutes ces années, la sécurité locale est devenue une partie de plus en plus saillante et distincte de l'ensemble des problèmes à traiter.
2
- Recherche évaluative sur la prévention locale de la délinquance
L'histoire de la recherche évaluative sur la prévention locale de la délinquance reflète le développement de la politique et de la pratique de prévention de la délinquance au RoyaumeUni. Parmi les principales études évaluative on trouve3 : * L'étude
de faisabilité
de la prévention
de la délinquance
du
Home Office. Elle visait à montrer à l'œuvre l'application d'une prévention systématique (et appuyée des faits démontrés4) et le travail de coopération entre agences (Hope, Murphy, 1983; Gladstone, 1980). La recherche utilisait une méthodologie basée sur la recherche-action et l'étude de cas. * Neighbourhood Watch (surveillance de voisinage). Une évaluation de l'impact d'un plan pilote de surveillance de voisinage dans deux quartiers résidentiels, utilisant un dispositif de recherche quasi-expérimental (Bennett, 1990). Cette étude a introduit également le recours, pour mesurer cet impact, aux données d'enquêtes sociologiques (voir aussi les études 3,4 et 6). * Policedeproximité (Réductionde la peur). Une évaluation quasi-expérimentale d'un dispositif visant à réduire la peur du crime et améliorer la qualité de la vie des résidents dans deux cités résidentielles (Bennett, 1991). * PrioriryEstates Pro/eetEvaluation Stucfy. Une évaluation quasi-expérimentale de l'effet sur la sécurité de quartier d'un programme de gestion et d'amélioration de l'environnement de l'habitat (rénovation urbaine) de deux cités dans deux villes anglaises différentes (Foster, Hope, 1993). *
Le projet
de réduction
des cambriolages
à répétition). Un projet pluri-institutionnel 3
de Kirkholt
comprenant
Il s'agit d'une liste sélective plutôt qu'exhaustive,
(victimation
des mesu-
choisie pour représenter
les questions ou développements-clés dans la méthodologie dont il est question dans la deuxième partie. 4 Traduction maladroite de evidence-based (N.d.T.).
d'évaluation
109
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
res de prévention situationnelles, d'autres visant le délinquant et d'autres enfin de prévention sociale (Forrester et al., 1990; 1988). Il est depuis devenu célèbre comme pionnier dans la prévention de la victimation à répétition et exemple précoce d'évaluation "réaliste" (pawson, Tilley, 1997). Le projet Kirkholt a été le point de départ d'un certain nombre d'évaluations en Grande-Bretagne et ailleurs, visant la prévention de la victimation à répétition (Farrell,2005). * Safer Cities Programme(programme pour des villes plus sûres). Un programme de prévention diversifié, impliquant plusieurs agences, sur plusieurs sites. La premièrephase s'est déroulée de 1988 à 1995, financée et gérée par le Home Office; (la deuxième phase s'est déroulée de 1994 et 1998, financée et gérée par le ministère des Collectivités locales). Le programme luimême a été géré administrativement (Knox et aL, 2000). Dans la phase 1, l'accent a particulièrement été mis sur la prévention des cambriolages: en utilisant des systèmes d'information géographique (SIG) et les techniques de modélisation microéconométrique, Ekblom et al. (1996) ont mené l'étude probablement la plus sophistiquée du point de vue statistique dans un effort pour mesurer l'intensité d'un programme et prendre en compte les biais de sélection (voir infra). D'autres recherches évaluatives à plus petite échelle se sont également centrées sur les cambriolages, en utilisant toutefois principalement des techniques qualitatives dans une approche "réaliste" (Tilley 1993; Tilley, Webb, 1994). * Design Improvement Controlled Experiment (expérience contrôlée d'amélioration du cadre de vie, DICE). Menée entre 1989 et 1997, l'étude DICE a consisté en des plans d'amélioration radicale du cadre de vie de certains habitats sociaux en Angleterre, l'évaluation ayant utilisé diverses méthodes (y compris des enquêtes) pour mesurer l'impact, les coûts et les bénéfices de ces plans [http://www.communities.gov.uk/ archived/ generalcontent/ citiesandregions/221449 I].
110
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angleterre
* Les Communitiesthat Care (CtC)s, 1998-2003. Au milieu des années 1990, la Fondation Joseph Rowntree GRF) a financé les initiatives de prévention de Communities that Care. Ce programme d'intervention précoce cible les enfants vivant dans des quartiers et des familles susceptibles de les exposer au risque de problèmes sociaux. L'approche CtC se concentre sur des petites zones géographiques et implique de faire travailler ensemble des représentants des collectivités locales, des professionnels du secteur et des hauts responsables des services publics. Les participants sont formés et se voient fournir des donn~es sur les niveaux de risque et de protection dans leur quartier. A partir de cela, ils conçoivent un plan d'action qui vise à améliorer les services existants ou à en introduire de nouveaux pour réduire les risques. CtC n'est par conséquent pas simplement un programme destiné à fournir des services, mais aussi un processus menant à la conception d'un programme de travail et d'une méthode pour faciliter la fourniture de services bien coordonnés qui réduisent les risques et accroissent la protection. CtC ne fournit pas lui-même de services, mais facilite et active les changements au niveau local. En Mars 1998, JRF a financé trois projets pilote au Royaume-Uni pour éprouver le succès de cette approche. Une équipe de recherche de l'Université de Sheffield a été missionnée pour mener une évaluation entre 1998 et 2003 Goseph Rowntree Foundation, 2004, 1; Crow et aI., 2004). * The New Deal for Communities Programmes(programme nouvelle donne pour les collectivités, NDC), 1998-2007. Ce programme NDC est un élément-clé de la National Strategyfor NeighbourhoodRtnewal (Stratégie nationale pour la rénovation des quartiers). Il cible les 39 quartiers à travers l'Angleterre qui figurent parmi les plus déshérités. Ses objectifs-clés concernent les cinq buts globaux de la Stratégie nationale, qui sont: diminuer le chômage, diminuer la délinquance, améliorer la santé, améliorer les compétences et améliorer l'habitat et le cadre de vie. Un programme national d'évaluation du NCD a été lancé, qui a utilisé toute une gamme d'indicateurs et de méthodes d'analyse (non-expérimentales). Les études d'évaluation ont couvert 5 Littéralement
"les collectivités qui se soucient de... ", qu'on pourrait peutêtre traduire par "collectivités solidaires" (N.d.T.). 111
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
l'ensemble des objectifs du NCD, y compris la baisse de la délinquance (par exemple McLennan, Whitworth, 2008). * Le Crime ReductionProgramme(programme de réduction de la délinquance CRP), 1999-2002. C'était le plus grand programme local de prévention de la délinquance jamais mis en place au Royaume-Uni, doté à l'origine d'un budget de 250 millions de livres (environ 315 millions d'euros de l'époque), alloué principalement à des projets locaux, centrés sur des problèmes de délinquance divers, dont 10% étaient réservés à des études indépendantes d'évaluation de coût-efficacité (Maguire, 2004). Apparemment, plus de 80 rapports d'évaluation ont été produits, bien que tous n'aient pas été publiés (Hope, 2008a). L'élément de la CRP le plus intensément évalué fut le programme de réduction du cambriolage - Phase 1 (Hope et al., 2004; Hirschfield 2004; Millie, Hough et al., 2004; Bowles, Pradiptyo, 2004; Kodz et al., 2004). Le CRP comprenait également un plan de 150 à 200 millions de livres (189 à 252 millions d'euros environ à l'époque) pour l'installation d'un système de vidéo surveillance dans les quartiers, qui a également été évalué (Gill, Spriggs, 2005). * CommunitY Policing (ReassurancePolicing/Neighbourhood Policing). Le Reassurance Policing est un modèle depolice de voisinage qui cherche à augmenter la confiance du public dans le travail de police en impliquant lespopulations locales dans l'identification des questions prioritaires en matière de délinquance et d'incivilités dans les quartiers pour les traiter ensuite avec la police et les autres services publics et partenaires [http://www.crimereduction.homeoffice.gov.uk/policing17.htm]. Il y a eu une évaluation des résultats de ce programme national (NRPP) en Angleterre entre 2003/04 et 200105 (fuffin et al., 2006). La mise en œuvre d'une police de voisinage a représenté une entreprise de grande envergure pour le gouvernement, les services de police et leurs partenaires. La police de voisinage a étépilotée initialement au '!.iveau de la circonscription locale en tant que partie intégrante du NRPP. A la suite de quoi le programme triennal de police de voisinage (NPP) a été officiellement lancé en avril2005, et a tâché de remplir l'engagement du gouvernement à fournir à chaque quartier en Angleterre et au Pqys de Galles une équipe de police de
voisinageen 2008 (Quinton, 6
Morris, 2008, iv)6.
Un prefiÙer rapport d'évaluation est disponible.
112
ÉM~~n~pMh~~MdmMnMpnwn~nMh~~~~fflA~~m
Il - L/évaluabilité
de la prévention délinquance
locale de la
1 - Des politiques et des pratiques fondées sur des preuves? Les gouvernements centraux britanniques ont, ce dernier quart de siècle, lourdement investi dans la prévention de la délinquance. Depuis 1997, les gouvernements du New Labour ont explicitement couplé la prévention de la délinquance (ou, comme ils l'ont appelée, la réduction de la délinquance et des incivilités, Crime and DisorderReduction)à la 'pratique idéologique' des politiques et pratiques empiriquement fondées (EvidenceBased Polir:;and PracticeEBPP), à la poursuite de la politique de 'Ce Qui Marche' (Goldblatt, Lewis, 1998). La gestion publique de l'EBPP doit consister tout d'abord à accumuler de l'expertise, puis à s'approprier et appliquer cette expertise à plus grande échelle. Le modèle idéal est celui d'un gouvernement influent et crédible, guidé par le savoir d'experts, 'démontrant' par l'exemple pratique que certains programmes 'marchent' et par conséquent persuadant les autres de les adopter (Hope, Karstedt, 2003). Tilley et Laycock (2000), par exemple, décrivent les programmes de recherche et de mise en œuvre qui relèvent du développement et de la dissémination de la politique de prévention de la délinquance 'empiriquement fondée' du gouvernement britannique. De plus en plus, les résultats des évaluations doivent être agrégés et confirmés par des bilans systématiques, dont le rôle est d'agir comme un filtre et un contrôle-qualité pour la mise en œuvre d'interventions, sur la base de critères méthodologiques relatifs à la 'qualité' des preuves fournies par les études d'évaluation réalisées. L'un de ces ensembles de critères - la ScientificMethodsScale(SMS, Farrington, 2003) - a l'ambition d'accroître son influence dans la recherche évaluative du gouvernement central (Hollin, 2008; Hope,200Sc). L'adoption locale de pratiques de prévention de la délinquance constitue également la suite d'une démonstration basée sur les projets. Ainsi, une fois persuadés, les acteurs ayant l'autorité pour agir, se voient enjoints de mettre en place et 113
L'évaluation des politiques de sécurité et deprévention de la déh'nquance en Europe
d'évaluer leurs propres projets afin de pouvoir également faire la démonstration, à la fois à leurs administrés en tant que bénéficiaires de la,prévention, des bienfaits de ces programmes, et au budget de l'Etat, de leur efficacité coût-avantage. Le mode de fonctionnement auquel on pousse les projets de prévention ressemble, à bien des égards, à un modèle de planification stratégique rationnelle (Hope, Karstedt, 2003; Hope, Sparks, 2000). La connaissance d'un problème de délinquance particulier doit être approfondie avant d'essayer de mettre en œuvre une action, et le choix des services et des mesures à fournir est alors taillée sur mesure pour les caractéristiques-clés des manifestations de délinquance du groupe ou de la zone spécifiquement ciblé. Le modèle de l'EBPP combine les règles de gouvernance du New Public Management (nouvelle gestion publique, NPM) (Hope, 2002b) et l'action avisée du gouvernement contre les risques sociaux (O'Malley, 2000). La méthode de démonstration par l'exemple pratique fonctionne, avance-t-on, parce que ceux qui ont la responsabilité et l'autorité pour agir verront comment, identifier les gains qui, à terme, travailleront pour leurs intérêts propres, tout en défendant les intérêts de leurs administrés ou 'clients'. Ainsi, on les persuadera de mener l'action appropriée pour maximiser l'utilité de leurs politiques sur la base d'un calcul de coût-efficacité de telle ou telle action préventive (par exemple Sherman et al., 2002). Des synthèses des preuves tirées de la recherche évaluative sont utilisées pour développer des conseils pratiques, des guides et des "boîtes à outils" pour les intervenants locaux (par ex: [http://www.crimereduction.homeoffice.gov. uk/]). Les problèmes pratiques posés par une expérience sociale rigoureuse sont bien connus - de telles" quasi-expériences" peuvent être difficiles à monter, certaines peuvent s'avérer nonreprésentatives, ou peuvent impliquer des choix contraires à l'éthique affectant des "sujets", comme dans l'application aléatoire de peines et le refus d'octroi d'aides diverses. Le problème des décideurs politiques, toutefois, est différent - c'est le problème de Martinson (pawson, Tilley, 1997) soit, pour le dire autrement, le fait que les programmes peuvent ne pas toujours être considérés comme couronnés de succès en dépit des ambitions de leurs promoteurs. Pour le dirigeant, la "menace" engendrée par 114
Évaluation
des politiques
de sécutité
et de prévention
de la délinquance
en Angleterre
la recherche évaluative est différente de celle encourue par le chercheur en sciences sociales. La science sociale cherche à éviter l'erreur de type l - c'est-à-dire, de conclure qu'un résultat est vrai lorsqu'il ne l'est pas. Pour le politicien, toutefois, la situation est inverse: bien que les décideurs commettant des erreurs de type 1 puissent faire encourir à la collectivité et à l'intérêt général des coûts d' opportunité (en détournant des ressources de politiques souhaitables vers des programmes inefficaces), les coûts politiques directs d'erreurs de rype 2 (conclure qu'un résultat est faux alors qu'il est exact) sont bien plus grands: elles pourraient mettre à bas sans nécessité leurs programmes et leur crédibilité. Par conséquent, le travail d'évaluation menace toujours potentiellement le capital politique investi dans les programmes sociaux. La recherche évaluative incarne un dilemme politique: le prix à payer pour l'insistance sur la rigueur méthodologique, au nom à la fois de la qualité scientifique et de la responsabilité démocratique, pourrait bien n'avoir pas d'utilité pour les décideurs politiques (Hope, 2002a). Le problème de Martinson (qui s'est posé suite à une période précédente d'évaluation des peines et des traitements) est que la rigueur d'un travail d'évaluation est perçue par les décideurs politiques comme augmentant la probabilité d'aboutir à des conclusions du type "Rien ne marche". Ce qui pourrait servir d'un côté l'intérêt général - en tenant le gouvernement pour responsable - peut le desservir d'un autre côté - en l'empêchant de trouver "ce qui marche" et par conséquent en empêchant les avancées politiques. On gagnerait par conséquent un avantage considérable s'il était possible de préserver les garde-fous de validité inhérents aux "méthodes scientifiques" tout en produisant des résultats utiles sur "ce qui marche". Néanmoins, dans le pire des cas, les capacités de persuasion plus grandes dont dispose la politique par rapport à la science peuvent signifier un combat inégal dans lequel la méthodologie finit par être sacrifiée à la commodité politique (Hope, 2004). Quelles que soient ses promesses et incitations pour les chercheurs en sciences sociales, l'idéologie de l'EBPP peut être utilisée comme un moyen d'exercer un contrôle politique sur la conduite de la recherche évaluative afin de valider et légitimer la 115
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
politique du gouvernement (Hope, 2008b). L'EBPP invoque l'aura de la science pour s'attirer soutien et consentement à des mesures politiques (Campbell, 1969). En ce sens, la 'preuve' produite par la recherche évaluative, appuyée comme elle l'est sur des fondements apparemment scientifiques, peut être utilisée politiquement comme un moyen inattaquable de soutenir les politiques gouvernementales (Hope, 2006). Comme on en a fait l'expérience au moment de l'évaluation d'une partie du programme s'attaquant au cambriolage dans le plan de réduction de la délinquance du Home Office (1999-2003), ce stratagème fait pression sur les chercheurs qui conduisent l'évaluation pour qu'ils produisent les 'bonnes' conclusions (STC, 2006), ce qui les amène, lorsqu'ils sont sous contrat, à faire des compromis sur les standards de qualité de la recherche et le gouvernement à commanditer des recherches alternatives complaisantes (Hope, 2004) et/ou à ignorer, distordre ou supprimer les conclusions de la recherche qu'il a commanditées (Hope,2008a).
2 - La logique de la recherche évaluative Le but du travail d'évaluation est l'attribution causale précisément, d'établir dans quelle mesure la mise en œuvre délibérée d'une politique d'intervention X change substantiellement un phénomène précis de délinquance et/ou de sécurité Y. Affecter une valeur à cette preuve (coût-efficacité) est un objectif important, quoique secondaire puisqu'il dépend de l'identification de l'échelle de l'effet. La tâche méthodologique consiste à identifier le seul effet de l'intervention, net de toute autre influence. Par conséquent, la méthode d'évaluation doit à la fois mesurer le seul effet d'une intervention et s'assurer que ces mêmes mesures sont des représentations valides des effets réels, essentiellement en se protégeant des biais dans la production de ces mesures. La représentation la plus simple d'une évaluation se fait sous la forme d'une expérience en 'boîte noire' (voir la figure 1) dans laquelle une intervention particulière est conceptualisée comme un 'traitement' appliqué à un groupe de sujets et pour laquelle on obtient une mesure de l'effet moyen du traitement
116
Évaluation
des politiques
sur le groupe-sujet. l'effet.
de sécurité et de prévention
Le traitement
Expérience
traitement
H
de la dilinquance
est causalement
en Angleterre
antérieur
à
de la boîte noire
oxp'ri=œ
HOff"
moy=
I
Figure 1 - Le modèle de la boîte noire
La méthodologie d'évaluation s'est développée pour résoudre leproblèmefondamental d'évaluationque pose cette conception. Comme l'expliquent Heckman et Smith (1995, 87), ce problème tient à : ... l'impossibilité d'obseroer ce qui arriverait à une personne (ou coffectivité) donnée à la fois dans /'état dans lequel effe bénéficie d'une mesure (ou participe à un programme) et /'état dans lequel effe n'en bénéficie pas. Si une personne pouvait être obseroée dans les deux états, l'impact de la mesure pourrait être calculé en comparant les effets sur le slfiet dans les deux états, et le problème de l'évaluation serait résolu.
La méthodologie d'évaluation devrait par conséquent se préoccuper de l'opérationnalisation de méthodes qui consolident la validité de la mesure de l'effet causé par le fait d'être le sujet d'une intervention, net des états alternatifs et contrefactuels que le sujet pourrait connaître. Empiriquement, nous ne disposons, que du "fait" observable d'être sujet de l'intervention. Etant donné que nous ne pouvons observer ce qui se serait produit si l'intervention n'avait pas eu lieu (ou état contre-factuel), nous n'avons aucun moyen certain de savoir 117
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
quels facteurs ont "causé" l'état particulier observé chez le sujet durant et après l'intervention. L'état contre-factuel ne pouvant être observé, nous ne pouvons évaluer la probabilité réelle que l'effet se produise par comparaison avec la probabilité, restée inaccomplie, qu'il ne se produise pas. Dans le design de recherche expérimental (figure 2), les personnes affectées à des conditions de non-exposition à l'expérience représentent l'état contre-factuel car le processus d'affectation aléatoire à l'état 'exposé' et 'non-exposé' signifie que les membres de chaque groupe sont 'interchangeables' et que les différences observées par la suite entre les deux groupes représentent la différence entre le factuel et le contre-factuel, et par conséquent indique l'action causale (Heman, Robins, 2006). Il convient de noter que 'l'affectation aléatoire' à la situation de contrôle n'implique pas que l'expérience de la situation de contrôle est elle-même 'aléatoire'. Contrairement à ce qui se passe dans un laboratoire, la recherche évaluative appliquée aux interventions de politiques sociales prend place sur des terrains où tant les expériences et les sujets de l'intervention sont fondamentalement insérés dans la vie sociale, d'où le terme de 'quasi-expérience' (Cook, Campbell, 1979). L'affectation aléatoire, par conséquent, ne peut créer un vide en extrayant les sujets de leur contexte social; en principe, elle assure plutôt que les sujets soient interchangeables (c'est-à-dire ont des expériences identiques) de telle sorte que les différences observées ne puissent être dues qu'à la seule expérience de l'intervention, qui est par conséquent un aspect abstrait de l'expérience qui n'a de sens que dans les termes de la logique de la méthode utilisée pour l'extraire.
118
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angletem
Le modèle expérimental
- - - . traitement
hypothèse
instrumentale Â
I I ~ I I I T sélection
\
affectation aléatoire
sociale
~ impact
--.
/
effet
contrôle
t
- -. sélectionde l'échantillon
Figure
~
l
bilan sys!matique savoir instrumental
2 - Le modèle expérimental
Toutefois, si, pour contrôler la mesure des effets, la randomisation est cruciale, il est également très important de pouvoir contrôler cette dernière. Les actions de prévention locale de la délinquance diffèrent des interventions de justice pénale par les styles de gouvernancepropres aux différents cadres et programmes institutionnels typiquement mis en œuvre dans chaque sphère (Hope, 2005c). En pratique, ceux-ci façonnent la capacité à exercer le contrôle amenant les sujets à accepter l'intervention et par conséquent définissent la nature de l'intervention elle-même. Les interventions sur un milieu social 'naturel' tendent à reposer sur des mécanismes de participation collective et volontaire - par exemple lorsqu'un groupe social, ou une administration non étatique agissant en son nom, est intéressée à son progrès collectif; ou lorsqu'un gouvernement se soucie de la 'régénératiop' physique, économique ou sociale d'un quartier résidentiel. A l'inverse, les programmes de 'traitement' mis en œuvre au niveau judiciaire et pénitentiaire (y compris le contrôle en milieu ouvert) sont caractérisés par une participation individuelle et contrainte. Typiquement, ils ont le souci d'alterner récompenses et/ou sanctions pesant sur des individus afin que ceux-ci puissent s'insérer dans les configurations institutionnelles dominantes. Dans ce cas, les idées d'intervention 119
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
proviennent de différentes sphères - justice pénale, ~ducation et peines - qui sont, à la base, de la responsabilité de l'Etat - l'institution disposant d'un pouvoir de coercition judiciaire légitime sur les sujets. La participation des sujets dans les programmes locaux est volontaire car ceux-ci impliquent les arrangements sociaux et institutionnels de la société civile. Le mode de gouvernance dans la société civile est indirect et diffus - les détenteurs du pouvoir (le gouvernement) doit gouverner "à distance", en influençant et modelant le cadre lui-même, en utilisant un éventail de mesures essentiellement non coercitives, afin de produire l'obéissance de individus, y compris en influençant la conduite future de délinquants "potentiels", à distinguer des délinquants ou des victimes réels7. A l'inverse, des cadres comme les tribunaux, les prisons et (seulement dans une moindre mesure) les écoles, et même le marché du travail (en particulier pour les chômeurs ou des bas salaires) impliquent des sujets dont la participation est largement involontc;ire ou sur lesquels les détenteurs du pouvoir (principalement l'Etat et ses institutions) jouissent d'un pouvoir de controteet d'influence considérable (et en dernier ressort coercitif)8. Ces cadres-ci diffèrent par conséquence des collectivités de la société civile en ce qu'ils sont constitués de diverses arènes où les institutions ayant l'autorité et la légitimité pour produire du changement disposent de davantage de ressources pour façonner l'obéissance des sujets. La capacité à contrôler directement les sujets est cruciale, non seulement parce qu'elle façonne les conditions des politiques définissant l'intervention, mais aussi parce qu'elle affecte les conditionsde recherchequi vont définir la méthodologie de recherche évaluative la plus pertinente. Deux conditions de contrôle sont fondamentales: la capacité à (a) affecter les sujets à telle ou telle condition dans la recherche et (b) commander 7 C'est-à-dire qu'ils reconnaissent au champ de la prévention primaire de la délinquance l'identification des conditions de l'environnement physique et social qui créent des occasions favorables au ou déclenchantes du passage à l'acte délinquant (Brantingham, Faust, 1976,290). 8 De la même manière, ceci s'associe au champ de la prévention secondaire de la criminalité (Brantingham, Faust, 1976). 120
Évaluation
cks politiques
ck sécurité et ck prévention
ck la délinquance
en Angletem
l'obéissance des agents dans la mise en œuvre des interventions (les traitements). Le critère employé dans la Scientific Methods Scale (SMS, mentionnée supra) pour évaluer la qualité méthodologique repose principalement sur le pouvoir de contrôle. Par exemple, un bilan systématique basé sur les standards de qualité SMS, sous le titre 'qu'est-ce qui ne marche pas ?', comprenait dans sa liste Les ifforts de mobilisation collectivedes résidents contre la délinquance dans les zones urbaines trèspauvres à fort taux de criminalité
(Sherman et al., 1998, 8 citant Hope, 1995, pour corroborer - de manière erronée - cette proposition). Mais puisqu'un milieu social 'naturel' ne dispose pas des mêmes possibilités de contrôle coercitif que la justice pénale, se servir du bilan méthodologique SMS ne nous dit pas dans quelle mesure cette conclusion est due aux problèmes d'opérationnalisation des méthodes qui ont la faveur de la SMS (randomisationet contrôle) plutôt qu'à la capacité relative de chaque sphère d'agir sur la délinquance. Pire encore, on pourrait tirer des inférences comparativement défavorables simplement sur la base d'une comparaison entre les efforts rudimentaires d'expérimentation en milieu social 'naturel' avec des expériences conçues avec compétence et bien menées dans des cadres plus à même de manipuler et contrôler des sujets humains (Hope, 2005c).
3 - Méthodologie de recherche évaluative Les méthodes quasi-expérimentales se sont développées pour compenser les difficultés de dispositifs randomisés dans l'usage de modèles expérimentaux en milieu social 'naturel' (figure 3). Elles sont basées principalement sur un ajustement statistique destiné à compenser l'impossibilité de contrôler les conditions de l'expérience par le design de recherche cr udd, Kenny, 1981). Les évaluations des Neighbourhood Watch (étude 2), Community Policing(étude 3), Priority Estates Project (étude 4), DICE (étude 7) et Communinity Policing(étude 9) ont toutes employé le même dispositif: appariement non-aléatoire de sites 'expérimentaux' et 'témoins', utilisation des méthodes d'ajustement par régression appliquées aux données d'enquêtes sociologiques pour mesurer les effets des traitements, indépendamment de l'effet des autres variables (i.e. des caractéristiques 121
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
sociales des résidents corrélées à la variable mesurant l'impact) qui pourraient différer entre les sites expérimentaux et les sites témoins (Farrington, 1997).
Le modèle quasi-expérimental
hypothèse _ - - -
inst~
mesuredutraitement
mentale
autres variables
~
:
théorie
\
sélection sociale
----
effet
analyse de r7sSion
~
-----.
!
bilan sys!matique sélection
de cas
savoir instrumental
Figure
3 - Le morMle quasi-expérimental
La contribution méthodologique de Campbell et de ses successeurs a consisté à plaider des solutions de design de recherche, hors l'expérimentation pure, en réponse aux différentes 'menaces' pesant sur la validité du programme de recherche évaluative (Cook, Campbell, 1979). Principalement, ces menaces proviennent des difficultés pratiques à monter des expériences valides avec des sujets humains en milieu social 'naturel'. Dans cette tradition, il existe quatre types de menaces sur la validité (Farrington, 2003) : 1. La validité de la conclusionstatistique: l'hypothèse d'une relation causale entre une intervention et son résultat est-elle confirmée par des tests d'inférence statistiques? Comme dans toute mise à l'épreuve statistique d'une hypothèse, il existe deux critères: le test de la probabilité que l'hypothèse d'un effet doive être acceptée (test de l'erreur de type 1) ; et test de la probabilité que l'hypothèse nulle doive être rejetée (erreur de type 2). Pour aider à en décider, l'information repose, respectivement, sur le calcul de la significativité statistique (via le test sta-
122
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angletem
tistique approprié) et sur l'importance de l'effet (calcul de la puissance statistique) (Farrington, 2003). 2. Validité interne: la question-clé de l'inférence d'une relation causale entre une intervention et son résultat. 3. Validité théorique: l'adéquation entre la définition oPérationnelle et la mesure des constructionsthéoriques qui sous-tendent l'interventionet le résultat(Farrington, 2003, 54). 4. Validité externe: le degré et la mesure dans lesquels nous pouvons être assurés que les résultats d'une intervention particulière sont généralisables à d'autres contextes. Alors qu'on a beaucoup débattu de la manière dont les méthodes d'évaluation peuvent traiter ces questions, ces types de validité restent une catégorisation claire de la nature des problèmes méthodologiques rencontrés dans les travaux d'évaluation.
4
- La critique
réaliste
La différence cruciale entre un dispositif de prévention locale de la délinquance et, par exemple, une expérience contrôlée en laboratoire est que, dans la première, le 'traitement' a bien moins d'authenticité a priori. Sur le terrain, toute 'mesure' d'intervention est produite dans le temps dans des contextes spécifiques, selon des moyens pratiques et organisationnels complexes, et en utilisant des combinaisons variables d'autorité, de capital et de ressources. De plus, toute intervention agit toujours sur un contexte spécifique (comme une commune résidentielle) et produit son effet souvent à travers une gamme de mécanismes propres à l'intervention. L'étude 3 (Bennett, 1991) a été critiquée par Pawson et Tilley (1994) en ce qu'il est bien possible que son modèle de 'boîte noire' d'intervention expérimentale ait caché tout un ensemble de mécanismes dans l'intervention qui pourraient avoir un effet sur le résultat; alors même que n'avoir pas tenu compte statistiquement des différences de covariance entre les sites cache la vraisemblance que les contextes différents aient des effets distincts sur les résultats (voir aussi Bennett, 1996; Pawson, Tilley, 1996). Essentiellement, cette critique est soucieuse d'établir la plus grande importance de la validité théorique et de la validité externe, dont Paw123
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
son et Tilley pensent qu'elles ont plus de pertinence politique et pratique que les préoccupations primordiales que constituent, pour les chercheurs en sciences sociales, la validité interne et la validité de conclusion statistique. Néanmoins, il existe des compromis contradictoires et incommensurables entre les quatre types de validité Gudd, Kenny, 1981). Ainsi, la critique du Random ControlledTria/ (RCJ) appliqué au milieu social est que bien qu'il maximise la validité interne et la validité de conclusion, il risque à la fois une plus grande artificialité et des pratiques oppressives/contraires à l'éthique (en général, les deux à la fois). De plus, puisqu'il s'agit d'une intervention pratique, pour mettre en œuvre un RCT, il faut l'abstraire artificiellement des contextes sociaux et institutionnels dans lesquels s'inscrivent les sujets. Par conséquent, le dilemme du RCT est que plus il maximise la validité interne, plus il perd sur la validité externe et de conclusion; le dilemme inverse joue pour la critique réaliste. Pawson et Tilley (1997) proposent un moyen alternatif de conceptualiser la production d'un résultat en faisant l'hypothèse que tout résultat est toujours le produit d'une configuration contexte-mécanisme-résultat (CMR) particulière (figure 4). L'évaluation réaliste s'appuie sur une méthode d'analyse comparative de cas9. La première étape consiste à construire un ensemble de configurations CMR qui seraient typiques du projet de prévention de la délinquance étudié. Ensuite, on recherche d'autres cas (projets de prévention) qui reproduisent le cas original, à l'exception de quelques variations connues du contexte, du mécanisme de fonctionnement ou du résultat. En accumulant ces études de cas (ce qui est un processus de réplication), on peut découvrir des variations systématiques dans les configurations de CMO, qu'on peut ensuite généraliser comme recommandations pour les politiques. Tilley (1993), par exemple, fait état de deux études de cas qui prétendent 'répliquer' le projet de réduction des cambriolages de Kirkholt, dans le cadre d'un processus d'évaluation de l'efficacité d'une politique de prévention du cambriolage à répétition (pawson, Tilley, 1997).
9
Voir par exemple Tilley, Webb, 1994.
124
Évaluation
des politiques
de sécurité et de prévention
D'autres réplications sont également thèse de Kirkholt (Farrell, 2005).
menées
L'expérience
~OliriqU1
de la délinquance
pour
en Angleterre
justifier
la
réaliste
effet
~
contexte
Figure
4 - L'expérience
réaliste
Néanmoins, cette soi-disant méthode scientifique réaliste menace la validité interne et la validité de conclusion de ses résultats. En particulier, elle encourage (ou ne protège qu'insuffisamment contre) le biais dans sa sélection d'études de cas et dans sa recherche de mécanismes causaux. Ces difficultés découlent à la fois de sa méthodologie - elle s'appuie sur des méthodes qualitatives d'études de cas - et de son épistémologie - sa méthode d'enquête est inductive. Par exemple, des preuves par "réplication" à partir d'échantillons de CMR (Hope, 2002,a), d'analyse de tendances nationales (Hope, 2007) et d'études d'évaluation (Hope et aL, 2004) n'ont trouvé à ce jour aucun autre exemple du mécanisme considéré comme central dans le succès apparent du Projet Kirkholt, à savoir qu'un changement soit dans la prévalence de victimes à répétition, soit dans le taux de fréquence de victimation (multiple) a un lien significatif avec un changement dans le taux (d'incidence) général de la délinquance. Si l'on peut montrer quelque chose, c'est que, semble-t125
L'évaluation despolitiques de sécurité et deprévention de la dilinquance en Europe
il, le taux de prévalence de la délinquance (la proportion de victimes dans la population) a un impact bien plus grand sur son taux d'incidence que le taux de fréquence (répétition) de la victimation (Hope, 2007 ; 2002a). L'interprétation 'réaliste' du succès du Projet KirkhoIt est réalisée a posteriori.Cela expose l'évaluation 'réaliste' à l'accusation d'interprétation sélective de la preuve (une faille logique de la méthode de raisonnement inductive), qui n'est pas corrigée par l'absence de design de recherche et de comparaison dans la méthode d'étude de cas couramment employée. L'une des questions porte sur J'intention: sans établir quelle elle était avant la mise en œuvre, il ne serait pas possible, logiquement, d'établir que ce qui est arrivé était ce que l'on attendait. Il existe toujours un danger d'erreur de raisonnement a posteriori(post hoc, egopropter hoc),particulièrement fâcheuse dans l'évaluation d'une politique: si les objectifs initiaux ne sont pas atteints, il peut être politiquement séduisant de tirer bénéfice rétrospectivement de qui s'est passé en réalité de manière fortuite, sans rapport avec une quelconque intention particulière (Campbell, 1969). Ces questions sont le composé de deux problèmes bien connus de sélection (Hope, 2006; Hope et al., 2004) : 1. Le biais de séJection:la difficulté du 'contrôle' dans la prévention locale de la délinquance (mentionnée supra) signifie que les projets à évaluer ne sont jamais sélectionnés au hasard; en général, ils sont sélectionnés pour une raison qui peut être liée au résultat. Les candidats à l'évaluation peuvent alors avoir déjà été soigneusement sélectionnés sur leurs chances ou promesses de succès (par exemple si la délinquance était déjà en baisse, ou si les responsables de la mise en œuvre semblent enthousiastes, coopératifs, compétents et efficaces). Le problème est double, d'abord si les projets sont sélectionnés sur concours, ensuite si on leur a accordé une 'amélioration de prélancement' ; les deux se sont produits dans le programme de réduction du cambriolage (étude 8) (Hope, 2004)10. Une autre conséquence de l'EBPP est qu'il justifie qu'on ne rende compte 10
Et pourtant, il s'est avéré qu'aucun effort n'a réellement garanti le succès, les promoteurs ont simplement été encouragés à ré-analyser les données de façon à en arriver aux résultats recherchés (Hope, 2004). 126
ÉM~~n~~M~~~dm~a~pn~~n~h~~~~fflA~~=
que de la sélection d'études de cas 'réussis', ce qui biaise le résultat obtenu et exclut d'en tirer éventuellement des leçons (analyser l'échec pourrait être aussi utile que le succès). 2. Rigressionversla mqyenne: les programmes nationaux de prévention de la délinquance peuvent être ciblés sur les zones à fort taux de criminalité, l'idée étant qu'on obtiendrait ainsi un meilleur rapport coût bénéfice en termes de prévention comme cela fut le cas avec plusieurs projets dans le Crime ReductionProgramme (étude 10). Cela étant, il devient alors difficile de distinguer, au moins par les méthodes généralement utilisées, dans quelle mesure une diminution de la délinquance intervenant par la suite est due simplement au phénomène de régression vers la moyenne (Hope, 2006 ; Campbell, 1969). Un problème logique proche est celui des attentes. L'antonyme traditionnel dans les politiques de prévention de la délinquance de la formule 'ce qui marche' est 'rien ne marche' : on s'attend à ce que l'action ait soit un bénéfice positif (réduction de la délinquance) soit aucun effet. Cette antonymie n'arrive pas à intégrer la possibilité de conséquences non voulues mais pourtant significativement négatives ou dommageables d'une intervention visant à prévenir la délinquance. Dans la mesure où ceux qui proposent des actions destinées à diminuer la délinquance visent l'utilité politique, la possibilité logique de conséquences involontaires (par exemple que les actions puissent causer des dommages ou être plus coûteuses que le problème qu'elles cherchent à résoudre) ne peut être admise sans miner leur logique de prévention. Ce mode de pensée n'ouvre pas la possibilité logique d'autorisationà la délinquance: que les actions spécifiques du programme, qu'elles aient ou non pour objectif de réduire la délinquance, puissent néanmoins permettre ou encourager sa croissance. Néanmoins, on peut trouver des preuves dans le programme de réduction du cambriolage (étude 10) que certains éléments d'un projet spécifique de prévention de la délinquance - qui, ironiquement, visaient précisément la prévention des cambriolages à répétition - se sont révélé avoir entraîné une augmentationd'environ 38% du taux de
127
L'évaluation des politiques de sécurité et de prévention de la délinquance en Europe
victimation par cambriolage, y compris du taux de victimation multiple (Hope et al., 2004)11. Pour résumer, le modèle réaliste omet de prendre en compte aussi bien la sélectivité politique que la sélectivité sociale et devient donc sensible (intentionnellement ou pas) à ces biais (Figure 5). Le modèle réaliste d'après Pawson, Tiiiry (1997)
qu'est-ce qui ml1fhP?
sélection
~
effut
mécanisme
/
contexte
politique
/
~
.. . /.
+
\
pour qui, dans quelles circonstances
, ,,
,,
réplication-----. ;f
l
ce qui marche!
- - - - -heterogenette
sélection Figure
5
-
effet
t sociale
Le modèle réaliste de Pawson
5 - Les mécanismes
et Tilley
des programmes
En dépit de sa vulnérabilité au biais de sélection et d'interprétation, l'approche réaliste, en mettant l'accent sur la production de la prévention, souligne vraiment l'importante des mécanismes (ou plutôt des séquences causales) qui se développent dans le temps pour produire de la prévention de la délinquance, ce que l'approche expérimentale de type "boîte noire" échoue à capturer. Les théories de la production de prévention locale de la délinquance, basées sur des idées d'efficacité collecIl Une autre occasion de procéder à une ré-analyse rétrospective (voir fin 6) ! 128
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angleterre
tive et de capital social, postulent des séquences causales par lesquelles les variables contextuelles interagissent avec les processus sociaux internes à la collectivité pour produire des résultats qui se développent dans le temps (Hope, Karstedt, 2003 ; Hope 1995). De tels processus sont identifiés par l'approche "méthodes mixtes" de l'étude évaluative des PrioriryEstates Projects (étude 4, Foster, Hope, 1993). Les théories du capital social postulent un ensemble d'effets d'interactionnécessaires pour produire de la sécurité collective; mais c'est précisément ce genre d'effet d'interaction que les présupposés des critères de qualité SMS pourraient amener à interpréter comme des "menaces pour la validité"12. D'une manière générale, ces prétendues menaces prennent deux formes: 1. Sélection x Traitement: Elle peut elle-même prendre deux formes: tout d'abord, lorsqu'un programme d'action ne peut être séparé des structures sociales et politiques propres aux collectivités-cibles. Par exemple, seules certaines localités sont susceptibles de soutenir des organisations locales de 'surveillance de quartier', par conséquent les organismes publics intéressés à en établir ne vont sélectionner que les localités qui fournissent un sol assez fertile pour permettre aux organisations de surveillance de quartier de prospérer, tandis que dans ces mêmes collectivités, les processus sociaux 'travailleront' également à capter des fonds publics, créant pour eux-mêmes un 'club' dont l'objet est de s'approprier un bien, la sécurité (Hope, Trickett, 2004). On peut soutenir que l'effet nul identifié dans les études d'évaluation du Neighbourhood Watch (étude 2 supra) peut être dû à la similarité des niveaux de capital social indigène présent dans les localités expérimentales et les localités témoins qui ont été appariées. Ensuite, et par conséquent, une sorte 'd'affinité élective' (pour utiliser les termes de Weber) s'établit entre le traitement et la sélection, de telle sorte que l'un ne peut opérer sans l'autre, puisque le traitement lui-même s'avère être 12 On y réfère souvent dans la littérature relative à la recherche sur l'évaluation comme à des effets "modérateurs" ou "médiateurs" sur les mesures (Farrington, 2003; 1998) bien que dans les interventions constituées de mesures individuelles, cela ne semble pas être un ensemble de "menaces" aussi graves que dans la prévention locale de la délinquance. 129
L'évaluation des politiques de sécurité et de prévention de la délinquance en Europe
défini comme critère de sélection (les caractéristiques du milieu, en d'autres termes). 2. Traitement x Résultat: L'objectif de l'échelle de qualité SMS est de s'assurer que c'est bien l'intervention qui est la cause du résultat - ce qu'on appelle la Conclusionl Gudd, Kenny, 1981). Toutefois, il existe deux autres relations entre l'intervention et le résultat qui, bien que définissant plus précisément le processus de changement, à travers une suite de processus intermédiaires, réduisent paradoxalement la corrélation entre l'intervention et le résultat que les dispositifs SMS s'efforcent de maximiser, par exemple, la ConclusionII où l'intervention est la cause du facteur intermédiaire potentiel. Ici, la mesure d'intervention dans une collectivité peut effectivement chercher à améliorer la 'variable intermédiaire' - par exemple, le développement du bon mélange de capital social. Ainsi, l'intervention crée la possibilité de développer le capital de liens, par exemple en créant des organisations locales, en utilisant et en donnant du pouvoir aux leaders locaux (qui possèdent déjà un capital social 'liane), ce qui renforce alors la collectivité en créant du capital supplémentaire de liens pour ses membres, lequel renforce leurs efforts de création d'institutions qui font lien et ainsi de suite (Hope, Karstedt, 2003). Il existe également la Conclusion III, selon laquelle la somme de ces activités (par exemple l'efficacité collective) devient elle-même la variable intermédiaire, de telle sorte que lorsqu'elle est contrôlée, statistiquement ou dans le design de recherche, la corrélation directe entre la variable de traitement (l'intervention de gouvemance originelle) et la variable de résultat (la délinquance) disparaît, même si elle a effectivement eu une influence causale importante, quoiqu'indirecte. On trouve ces deux 'menaces' pour l'explication dans l'étude 4 (Hope, 200Sc). Ainsi, le paradoxe réside dans le fait que même si le dispositif de recherche évaluative devait contrôler ces apparentes menaces pour la validité (ou si un bilan SMS rejetait des preuves provenant d'études qui ne sembleraient pas avoir ces qualités), il serait susceptible de rejeter l'influence de l'intervention sur le résultat alors qu'elle avait, en pratique, un effet très significatif. Dans ce cas, ce serait la méthode d'évaluation elle-même, et non pas l'intervention, qui produirait le résultat, conduisant ainsi à des erreurs d'inférences de Type II 130
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angleterre
- que le traitement n'avait aucun effet, alors qu'il en avait un en réalité. La question du débordementest une question connexe dans la prévention locale de la délinquance, qu'il s'agisse du déplacement de la délinquance ou de la diffusion d'un effet bénéfique. L'espace nous manque pour un débat détaillé sur les questions de mesure en cause, bien qu'à nouveau, il faille examiner les questions méthodologiques relatives à la validité d'observations d'effets apparents de débordement. Par exemple, Hope et aL (2004, étude 4) ont trouvé, paradoxalement, que davantage de projets ont abouti à une plus grande réduction nette de la délinquance dans leur zone élargie (y compris une 'zone tampon' limitrophe) que dans leur zone cœur de cible. Toutefois, cette diffusion des effets bénéfiques semblerait plus fallacieuse que réelle étant donné que les projets faisaient en réalité partie de programmes de réduction de la délinquance plus vastes, couvrant des zones plus larges au-delà de la cible, et qu'ils étaient susceptibles d'affecter le comportement des populations de délinquants, de victimes et de résidents de localités situées au delà de leur relativement petites zones-cibles.
6
- Mise en œuvre des programmes
La critique réaliste souligne également l'importance des processus d'intervention dans la mesure d'un effet causal. Le processus de mise en œuvre est non seulement crucial dans un projet, mais est également un pré-requis logique à l'évaluation; quelle que soit la rigueur de la méthodologie d'évaluation, il ne sera pas possible de détecter les effets d'une intervention si très peu ou rien n'a été mis en œuvre pour produire ces effets (Hope, 1985). Généralement, les résultats sont susceptibles d'être affectés par: 1. l'efficacité des mesures deprévention de la délinquance (c'est la
préoccupation
traditionnelle des concepteurs des programmes).
2. la malléabilité du contexte de la cible/collectivité
c'est
à dire
de la facilité ou de la difficulté à mettre en œuvre les mesures de prévention de la délinquance, étant données les caractéristiques des différents contextes de l'environnement et de la collectivité; et 131
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
3. l'efficacitéde l'organisationde l'offre: il s'agit de savoir à quel point les agents et leurs procédures sont efficaces ou productifs dans la mise en œuvre de leur intervention. Chacun de ces facteurs indépendants peut, séparément ou combiné, interagir pour influencer la probabilité d'un résultat spécifique pour une intervention (Hope et al, 2004). Plutôt qu'une question distincte, l'évaluation de la mise en œuvre est une condition nécessaire à l'évaluation du résultat. Cependant, il faut également séparer ses effets afin de s'assurer des résultats du programme, ou plus habituellement de ses échecs, imputables aux échecs de la mise en œuvre (Hope, 200Sb). Les questions de mise en œuvre ont émergé dans la plupart des programmes britanniques de prévention locale de la délinquance (Hope, Murphy, 1983). Ceci a conduit à deux réponses méfilodologiques : * Etudes des processus de mise en œuvre: les études d'évaluation du CRP R£ducing Burglary (étude 10) ont été contraintes d'entreprendre des études détaillées sur le processus, s'éloignant de la simple description et du suivi afin d'expliquer des résultats de mise en œuvre particuliers, de fournir des données pour des études de coût efficacité (Bowles, Pradiptyo, 2004) et de fournir sur l'avancement de la mise en œuvre des projets des informations susceptibles de rendre compte de leurs impacts différentiels. Par exemple, l'échec relatif des projets destinés à réduire le cambriolage tenait à ce qu'on était inégalement disposé à abandonner et à adapter les plans d'intervention initiaux, ce qui, à son tour, était lié à l'organisation du projet et aux caractéristiques de l'institution leader. En particulier, les projets dominés par la police semblaient particulièrement rigides, persistant à mettre en œuvre de manière inefficace des plans qui ont fini par conduire à l'échec (Hope et al, 2004). * Mesure de l'intensité d'action d'un projet: à la suite du travail de pionner d'Ekblom et al (1996, étude 6), les études d'évaluation dans le RBI (étude 8) ont proposé plusieurs mesures quantitatives de l'intensité d'action d'un projet, qui pourrait mesurer le montant, la quantité, la durée et le rythme d'une tnlse en œuvre.
132
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angleterre
Hope et al (2004, études 10) ont combiné ces deux approches pour créer un score d'intensité d'action consistant en une mesure périodique, quantitative et cumulative de l'impact d'une mise en œuvre pendant et au delà de la durée du projet. Des données d'observation sur la mise en œuvre et des données administratives et financières ont été combinées dans un calendrier d'action dont on a pu tirer une mesure quantitative, qui fut d'une utilité considérable dans les analyses économétriques de séries temporelles sur l'impact des programmes (Crawley, Hope, 2003). Conclusion:
hétérogénéité
et biais de sélection
La critique réaliste illustre et succombe à la fois à deux problèmes méthodologiques de la recherche non-expérimentale qui ont un effet majeur sur les inférences à tirer de la recherche évaluative : l'hétérogénéitéet les biais de sélection.Les contextes, les interventions et les résultats sont hétérogènes (comme l'affirment les réalistes) mais la recherche évaluative non expérimentale a aussi besoin d'intégrer dans son dispositif et ses analyses des protections contre l'erreur d'inférence due à de multiples biais ge sélection (dont les réalistes sont entièrement responsables). Etant donné que les interventions comme les évaluations sont imbriquées dans le monde social, le modèle de recherche quasi-expérimental n'est pas assez puissant par luimême pour isoler des mesures généralisables de l'impact d'un programme qui fussent dénuées des biais de sélection. En se basant sur le travail de Heckman (2001) en micro-économétrie, la recherche évaluative doit modéliser les effets de sélection, isoler les seuls effets d'un programme et identifier les résultats hétérogènes (figure 6). Hope et al (2004) par exemple, ont ajusté différents modèles de séries multivariées aux tendances de la délinquance dans chaque site étudié dans un projet, avec des spécifications adaptées aux caractéristiques propres des séries dans chaque site (en saisissant les configurations locales spécifiques de la délinquance) puis ont mesuré les effets propres d'un projet (au moyen de la variable d'intensité d'action du projet) dont ils ont défalqué les projections faites antérieurement sur la base de 133
L'évaluation des politiques de sécurité et de prévention de la délinquance en Europe
l'évolution de la délinquance, évolution due à d'autres influences. Ekblom et al. (1996) ont mené une étude hautement sophistiquée pour ajuster les données observées afin de rendre compte d'une large gamme de biais de sélection et d'effets hétérogènes qui ne pourraient pas être contrôlés par les designs de recherche. En conclusion, ce dont on a peut-être besoin pour améliorer la compréhension de l'impact de la prévention locale de la délinquance, ce sont des modèlesd'inférencesstatistiques qui cherchent à mesurer le biais de sélection et l'hétérogénéité - des propriétés qui affectent fondamentalement la possibilité d'évaluation - en utilisant un raisonnement causal contre-factuel afin de renforcer l'analyse micro-économétrique (figure 7).
Expérience politique
micro-économétrique programme
effet 1
\ \ \ \ \ \
autres influences
effets de sélection
effet 2 \ \ \ \
\ \
B Figure
134
6 - L'expérience
micro-économétrique
Évaluation
des politiques
de sécurité et de prévention
de la délinquance
en Angletern
Le modèle d'inférence
contexte
sélection politique
~
\ _Prod","dUproict~
r soc1ale
~"'Crog,"a" sociale Figure
7
-
explication
Le modèle d'inférence
135
BIBLIOGRAPHIE Beauvallet M., Les stratégies absurdes. Comment faire pire en croyantfaire mieux ?,paris, Seuil, 2009. Belorgey J.M., Evaluer la politique de la viffe; rapport du Comité d'évaluationde la politique de la viffe, Paris, Conseil National des Villes, 1993. Bennett T., Evaluating Neighbourhood Watch, Aldershot, Gower, 1990. Bennett T., The effectiveness of a police-initiated fearreducing strategy, BritishJournal ojCriminology,1991,31, 1-14. Bennett T., What's new in evaluation research? A note on the Pawson and Tilley article, BritishJournal ojCriminology,1996, 36, 4, 567-573. Biais E., Cusson M., Les évaluations de l'efficacité des interventions policières: résultats des synthèses systématiques, in Cusson M., Dupont, B., Lemieux F. (dir.), Traité de sécurité intérieure, Montréal,
Ed. Hurtebise,
2007, 115-129.
Bowles R., Pradiptyo R., Reducing Burglary Initiative: an analysis of costs, benefits and cost effectiveness, London, Home Office, 2004 [http://rds.homeoffice.gov .ukl rds I pdfs04 I rdsolr4 304. pd£].
Braga A.A., Weisburd D.L., Waring E.J., Green Mazerolle L., Spelman W., Gajewski F., Problemoriented policing in violent crime places: A randomized controlled experiment, Criminology, 1999,37,3,541-580. Brantingham P.J., Faust F.L., A conceptual model of crime prevention, Crime and Delinquenry, 1976, 2, 3, 284-296, [reprinted in Hope T. (Ed.), Pepectives on crime reduction, Aldershot, Ashgat~, 2000, 3-15]. Breen E. (dir.), Evaluerfajustice, Paris, PUF, 2002. Brodeur J.-P. (Ed.), How to &cognize Good Policing;Problemes and Issues,Thousand Oaks, Sage, 1998a. Brodeur J.-P., L'évaluation des programmes d'intervention sécuritaire ; quelques remarques sur les expériences cal}adienne et américaine, in Ferret F., Ocqueteau F. (dir.), Evalueda police de proximité? Problèmes, concepts, méthodes, Paris, La Documentation française, 1998b, 13-22.
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
Brodeur J.-P., Les réformesde la police en Amérique du Nord: bilan des évaluations,Eines para l'analisi de la seguretat; Estat de la recerca, Mollet del Vallès, Escola de policia de Catalunya, 2000. Campbell D.T., Reforms as Experiments, American P.rychologist, 1969,24,4,409-429 (Reprinted as Campbell D.T. 1978 Reforms as Experiments, in Bynner J., Stribley K.M. (Eds), Social Research:Principlesand Procedures,Oxford, Oxford University Press). Cartuyvels Y., Franssen A., Hougardy L., Hubert H.O., Lemaître A., Smeets S., Toro F., 2003, Insécurité: un premier état des savoirs. Synthèse bibliographique
relative à l'insécurité et
au sentiment d'insécurité,Recherche réalisée à la demande de la Fondation Roi Baudouin, Bruxelles. Cas man M.-Th., Coster F., Wartique G. (dir. Kellens G ., Lemaître A.), Recherche: 4 projets communaux de prévention de la délinquance: constats après un an defonctionnement, Recherche
commanditée par le ministère de l'Intérieur, Liège, Université de Liège, Service de criminologie, 1992. Connell J.P., Kubisch A.C., Applying a theory of change approach to the evaluation of comprehensive community initiatives: progress, prospects and problems in FulbrightAnderson K., Kubisch A.C., Connell J.P., New Approaches to Evaluating Communi!} Initiative, Volume 2: Theory, Measurement, and AnalYsis, Washington DC, The Aspen Institute, 1998. Cook T.D., Campbell D.T., Quasi-Experimentation: Design and AnalYsis Issues for Field Settings, Boston, MA, Houghton Mifflin,1979. Crawford A., Crime Prevention and Communi!} Safe!}. Politics, Policiesand Practices,Longman, 1998a. Crawford A., Culture managériale de l'évaluation et responsabilités; quelques leçons de l'expérience britannique des progranupes locaux de sécurité in Ferret F., Ocqueteau F. (d ir .), Evaluer la police de proximité? Problèmes, concepts, méthodes,Paris, La Documentation française, 1998b, 51-82. Crawley P., Hope T., Measuring the outputs of crime reduction
138
projects,
Communi!} Safe!} Journal, 2003, 2, 3, 4-12.
Biblio!!,aphie
Crow I., France A., Hacking S. Hart M., Does Communitiesthat Care Work?, York, The Joseph Rowntree Foundation, 2004. De Fraene D., Lalieux K., Mary Ph., Smeets S., Les contrats de sécuritéet de sociétédans la Région de Bruxelles-Capitale, Bruxelles, Dossiers BRES, 1997, n° 34. Direction générale politique de sécurité et de prévention, Guide méthodologiquepour un diagnostic local de sécurité,Brussels, Service public Fédéral Intérieur, Service de police Fédéral, 2005. Donzelot J., Estèbe Ph., L'État animateur. Essai sur la politique de la ville,Paris, Éd. Esprit, 1994. Donzelot J., Wyvekens A., La magistraturesociale.Enquêtes sur les politiques locales de sécurité, Paris, La Documentation française,2004.
Duburcq A., Soria J., Ahouanto M., Péchevis M., Évaluation du dispositif Familles d'accueilpour toxicomanes, Paris, OFDT, 2001. Ekblom P., Safer cities and residential burglary: A summary of evaluation results, European Journal of Criminal Poliry and research,1996, 4, 1, 22-52. Ekblom P., Évaluation du programme Safer Cities; i;npact et processus, in Ferret F., Ocqueteau F. (Eds), Evaluer la police de proximité? Problèmes, concepts, méthodes, Paris, La Documentation française, 1998, 27-50. Ekblom P, Law H., Sutton M., Crisp P., Wiggins R., Safer Cities and Domestic Burglmy, Home office Research Study 164, London, Home Office research and Statistics Directorate, 1996. Farrell G., Progress and prospects in the prevention of repeat victimisation, in Tilley N. (Ed .), Handbook of Crime Prevention and CommunirySafery,Cullompton, Devon, Willan, 2005. Farrington D.P., Evaluating a Community Crime Prevention Program, Evaluation, 1997,3,2,157-173. Farrington D. P., Evaluating 'Communities That Care': Realistic Scientific Considerations', Evaluation, 1998,4,2,204210.
139
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
Farrington D.P., Methodological quality standards for evaluation research, The Annals oj the American Academy oj Political and Social Science, 2003,
587, 49-68.
Farrington D.P., Petrosino A., The Campbell Collaboration Crime and Justice Group, Annals oj theAmerican Academy
ofPolitical
Forrester
and Social Science, 2001,
D., Chatterton
587, 35-49.
M., Pease
K., The Kirkholt
Bur;glmyPreventionProject,Rochdale,Crime Prevention Unit Paper 13. London, Home Office, 1988 [http://www .homeoffice.gov. uk/ rds / prgpdfs / fcpu 13.pd£].
Forrester D., Frenz S., O'Connell M., Pease K., The
Kirkholt Bur;glaryPrevention Project, Phase II, Crime Prevention Unit Paper 23. London, Home Office, 1990 [http://www.homeoffice.gov.uk/ rds/ prgpdfs/ fcpu23.pd£]. Foster J., Hope T., Housing, Communiryand Crime: The Impact oj the PrioriryEstates Project,Home Office Research Study No. 131, London, HMSO, 1993 [http://rds.homeoffice.gov. uk/ rds / pdfs05 /hors 131.pd£]. Gill, M., Spriggs A., Assessing the impact oj CCTV, Home Office Research Study 292, London, Home Office Research, Development and Statistics Directorate, 2005 [http://www.homeoffice.gov. uk/ rds / pdfs05 /hors292.pd£]. Gladstone F.J., Coordinating Crime prevention efforts, Home Office Research Study 62, London, Home Office Research, Development and Statistics Directorate, 1980 [http://www.homeoffice.gov.uk/ rds / pdfs05 /hors62.pdf]. Goldblatt P., Lewis C. (Eds), Reducing Offending: an assessment of research evidence on WC!JSoj dealing with offending behaviour,Home Office Research Study 187, London, Home Office, 1998, 51-62 [http://rds.homeoffice.gov.uk/ rds/ pdfs/hors 187.pd£]. Fielding N.G., CommuniryPolicing,Oxford, Clarendon, 1995. Greene J.C., Qualitative program evaluation, practice and promise in Denzin N.K., Lincoln Y.S. (Eds), Handbook of qualitative research,London,
Hacourt Évaluation
Sage, 1994.
G., Lacroix J., Tange
C. (dir. Poulet
I.),
des contrats de sécurité et de société bruxellois. Rapport final,
Recherche réalisée pour le compte du ministère de l'Intérieur
140
Bibliographie
et de la Fonction Publique, Police générale du Royaume, Bruxelles, Synergie, 1999, 52. Hebberecht P., Bovyn M., Colle P., Lippens R., Politie & criminaliteit in context, RUG, Steunpunt Criminaliteit, Onderzoekgroep criminologie, Bestuurlijke Politie & Strafrechtsbedeling, 1995. Heckman J., Microdata, heterogeneity, and the evaluation of public policy: Nobel Lecture, Journal oj PoliticalEconomy, 2001, 109,3,673-748. Heckman J., Smith J.A., Assessing the case for social experiments, The Journal oJEconomicPerspectives,1995,9,85-110. Hernan M.A., Robins J.M., Estimating causal effects from epidemiological data, Journal oj Epidemiology and Communiry IIeauh,2006,60, 7, 578-586. Hollin C.R., Offending behaviour programmes: Does only randomization glister? Criminologyand Criminal Justice, 2008, 8, 1,89-106. Hirschfield A., The impact oJthe ReducingBurglmy Initiative in the North oj England, Home Office Online Report, 2004, 40104 [http://rds.homeoffice.gov.uk/ rdsl pdfs04 1rdsolr4004.pd£].
Hope T., ImplementingCrime Prevention
Measures, Home
Office
Research Study No. 86, London, HMSO, [http://www.homeoffice.gov.uk/ rdsl pdfs05 Ihors86.pdfJ. Hope T., Community crime prevention in Tonry Farrington
D.P.
1985 M.,
(Eds), Building a Seifer Sociery:strategicapproaches
to crimeprevention,Chicago, University of Chicago Press, Crime and Justice: a review of research, 1995, 19,21-89. Hope T., Community crime prevention, in Nuttall C., Goldblatt P., Lewis C. (Eds), Reducing Offending: an assessment of research evidence on ways of dealing with offending behaviour, Home Office Research Study 187, London, Home Office, 1998, 51-62 [http://rds.homeoffice.gov. ukl rds 1pdfs Ihors 187.pd£]. Hope T., Counting on the Counter-Factual?Evaluation and Crime Reduction in Risk Sociery, Leicester, British Conference of Criminology,2000. Hope
T., The evaluation oj policies from a methodological perspective -
Discussion, FP6, CRIMPREV, WP4, WS6, Universidade Porto, Faculty of Law, Escola de Criminologia, 2009.
de
141
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
Hope T. The road taken: evaluation, replication and crime reduction in Hughes G., McLaughlin E., Muncie J. (Eds), Crime Prevention and Communiry Sqftry, London, Sage Publications, 2002a, 37-57. Hope T., La riduzione della criminalità, la sicurezza locale e la nuova filosofia del management pubblico, Dei Delitti e delle Pene,2002b, 9, 1-2-3 (seconda serie), 207-229. Hope T., Pretend it works: evidence and governance in the evaluation of the Reducing Burglary Initiative, Criminology and CriminalJustice,2004, 4, 3, 287-308. Hope T., The new local governance of community safety in England and Wales, CanadianJournal of Criminologyand Criminal Justice,2005a, 47, 2, 367-387. Hope T., Sustainability in crime prevention: a nautical tale, 10th Anniversary Colloquium international Centre for the Prevention of Crime, Paris, 30 November-2 December, 2004. International Observer, Edition 36, March 2005, Montreal, International Centre for the Prevention of Crime, 2005b [http://www.crime-preventionintl.org/io_view.php?io_id=117]. Hope T., Pretend it doesn't work: the 'anti-social' bias in the Maryland Scientific Methods Scale, EuropeanJournal on Criminal Poliryand Research,2005c, 11, 3-4, 275-296. Hope T., Things can only get better, CriminalJusticeMatters, No. 62 Winter 2005/2006 [http://www.crimeandjustice.org.uk/ opus171 / cjm62-hope.pdf] (Reprinted in House of Commons Science and Technology Committee Scientific Advice, Risk and Evidence Based Policy Making, Seventh Report of Session 2005-2006, Volume II Oral and Written Evidence, Ev 145, The House of Commons, HC 900-II, 8 November 2006). Hope T., The Distribution of Household Property Crime Victimization: Insights from the British Crime Survey, in Hough M., Maxfield M. (Eds), Survrying Crime in the 21" Centmy, Crime Prevention Studies Vol. 22, Monsey, NY, CriminalJustice Press and Collumpton, Devon, Willan, 2007. Hope T., A firing squad to shoot the messenger: Home Office peer review of research in MacMahon W. (Ed.), Critical Thinking about the Uses of Research.Evidence Based Poliry Series 1, 142
Bibliographie
London, Centre for Crime and Justice Studies, Kings College, London, 2008a [www.crimeandjustice.org]. Hope T., The first casualty: evidence and governance in a war against crime in Carlen P. (Ed.), Imaginary Penalities, Cullompton, Devon, Willan, 2008b. Hope T., Bryan J., Crawley E., Crawley P., Russell N., Trickett A, StrategicDevelopmentProjectsin the Yorkshire and the Humber, East Midlands and Eastern Regions, Home Office Online Report 41/04, London, Home Office, 2004 [http://rds.homeoffice.gov.uk/ rds/ pdfs04/ rdsolr41 04.pdfJ. Hope T., Karstedt S., Towards a new social crime prevention, in Kury H., Obergfell-Fuchs J. (Eds), Crime Prevention: New Approaches, Mainz, Weisse Ring Verlag, 2003, 461-489 [http://www.pbni.org.uk/bsthopeskarstedt. pdfJ. Hope T., Murphy D.J.!., Problems ofimplementing crime prevention: the experience of a demonstration project, The Howard Journal, 1983,22, 1-3,38-50.
Hope T., Sparks R., For a sociological theory of situations (or how useful is pragmatic criminology?), in von Hirsch A., Garland D., Wakefield A. (Eds), Situational Crime Prevention:ethicsand socialcontext,Oxford, Hart Publishing, 2000. Hope T., Trickett A, Angst Essen Seele Auf.. .but it keeps away the burglars! private security, neighbourhood watch and the social reaction to crime, KOInerZeitschrijtftir So~ologieund So~alp!}chologie,2004, Sonderheft 43, 441-468. Hough, M., Mayhew P., L'évolution de la criminalité à travers deux décennies du British Crime Survey, Déviance et Société,2004, 28, 3, 267-284. Hough M., Tilley N., Auditing Crime and Disorder:Guidancefor Local Partnerships,London, Home Office, 1998. Jean J.-P., Le !}stème Pénal, Paris, La Découverte, coll. Repères, 2008. Joseph Rowntree Foundation, The Evaluation of Three 'Communitiesthat Care' DemonstrationPro/ects,Findings,November 2004. York, The Joseph Rowntree Foundation, 2004. Judd C.M., Kenny D.A, Estimating the Effect of Social Interoentions, Cambridge,
Cambridge
University Press, 1981.
143
L'évaluation despolitiques de sécurité et deprévention de la délinquance en Europe
Junger- Tas J., Quelques réflexions sur la recherche criminologique en Belgique, Revue de droitPénal et de criminologie, 1974/1975,8, 702-704. Junger- T as J., Meta-evaluation of Dutch Crime Prevention programs,Den Haag, Ministry of Justice, WODC, 1989. Kaminski D., Le management de la prévention, in Kaminski D., Goris P. (dir.), Préventionet politique de sécuritéarc-en-ciel, Actes de la journée d'études organisée par le Réseau interuniversitaire sur la prévention, 2003, 57-72. Kensey A., Prison et récidive,Paris, Armand Colin, 2007.
Kensey
A., Lévy R., Pitoun
A., Tournier
P., Sous
surveillance électronique. La mise en place du 'bracelet électronique' en
France (octobre2000-mai 2001), Paris-Guyapcourt, Dap-Pmj1Cesdip, coll. Travaux et Documents - Etudes et Données pénales,2003. Kensey A., Lombard F., Tournier P.V., Sanctions (( alternativesà l'emprisonnement et récidive». Obseroation suivie, sur 5 ans, de détenus condamnés en matière comctionnelle libérés, et de condamnés à des sanctions non carcérales (département du Nord), ministère de la Justice, direction de l'Administration pénitentiaire, coll. Travaux et documents, 2006, n° 70. Kensey A., Tournier P., Libération sans retour, devenirjudiciaire d'une
cohorte de sortants
de prison
condamnés
à une peine
de trpis ans ou
plus, SCERI, Travaux et documents, n° 47, CESDIP, Etudes et données pénales, n° 69, 1994 [http://www.cesdip.fr/IMG/pdf/EDP _69.pdfJ. Kessler M.C., Lascoumes P., Setbon M., Thoenig J .-C. (dir .), L'évaluation des politiques publiques, Paris, L'Harmattann 1998. Knox J., Pemberton P. (PA Consulting Group), Wiles P., Partnershipsin CommunirySafery,London, Department of the Environment, Transport and the Regions, 2000. Kodz J., Pease K., Stephens M., Explanatory noteforonline reportsOLR 40/04 to OLR 43/04, Home Office Online Report 39/04, 2004 [http://rds.homeoffice.go,:".uk/ rds/ pdfs04 / rdso1r3904.pdfJ. Lacroix J., Tange C., Evaluer les contratsde sécurité.Portefeuille de lecture,Bruxelles, Politeia, 1997.
144
Biblioffaphie
Lagrange H., Sina F., Réflexions de méthode sur les diagnos1jcs locaux de sécurité, in Ferret F., Ocqueteau F. (dir.), Evaluer la police deproximité? Problèmes,concepts,méthodes, Paris, La Documentation française, 1998, 91-114. Lahaye D., Padieu R., Ricaux G., Évaluer l'interventionen toxicomanie: significationset conditions,Paris, OFDT /CAST , 2002 [http://www.ofdt.fr/BDD /publications/ docs/ eval_interventi on.pdfJ. Lascoumes P., L'impossible évaluation des actions publiques?, in Lascoumes P., Varone F. (dir.), L'évaluation des politiques publiques entre e'!Jeupolitique et e'!Jeu de méthode, Les Cahiers du CEVIPOF, 2006, 44, 7-24.
Lascoumes
P.,
politiques publiques,.
Setbon
M., L'évaluation pluraliste des
e,!jeux, pratiques, produits, Paris,
CGP,
1995.
Lauwers S., Enhus E., Contextualisering van de veiligheidsmonitor, Brussel, Vakgroep Criminologie, VUB, 2001. Laval J., Principes d'une évaluation socialement utile in Collectif, Outils, pratiques, institutions pour évaluer les politiques publiques, Proceedings of the PLAN-ENA Seminar, Brussels, April-July, 1990. Le Goff T., Loudier-Malouyres C., Lavocat Ch., Dautheville
M., La vidéosurveillance dans les lYcées en Île-de-France.
Usages et impacts, Paris, IAURIF, 2007 [http://www.iaurif.org/ fileadmin/Etudes/ etude_221 /ne 437 _la_ videosurveillance.pdfJ. Le Toqueux J.-L., Lieux de résidence et sentiment d'insécurité, in Pumain D., Mattei M.-F. (dir.), Données urbaines,4, Paris, Anthropos, 2003, 147-154. Le Toqueux J.-L., Moreau J., Les zones urbaines sensibles, INSEE Première, 2002, mars, 835 [http://www.insee.fr/fr/ ffc/ docs_ffc/IP835.pdfJ. , Lefebvre-Naré F., Devaugerme F., Lioret C., Evaluation des programmes départementaux de prévention, Paris, La documentation française, 2003 [http://lesrapports.ladocumentationfrancaise.fr/BRP /044000 624/0000.pdfJ. Leigh A., Policingin England and Wales:National Developmentsin PerformanceManagement, Congrès intemacional sobre les eines
145
L'évaluation des politiques de sécurité et deprévention de la délinquance en Europe
per a l'anàlisi de la sugeretat. L'estat de la recerca, Vallès, Escola de policia de Catalunya, 2000. Lévy
F., Bilan-perspectives
Mollet del
des contrats de développement
social des
quartiers, CotnnÙssariat général au Plan, Paris, La Documentation française, 1988. MacKenzie D.L., What Works in Comctions. Reducing the Criminal Activities of Offenders and Delinquents, Cambridge, Cambridge University Press, 2006. McLennan D., Whitworth A., Displacement of Crime or Diffusion of Benefit: evidencefrom the New Deal jOr Communities Programme, Wetherby, W. Yorks, Communities and Local Government Publications, 2008. Maguire M., The Crime reduction programme in England and Wales: reflections on the vision and reality, Criminologyand CriminalJustice,2004, 4, 3, 213-237. Martinson R., What works? Questions and answers about prison reform, PublicInterest,1974, 35, 22-45. Mary Ph., Délinquant, délinquanceet insécurité,.un demi-sièclede traitementen Belgique,Bruxelles, Bruylant, 1998. , Mary Ph. (dit.), Dix ans de contrats de sécurité. Evaluation et actualité,Bruxelles, Bruylant, 2003. Meijlaers S. (dir. Walgrave L.), Begeleidingen evaluationvan preventiepilootprojecten,Kathelieke Universiteit Leuven, Faculteit Rechtsgeleerdheid, Afdeling Strafrecht, Strafvordering en Criminologie, Onderzoeksgroep jeugdcriminologie, Onderzoek in opdracht van het ministerie van Binnenlandse Zaken, 1992. Millie A., M. Hough M., Assessing the impact of the Reducing Burglary Initiative in southern England and Wales, Home Office Online Report 42/04, 2004 [http://rds.homeoffice.gov.uk/ rds/pdfs04/ rdsolr4204.pdt] Ministère de l'Intérieur, Policecommunale,sécuritédes citO)!ens et recherchescientifique,Police générale du Royaume, Service Etude, conférence de presse, 1991, 19thMarch. O'Malley P., Risk, crime and prudentialism revisited in K. Stenson K., Sullivan R. (Eds), Crime, Risk and Justice: the politics of crime controlin neo-liberalsocieties,Cullompton, Devon, Willan,2000.
146
Bibliographie
Observatoire national des zones urbaines sensibles, Rapport 2005, Paris, Éditions de la DIV, 2005 [http://www.ville.gouv.fr/article.php3?id_article=145]. Ocqueteau F., Comment évaluer l'impact du travail des policiers de proximité? Criminologie,2003, 36, 1, 121-141. Patton M. Q., Qualitative evaluation and research methods, Newsbury Park, Sage, 1980. Pawson R., Tilley N., What works in evaluation research?, BritishJournal ofCriminology,1994,34,3,291-306. Pawson R., Tilley N., What's crucial in evaluation research: A reply to Bennett, British Journal of Criminology,1996, 36, 4, 574-578. Pawson R., Tilley N., Realistic Evaluation, London, Sage Publications, 1997. Pawson R., Tilley N., Caring Communities, Paradigm Polemics, Design Debates, Evaluation, 1998a, 4, 1, 73 - 90. Pawson R., Tilley N., Cook-Book Methods and Disastrous Recipes: A Rejoinder to Farrington, Evaluation, 1998b, 4, 2, 211 - 213. Perret 8., L'évaluation des politiques publiques. Problématique générale, Informationssociales,2003, 110, 14-25. Philippeth K. (dir. Hebberecht P.), Begeleidingen evaluatie van preventieve pilootprojecten, Rijks Universiteit Gent, Onderzoeksgroep criminologie, Onderzoek in opdracht van het ministerie van Binnenlandse Zaken, 1993. Polder W., Van Vlaardingen F.J.C., Preventiestrategieen in de praktik, een meta-evaluatie van criminaliteitpreventieprojecten, J ustitiele Verkenningen, 1992, 2, 5-104. Ponsaers P. (Ed.), Integraal Veiligheidsbeleid2005, Mechelen, Kluwer,2005. Ponsaers P., Janssen Ch., Les travaux de recherche sur la production de l'ordre et le contrôle pénal en Belgique: bilan des années 80, in Van Outrive L., Robert Ph. (dir.), Crime etjustice en Europe. État des recherches, évaluation et recommandations,
Paris, L'Harmattan, 1993, 39-80. Poulet I. (dir. Houchon, G.), Les nouvellespolitiques de prévention. Une nouvelle forme d'action publique ?, Université Catholique de Louvain, Recherche commanditée par les 147
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
Services fédéraux des affaires scientifiques, techniques et culturelles, Programme de recherche en sciences sociales, 1995. Poulet I., Brion F., Dupont A., Préventionen concertationau niveau local,Bruxelles, Synergie, Recherche commanditée par le ministère de l'Intérieur, 1990. Quinton P., Morris J., Neighbourhoodpolicing: the impact of piloting and earlY national implementation, Home Office Online Report 01/08, 2008 [http://rds.homc;office.gov. uk/ rds / pdfs08 / rdsolrOl 08.pdfJ. Robert Ph., Evaluer la prévention, Archives de politique criminelle,1994, 16, 53-70. Robert Ph., The Evaluation of Prevention Policies, European Journal of Crime, Criminal Law and Criminal Justice, 2003, 11, 1, 114-130. Robert Ph., La sociologiedu crime,Paris, La Découverte, coll. Repères,2005. Robert Ph., L'évaluation despolitiques de prévention et de sécurité examinée sous une perspective méthodologique,FP6, CRIMPREV, WP4, WS6, Universidade de Porto, Faculty of Law, Escola de Criminologia, 2009a. Robert Europe;
Ph., L'évaluation des politiques de sécurité et de prévention en Evaluation of Safery and Crime Prevention Policies in Europe,
Paris, Forum Européen pour la Sécurité Urbaine, 2009b. Robert Ph. (dir.), Evaluation of Safery and Crime Prevention Policiesin Europe, Brussels, VUBPress, 2009c.
Robert
Ph.,
Lascoumes
P., Les bandesd'adolescents;une
théoriede la ségrégation,Paris, Éditions ouvrières, 1974. Roché S., Police de proximité. Nos politiques de sécurité,Paris, Seuil, 2005a. Roché S., The Transferability of Evaluation and the "What Works" Approach in France, EuropeanJournal on Criminal Poliry and Research,2005b, 11,3-4,297-320. Rosenbaum D.P. (Ed.), Communiry Crime Prevention;Does It Work ?, Beverley Hills, Sage, 1986. Rosenbaum D.P., The Challengeof Communiry Policing:Testing the Promises,Thousand Oaks, Sage, 1994. Setbon M., L'injonction thérapeutique: l'évaluation du dispositif de prise en charge sanitaire des usagers de drogue 148
Bibliographie
interpellés, Paris, OFDT, étude n° 21, 2000 [http://www.ofdt.fr/BDD /publications/ docs/it.pdf] Setbon M., Guérin O., Karsenty S., Kopp P. (dir.), Évaluation du plan triennal de lutte contre la drogue et de prévention des dépendances (1999-2002), Paris, OFDT, 2003.
Sherman L.W., Farrington D.P., Welsh B.C., MacKenzie D.L. (Eds), Evidence-basedcrime prevention, London/N ew York, Roudedge, 2002. Sherman L.W., Gottfredson D., Mac Kenzie D., Eck J., Reuter P., Bushway S., PreventingCrime:What Works, What Doesn't, What's Promising, Washington DC, NI], 1997. Skogan W.G., Disorder and Decline: Crime and the SpiralofDecqy in American Cities, NY, Free Press, 1990.
Skogan
W.G.,
Sryle, Oxford,
Skogan
Hartnett
Oxford
W.G.,
S.M.,
University
Hartnett
Communiry
Policing, Chicago
Press, 1997a.
S.M., The Chicago Community
Policing Evaluation Consortium, Communiry Policingin Chicago, Year Four: An Interim Report, Illinois Criminal justice Information Authority, 1997b. Smeets S., Les contrats de sécurité ont-ils rempli leur contrat? Controverses et effets, in Leleux C. (dir.), L'assistant socia4 entre aide et contro'le?,Bruxelles, Haute École Paul-Henry Spaak, IESSIID, 2002, 93-111. Smeets S., Strebelle C., Tange C., AnalYse des méthodes permettant de mesurer l'efficacité et la légitimité des stratégies,génériques
déployéespar la police, Université Libre de Bruxelles, Ecole des sciences criminologiques, Recherche commanditée par le Commandement général de la Gendarmerie, DGC/DP, 2000. Soetenhorst de Savornin Lohman J., New Forms of crime Prevention: the Dutch Experience, in Hebberecht P., Sack
F. (dir .), La prévention de la délinquance en Europe,. nouvelles
stratégies,Paris, L'Harmattan, 1997, 83-100. STC, Oral Evidence (professor Tim Hope), Wednesday 24 May 2006, House of Commons Science and Technology Committee Scientific Advice, Risk and Evidence Based Policy Making, Seventh Report of Session 2005-06, Volume II Oral and Written Evidence, Ev 38, The House of Commons, HC 900-II, 8 November 2006.
149
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
Strebelle C., Les contrats de sécurité.Évaluation despolitiques de prfvention en Belgique,Bruxelles, Bruylant, Coll. Des Travaux de l'Ecole des sciences crirninologiques Léon Cornil, 2000. Synergie, Prévention intégrée au niveau locaL Manuel pratique, Bruxelles, Politeia, 1995. Tange C., La police in Mary Ph. (dir.), Le rystèmePénal en Belgique.Bilan critiquedes connaissances,Brussels, Bruylant, 2002, 31-95. Tange C., Évaluer la police ?, Les Cahiersde la sécuritéintérieure, 2003, 53, 7-31. Tange C. (ColI. Smeets S.), Évaluer la police de proximité? Le cas de la Belgique, in Deblire R., Ferret J.,
Guillen I Lasierra F., Rabot A., Tange C., Van Der Vijver K., Zoomer commune d'évaluation
O., Laniel L., Recherched'une méthodologie des réformes en matière de police de proximité
Europe, rapport de recherche pour Commission européenne, programme septembre 2003, 1, 18-198. Tilley N., Understanding Car Parks,
en
le compte de la OISIN 2, Paris, Crime and ccrV:
Evaluations and Lessons from Safer Cities, London, HMSO, 1993a. Tilley N., After Kirkholt - Theory, Method and Results of Replication
Evaluations, Crime Prevention Unit Series Paper No. 47. London, Home Office, 1993b [http://rds.homeoffice.gov.uk/rds/prgpdfs/ fcpu4 7.pd£]. Tilley N., Thinking about Crime PreventionPeiformanceIndicators, London, Home Office, 1995. Tilley N., Laycock G., Joining up research, policy and practice about crime, PoliçyStudies, 2000, 21, 3, 213-227. Tilley N., Webb J., Burglary Reduction: Findings from Safer Cities Schemes, Crime Prevention Unit Series, Paper No.51. London, Home Office, 1994 [http://rds.homeoffice.gov.uk/rds/prgpdfs/ cpu51 bf.pd£]. TK, Staat van de beleidsinformatie 2006, Tweede Kamer, 2005/2006,30558,nr.2. Tuffin R., Morris J., Poole A., An evaluationojthe impact oj the National Reassurance Policing Programme, Home Office Research Study 296. Home Office Research, Development and Statistics Directorate, 2006 [http://rds.homeoffice.gov.uk/ rds/ pdfs06 /hors296.pd£]. 150
Bibliographie
Van Dijk J.J.M., The State of Knowledge in the Netherlands, in Robert Ph. (Ed.), Crime and PreventionPoliry, Eigenverlag, Max-Planck-Institut fur auslandisches und internationales Strafrecht, 1993, 243-263. Van Noije L., Wittebrood K., Sociale veiligheidontsleuteld: verondersteldeen werkelijke efficten van veiligheidsbeleid,Den Haag, Sociaal en Cultureel Planbureau, 2008. Versluys Chr. (dir. Brion F., Dupont A.),Accompagnement et évaluation
de projets-pilote
communaux
de prévention
administrative
et
intégrée de la criminalité, Bruxelles, Synergie, Recherche commanditée par le ministère de l'Intérieur, 1993. Wyvekens A., Quand l'urbain rencontre la sécurité: la prévention situationnelle en France aujourd'hui, Revue de droit Pénal et de criminologie,2008, 9-10, 897-900. Zauberman R., Robert Ph., Pottier M.-L., Risque de proximité ou risque lié au style de vie ; enquêtes et évaluation de la sécurité urbaine, Cahiers de la sécuritéintérieure,2000, 42, 193-220.
151
LISTE
DES TABLEAUX
ET FIGURES
TABLEAUX 1 - Nombre d'études dans les différentes stratégies............ 2 - Dimensions de la prévention locale de la délinquance
93
.
107
FIGURES 1 - Le modèle de la boîte noire...............................................
117
2 - Le modèle expérimental....................................................
119
3 - Le modèle quasi-expérimental..........................................
122
4 - L'expérience réaliste
125
5 - Le modèle réaliste de Pawson 6 - L'expérience
................................. et Tilley............................
micro-économétrique
.................................
7 - Le modèle d'inférence........................................................
128 134 135
TABLE LES AUTEURS
DES MATIÈRES
.......................................................................
INTRODUCTION Philippe Robert - Renée Zauberman..................................... l - L'axe Méthodologie et bonnespratiques.................................... II - L'atelier sur l'évaluation des politiques de sécurité et de prévention de la délinquance.............................................
L'ÉVALUATION DES POLITIQUES DE PRÉVENTION EN EUROPE Philippe Robert ............................ l - Des avantages et des inconvénients de l'évaluation....... 1 - Des raisons qui militent en faveur de l'évaluation.... 2 - Des résistances à l'évaluation ...................................... II - Un échantillon de conceptions de l'évaluation.............. 1 - Une évaluation en peau de chagrin............................. 2 - Une évaluation administrative ..................................... 3 - Un exemple de méta-évaluation d'une politique de prévention et de sécurité .................................................... 4 - Abondance d'évaluations et discussions de méthode III - Les apparences de l'évaluation sans ses risques........... 1 - Les charmes de l'auto-évaluation................................ 2 - Neutraliser l'évaluateur externe ................................... IV - Les critères de l'évaluation.............................................. 1 - Audit interne et évaluation........................................... 2 - L'évaluation et ses données......................................... V - Mesurer préalablement la consistance de l'action à évaluer .................................. VI - Les savoir-faire évaluatifs................................................ Conclusion ............ L'ÉVALUATION DES POLITIQUES DE PRÉVENTION EN BELGIQUE Sybille Smeets avec la collaboration de Carrol Tange......... l - Les évaluations 'internes' ou la prédominance des évaluations sommatives .................................. 1 - Les évaluations administratives ................................... 2 - Les évaluations internes ou l'auto-évaluation des
5 9 9 12
15 16 16 19 21 22 24 26 27 29 29 31 32 32 33 36 40 45
47 50 50
L'évaluation despolitiques de sécurité et de prévention de la délinquance en Europe
contrats de sécurité ....................................... A - De l'évaluation au diagnostic................................. B - Un usage limité........................................................ II - Les recherches évalua tives................................................ 1 - 1991-1999 : des recherches évaluatives transversales, de processus et de fonctionnement ........................... 2 - 1999-2008 : appauvrissement thématique, intemalisation de la recherche et raréfaction budgétaire ............. 3 - L'usage des résultats...................................................... III - La grande absente: la mesure des effets sur la délinquance et le sentiment d'insécurité................................
L'Éy ALUATION DES POLITIQUES DE PREVENTION EN FRANCE: PROBLÉMATIQUE
58 60 63 64
,
UNE ACTIVITE
Anne Wyvekens ........................................................................
l - Qu'entend-on par évaluation? .......................................... 1 - L'évaluation au sens strict n'est pas pratiquée en France . 2 - L'évaluation 'au sens large' : le point de vue des chercheurs .............................................................. 3 - L'évaluation vue par les institutions ........................... II - Qui évalue? ........................................................................ III - A quoi sert l'évaluation ?................................................ IV - Illustrations ........ 1 - La vidéo surveillance dans les lycées en Île-deFrance. Usages et impacts .................................................. 2 - L'observatoire national des zones urbaines sensibles . En guise de conclusion. ........... L'ÉVALUATION DES POLITIQUES DE SÉCURITÉ ET DE PRÉVENTION DE LA DÉLINQUANCE AUX PAYS-BAS Karin Wittebrood .... l - Sur quels présupposés repose la politique de sécurité collective? ................................................................... 1 - La répression pénale ..................................................... 2 - Prévention développementale ..................................... 156
52 52 56 57
69 69 69 71 74 76 79 81 81 82 84
85 86 87 88
Table des matières
3 - La prévention situationnelle ........................................ 4 - Les mesures sys témiques .............................................. II - Dans quelle mesure et de quelle manière les mesures prises sont-elles efficaces? ...................................................... III - Dans quelle mesure les hypothèses qui sous-tendent la politique de Sécurité sociale sont-elles plausibles? ......... 1 - La répression pénale ..................................................... 2 - La prévention développementale................................ 3 - La prévention situationnelle ........................................ 4 - Conclusion générale à propos du Programme de Sécurité ......
88 89 90 93 94 97 97 99
L'ÉV ALUA,TION DES POLITIQl!ES DE SÉCURITÉ ET DE PREVENTION DE LA DELINQUANCE EN ANGLETERRE ET AU PAYS DE GALLES Tim Hope ., .................................................................................. . . . ;J
P ourquol ., eva Iuer. L a question sClenti fique ......................... P ourquol eva Iuer. ;J L a question po litique ............................. I - L'évaluation de la politique de sécurité et de prévention de la délinquance en Angleterre et au Pays de Galles. 1 - Types de programmes .................................................. 2 - Recherche évaluative sur la prévention locale de la délinquance .......................... II - L'évaluabilité de la prévention locale de la délinquance ............................ 1- Des politiques et des pratiques fondées sur des "
"
103 103 104 106 107 109 113
preuves? ............................................................................... 2 - La logique de la recherche évaluative ......................... 3 - Méthodologie de recherche évaluative....................... 4 - La critique réaliste ......................................................... 5 - Les mécanismes des programmes ............................... 6 - Mise en œuvre des programmes.................................. Conclusion: hétérogénéité et biais de sélection...................
113 116 121 123 128 131 133
BIBLIOGRAPHIE..................................................................
137
LISTE DES TABLEAUX ET FIGURES...........................
153
TABLE DES MATIÈRES .....................................................
155 157
L'HARMATTAN,ITALIA Via Degli Artisti 15 ; 10124 Torino L'HARMATTAN HONGRIE KOnyvesbolt ; Kossuth L. u. 14-16 1053 Budapest L'HARMATTAN BURKINA FASO Rue 15.167 Route du PÔ Patte d'oie
12 BP 226 Ouagadougou 12 (00226) 76 59 79 86 ESPACE L'HARMATTAN KINSHASA Faculté des Sciences Sociales, Politiques et Administratives BP243, KIN XI ; Université de Kinshasa L'HARMATTAN GUINÉE Almamya Rue KA 028 En face du restaurant le cèdre OKB agency BP 3470 Conakry (00224) 60 20 85 08
[email protected] L'HARMATTAN CÔTE D'IVOIRE M. Etien N'dah Ahmon Résidence Karl / cité des arts Abidjan-Cocody 03 BP 1588 Abidjan 03 (00225) 05 77 87 31 L'HARMATTAN MAURITANIE Espace El Kettab du livre ftancophone N° 472 avenue Palais des Congrès BP 316 Nouakchott (00222) 63 25 980 L'HARMATTAN CAMEROUN BP 11486 (00237) 458 67 00 (00237) 976 61 66
[email protected]
Achevé
d'imprimer
W d'Imprimeur:
par Carl et Numérique - 14110 légal: juillet 2009 - Dépôt
62255
Candé-sur-Naireau - Imprimé
en France
