Admission préalable
La critique 1 du Round 2 a raison : un seul cas ne fait pas un benchmark. L'argument Dumas = 25 ans, tel qu'il apparaît dans la Construction 1 du Round 1, est rhétoriquement efficace mais méthodologiquement vide. Cette construction ne prétend pas réparer le défaut — elle pose les questions qu'il faut résoudre pour le faire sérieusement, et admet que ce travail n'est pas fait.
Le glissement à éviter
Il faut d'abord nommer ce qui s'est passé. La construction précédente a utilisé le cas Dumas comme un indicateur empirique alors qu'il est une illustration narrative. La différence est importante. Une illustration sert à rendre une thèse compréhensible — elle a une fonction rhétorique, et c'est légitime. Un indicateur empirique sert à rendre une thèse falsifiable — il a une fonction épistémique, et il exige une méthodologie. Le glissement d'un usage à l'autre, sans avertir le lecteur, est une faute.
La règle qui en découle : dans tout texte du corpus, un cas unique est une illustration, jamais un indicateur. L'indicateur commence quand il y a corpus.
Ébauche de protocole : un corpus historique de latence
Que faudrait-il pour transformer le benchmark Dumas en un indicateur statistique ? Un corpus de cas comparables où chaque entrée serait datée deux fois : une date objective de survenance (quand le fait s'est produit), une date de reconnaissance publique (quand il a été publiquement constaté comme problématique). La différence entre les deux est la latence. La distribution des latences sur le corpus est le benchmark.
Pour que ce corpus ait une valeur statistique, il faut au minimum :
Un périmètre défini. Quels types de cas inclure ? Trois candidats possibles, chacun avec sa logique. Premier périmètre : les incompatibilités constitutionnelles (celui du cas Dumas) — rare, grave, politiquement sensible, probablement quelques dizaines de cas sur un siècle. Deuxième périmètre : les annulations ou censures du Conseil constitutionnel et du Conseil d'État — plus fréquent, plus codifié, plusieurs centaines de cas par décennie. Troisième périmètre : les non-recours aux prestations sociales révélés par audit — très fréquent, quantifiable, mais pas de la même nature que le cas Dumas. Les trois produiraient trois benchmarks différents, mesurant trois choses différentes. Il faut choisir avant de compter.
Une méthodologie de datation. La « date de survenance objective » est la plus difficile. Dans le cas Dumas, c'est 1995 parce que c'est la date de nomination ; mais le fait qui pose problème (la mise en examen) est antérieur, et la règle déontologique qui rend la nomination problématique (la jurisprudence sur l'apparence d'impartialité) est postérieure. Quelle date retenir ? La question n'est pas scolastique : elle détermine si la latence mesurée est de 25 ans, de 20 ans ou de 5 ans. Le choix doit être défendu et constant sur tout le corpus.
Un producteur du corpus. Qui constitue le corpus ? Trois options, chacune avec son biais. Option A : l'auteur du projet — biais évident, le corpus est produit par celui qui a intérêt à ce qu'il valide sa thèse. Option B : un tiers universitaire mandaté — le moins biaisé, mais requiert un financement et un partenariat qui n'existent pas. Option C : une production collaborative ouverte (wiki, issue tracker public) — robuste à la correction communautaire, vulnérable à l'absence de contributeurs.
Une transparence sur le biais de sélection. Quel que soit le producteur, il faut documenter explicitement les cas qui ont été exclus et pourquoi. Un corpus qui ne mentionne que les cas favorables à la thèse du compilateur est un corpus biaisé — et les cas défavorables existent probablement. Exemple possible : des situations où une règle formalisée aurait raté un cas que l'interprétation humaine a attrapé. Ces cas, s'ils existent, appartiennent au corpus. Un benchmark honnête inclut les cas qui contredisent la thèse qu'il est censé soutenir.
Le problème de la circularité
La critique 1 du Round 2 pointe un second défaut plus profond : le compilateur qui « détecte Dumas en 1995 » est un compilateur qui connaît déjà la règle déontologique formulée après 2020. C'est une circularité épistémique qu'il faut regarder en face.
Il y a deux façons de la traiter. La première est d'admettre que le benchmark ne mesure pas ce qu'il prétend mesurer : il mesure la latence avec laquelle une règle aurait été appliquée si elle avait déjà existé. C'est une mesure intéressante mais ce n'est pas « la latence de détection d'une irrégularité » — c'est « la latence de propagation d'une règle rétroactive ». Ce sont deux choses différentes.
La deuxième façon, plus rigoureuse, est de construire un benchmark temporel strict : on ne compte que les cas où la règle était déjà écrite au moment du fait. Exemple : un magistrat qui ne respecte pas le délai de jugement fixé par une loi en vigueur. Là, le compilateur n'invente pas la règle — il applique une règle qui existe. La latence entre le dépassement du délai et son constat est mesurable sans circularité.
Ce benchmark est plus modeste. Il n'inclut pas le cas Dumas — parce que la règle que Dumas a violée n'existait pas comme règle écrite en 1995. C'est un choix coûteux : on perd l'exemple emblématique. C'est aussi un choix correct : il rend la mesure honnête.
Ce qui peut être mesuré maintenant, sérieusement
Si on applique cette discipline, que reste-t-il comme indicateur calculable dès aujourd'hui ?
Pas grand-chose de spectaculaire. On peut mesurer le délai moyen entre une décision du Conseil constitutionnel déclarant une loi inconstitutionnelle et l'abrogation effective de la loi. C'est un chiffre qu'un juriste peut calculer en lisant les décisions QPC et en datant les modifications du Code concerné — un travail de quelques semaines sur un corpus de quelques centaines de cas. La latence est réelle, elle est mesurable, elle ne suppose pas la solution.
On peut mesurer le taux de non-recours par type de prestation, à partir des publications DREES. C'est une donnée existante. Mais on ne peut pas affirmer que le compilateur réduirait ce taux de X% sans pilote. Ce qu'on peut dire : la borne supérieure théorique de la part « méconnaissance » dans le non-recours est Y, tirée d'enquêtes qualitatives existantes. Le compilateur n'agit que sur Y, pas sur l'ensemble. L'affichage honnête n'est donc pas « 10 milliards à récupérer » mais « X% de Y milliards, sous réserve de pilote ».
C'est moins flatteur que ce qu'affichait la Construction 1 du Round 1. C'est aussi plus défendable.
Les questions qui restent ouvertes
Cette construction n'apporte pas de benchmark construit. Elle apporte un protocole incomplet et des questions sans réponse :
- Qui produit le corpus historique des incompatibilités constitutionnelles ? Un stage de droit public pourrait-il le produire en un semestre ? À quel coût ?
- La méthodologie de datation doit-elle être établie par un comité scientifique ou suffit-il d'un choix défendu publiquement ?
- Les cas « défavorables » au compilateur (où la formalisation aurait raté quelque chose) sont-ils suffisamment nombreux pour équilibrer le corpus ? Quelqu'un peut-il les identifier ?
- La distinction entre « règle déjà écrite au moment du fait » et « règle formulée après » est-elle toujours tranchable, ou y a-t-il des cas intermédiaires ?
Le Round 2 est le premier où ces questions sont posées dans le corpus. C'est une amélioration sur les rounds précédents qui les ignoraient. Ce n'est pas une résolution — c'est un transfert de dette vers du travail qui reste à faire, et le nom de cette dette est désormais écrit.