Ce que le ping-pong LLM fait et ne fait pas
La critique 5 du Round 2 est la plus structurante des cinq, et c'est aussi celle qui a le moins de réponse technique. Elle dit : un LLM — qu'il s'appelle ChatGPT ou Claude — est un lecteur générique, pas un adversaire situé. Ses critiques détectent ce qui est formellement incomplet dans le texte. Elles ne détectent pas ce qui est matériellement contestable. Le ping-pong LLM est donc un dispositif de préparation rhétorique, utile et peu coûteux, mais qui ne peut pas tenir lieu de validation sociale.
Cette construction commence par admettre ce que fait réellement le ping-pong LLM, parce que ne pas le reconnaître serait condescendant envers le travail déjà fait. Un LLM lit vite, lit largement, remarque les contradictions internes, pointe les sauts argumentatifs, suggère des distinctions manquantes. Les sept constructions du Round 0 et les trois du Round 1 n'auraient probablement pas été écrites sans cette pression critique — la première version du corpus métacratie était plus lisse, moins confrontée, plus vulnérable à l'objection. Le ping-pong a produit une auto-correction rapide que l'auteur seul aurait mis des mois à produire. C'est réel.
Ce que le ping-pong ne fait pas, en revanche, est aussi important. Il ne teste pas la résistance matérielle du corpus face à un lecteur qui a quelque chose à perdre. Un avocat qui lit le Round 0-3 (Résistances) ne va pas répondre comme ChatGPT. Il va répondre avec la colère ou l'ironie de quelqu'un dont on critique la profession — et dans cette réaction, il va pointer des choses que le LLM ne verra pas. Un sociologue du droit qui lit le Round 0-1 (Confrontations) ne va pas se contenter de vérifier que Supiot est bien cité ; il va dire si la lecture de Supiot est juste, si elle est situable dans les débats réels du champ, si elle rate le déplacement que Supiot fait lui-même dans ses textes les plus récents. Un militant d'ATD Quart Monde qui lit la Construction 3 du Round 1 ne va pas raisonner sur des couches d'intermédiation ; il va dire ce qui marche ou pas dans une permanence d'accès au droit qu'il tient depuis dix ans. Ces retours sont qualitativement différents de ce qu'un LLM produit.
Profils d'adversaires nécessaires
Si l'on admet que les rounds LLM sont une préparation, la question suivante est : qui sont les adversaires humains qui devraient prendre le relais ? Pas un seul — il faut plusieurs profils, parce que chacun teste une face différente du corpus.
Un juriste actif du barreau ou du Conseil d'État. Son rôle serait de dire si les lectures du droit que le corpus propose sont naïves, erronées, ou exactes mais inopérantes dans la pratique professionnelle. Il lirait particulièrement les parties qui parlent de compilation d'articles spécifiques (Dumas, L.210-1 du Code de l'environnement, AI Act), et il dirait où la formalisation rate ce qui fait la vie du texte dans son application. Son profil idéal : avocat ayant pratiqué au moins dix ans, avec un intérêt pour l'open data juridique, probablement membre de la legal tech française. C'est un profil difficile à trouver parce que l'intersection « avocat sérieux + intéressé par la formalisation du droit » est petite. Elle existe néanmoins.
Un sociologue du droit ou un chercheur en étude des politiques publiques. Son rôle serait de situer le corpus dans la littérature sociologique existante — sur le non-recours (les travaux de Catherine Chauveaud, de Philippe Warin à l'ODENORE), sur la gouvernance par les nombres (au-delà de Supiot, les travaux de Alain Desrosières, de Laurent Thévenot), sur les conséquences sociales de l'informatisation du droit social (la littérature française abondante sur la dématérialisation des CAF). Son apport : dire où le corpus réinvente des choses déjà établies par la sociologie empirique, et où au contraire il propose quelque chose de réellement nouveau. Ce profil est plus accessible — le champ français de la sociologie du droit est actif, les chercheurs sont généralement atteignables par mail.
Un militant associatif ayant une pratique de terrain en accès au droit. ATD Quart Monde, CIMADE, Secours Catholique, Droits d'Urgence, associations de consommateurs. Son rôle serait de dire si les propositions architecturales (intermédiation, trois régimes de responsabilité) ont un sens pour la pratique réelle de ses permanences. Ce retour est important parce qu'il est situé dans le travail concret d'un des intermédiaires que le corpus mobilise. Un militant qui tient une permanence d'accès au droit depuis dix ans saura immédiatement dire si un outil CIT001 lui servirait, s'il serait capable de l'utiliser, si ses bénéficiaires accepteraient de lui répondre. Ce profil est le plus facile à trouver et probablement le plus utile pour ajuster les constructions d'ordre pratique (Construction 3 du Round 1, Construction 3 du Round 2).
Un développeur de projet concurrent ou adjacent. Catala (INRIA) est l'option évidente — Denis Merigoux ou un de ses collègues qui lirait le corpus dirait où metacratie reproduit du travail déjà fait, où elle s'en écarte pour de bonnes ou mauvaises raisons, où elle ignore des difficultés techniques que Catala a rencontrées. Un projet comme OpenFisca (INRIA, DINUM) serait une autre option, avec une focale différente. Un développeur de projet concurrent est le seul lecteur qui peut dire « tu as réinventé ça » ou « tu as raté cette subtilité qu'on avait découverte en 2019 », et ce type de retour est précieux parce qu'il évite de refaire des erreurs connues.
Quatre profils, quatre portes d'entrée dans le corpus. Aucun ne remplace les autres. Un round authentique en demanderait les quatre.
L'état actuel de la dette
Il faut dire très directement que ces contacts n'ont pas été pris au moment où ce texte est écrit. Le corpus métacratie a été discuté dans des conversations informelles (amis, collègues, échanges occasionnels), mais il n'a pas encore été soumis à un des quatre profils ci-dessus sous une forme qui permettrait un round au sens du projet — c'est-à-dire une critique argumentée produite par un adversaire situé, suivie d'une construction par augmentation.
Cette absence de rounds humains n'est pas une négligence. C'est une conséquence du fait que le projet est encore en phase de conception ouverte (voir la Construction 2 du même round sur le régime design-in-public). Un juriste atteindrait plus facilement une maquette fonctionnelle qu'un corpus de blog — il sait quoi faire d'un logiciel qu'il peut tester, moins quoi faire d'une série d'essais architecturaux. Un militant associatif répondrait plus volontiers à un outil qu'on lui met entre les mains qu'à un article de blog qui parle d'intermédiation dans l'abstrait. La dette n'est pas un retard coupable ; c'est un décalage entre le genre actuel du corpus et le type de retour que chaque adversaire sait produire.
Mais nommer la dette n'est pas s'en absoudre. Le processus doit avoir un calendrier, même prudent, pour commencer à payer. Une proposition minimale :
- Dans les trois mois : un post de blog qui synthétise en 3 000 mots le corpus métacratie à destination d'un lecteur non-technique, rédigé spécifiquement pour être envoyé à un sociologue ou un militant. Le sociologue est probablement le profil le plus accessible et le moins coûteux en adaptation.
- Dans les six mois : un prototype minimal de diagnostic
CIT001sur un cas de non-recours à une prestation simple (APL, par exemple), suffisamment concret pour être montré à un militant associatif, avec un protocole de retour léger (« qu'est-ce que vous feriez de cet outil ? qu'est-ce qui manque ? »). - Dans un an : un contact explicite avec l'équipe Catala ou OpenFisca, sous forme de message argumenté qui pose les questions d'articulation entre les projets — pas une demande d'avis général, une demande ciblée sur deux ou trois points techniques précis.
- Indéterminé : le contact avec un juriste actif. C'est le plus coûteux parce que le corpus, dans son état actuel, n'offre pas de prise immédiate à la critique d'un praticien. Ce contact arrive probablement après que le prototype de diagnostic existe.
Ces dates sont des engagements de processus, pas de livraison. Si une date est ratée, le Round suivant doit le signaler et dire pourquoi.
La question méta : comment le corpus traite-t-il les retours humains ?
Au-delà du calendrier, il y a une question de dispositif. Quand un adversaire humain produira une critique, comment sera-t-elle intégrée au corpus ? Les rounds LLM ont une forme claire : un document critique, un hub de tri, des constructions par augmentation. Un round humain demande un autre traitement.
D'abord, le texte critique peut ne pas exister sous forme écrite : un échange oral, un retour par mail, des marginalia sur un PDF, une discussion en groupe. Le corpus devra les transcrire, et la transcription pose une question éthique : comment citer l'adversaire sans trahir ses propos, et avec son consentement ? Le dispositif doit prévoir un protocole simple : proposer à la personne contactée que son retour soit synthétisé, lui envoyer la synthèse pour validation, puis la publier avec sa permission. C'est plus lent que le ping-pong LLM mais c'est la condition de l'honnêteté.
Ensuite, une critique humaine est rarement aussi cadrée qu'une critique LLM. Un juriste ne va pas produire 150 lignes structurées avec un tableau récapitulatif — il va dire trois choses importantes et dix choses périphériques, mélangées à des réactions épidermiques. Le tri sera plus difficile. Il faudra probablement accepter que certaines critiques humaines soient sous-exploitées dans un round parce qu'elles dépassent le cadre du projet, et il faudra le dire explicitement.
Enfin, un adversaire humain peut refuser de jouer le jeu. Un juriste contacté peut ne pas répondre, ou répondre une seule fois sans itérer. Le ping-pong à plusieurs tours est une structure rare dans les relations humaines ; la plupart des critiques humaines sont des coups uniques. Le corpus doit accepter que les rounds humains n'aient pas tous une suite, et que certains se réduisent à une seule entrée marquée [Tiers humain, retour unique], sans construction correspondante.
Ce que cette construction admet
La critique 5 du Round 2 n'a pas de construction résolutive. Elle n'en peut pas avoir, parce qu'un ping-pong LLM ne peut pas décider à la place de l'auteur de prendre des contacts humains. Ce que cette construction fait, c'est :
- Admettre la limite du dispositif actuel — les rounds LLM sont une préparation, pas une validation.
- Nommer les quatre profils d'adversaires humains qui feraient différence.
- Reconnaître qu'aucun de ces contacts n'a été pris au moment de l'écriture.
- Proposer un calendrier prudent avec des engagements de processus datés.
- Poser la question du dispositif de traitement des futurs retours humains.
Aucun de ces cinq points ne produit de contenu nouveau. Tous les cinq rendent visible une dette. C'est le rôle que l'index du Round 2 a annoncé en préambule : cette construction est une ébauche qui pose des questions, pas une réponse. Elle sera honnête si elle provoque le premier contact humain dans les mois qui suivent. Elle sera malhonnête si elle reste lettre morte. Un futur round — possiblement le Round 3 — devra en faire le point.
Questions ouvertes
- Les quatre profils (juriste, sociologue, militant, développeur) sont-ils les bons ? Faudrait-il ajouter un haut fonctionnaire en poste, par exemple à la DINUM ou à Etalab, pour tester la viabilité institutionnelle ? Un chercheur en AI safety, pour tester les risques de manipulation du compilateur ?
- Comment atteindre un premier contact concrètement ? Mail froid, présentation dans un séminaire, contribution à un projet adjacent puis conversation ?
- Le corpus actuel est-il lisible par un non-technicien qui n'a pas lu les 18 parties compilateur ? Faut-il produire d'abord une synthèse courte à destination des adversaires potentiels ?
- Le dispositif de rounds doit-il rester public (chaque retour humain publié avec consentement) ou permettre des échanges privés dont seule une synthèse est publiée ?
- Si un adversaire humain refuse l'exercice du round (« je n'ai pas le temps, non merci »), est-ce un échec du projet ou un signal utile sur son positionnement ?
Le Round 2 se termine sur la question la plus honnête qu'il puisse poser à lui-même : quand allez-vous quitter la boucle LLM ? La réponse n'est pas dans ce texte. Elle est dans ce que fera l'auteur dans les semaines qui suivent la publication.