Round 2 — Indicateurs empiriques de validation📋

Le trou📋

ChatGPT (Round 0) demande : « Comment tester empiriquement la réduction de latence SUFRA ? ». La question est fondée. Le corpus définit le SUFRA comme « l'épaisseur du présent que seul l'avenir peut lire » (Silences et Chantiers), pose que « réduire la latence SUFRA malsaine jusqu'à la latence SUFRA structurellement minimale » est l'objectif central — mais ne propose aucun indicateur mesurable pour vérifier que la réduction a lieu.

Un projet qui ne peut pas se mesurer ne peut pas se vérifier. C'est exactement le théorème d'explicitation retourné contre lui-même : « on ne peut spécifier, gouverner, lire ou réfuter que ce qu'on rend formellement explicite ». Si la latence SUFRA n'est pas mesurable, elle n'est pas gouvernable.

Méthode : dériver les indicateurs des cas existants📋

Pas de KPIs abstraits. Le corpus contient déjà des cas concrets — Dumas 1995, AI Act, Health Data Hub, non-recours. Chaque cas fournit un indicateur naturel qu'il suffit d'extraire et de formaliser.

Indicateur 1 — Cas Dumas 1995 : le benchmark zéro📋

Le fait📋

En 1995, Roland Dumas, président du Conseil constitutionnel, valide les comptes de campagne de l'élection présidentielle. Les comptes sont « manifestement irréguliers » — Dumas l'admettra 25 ans plus tard, en 2020. La latence SUFRA mesurée est de 25 ans : 25 ans entre l'irrégularité et sa reconnaissance publique.

L'indicateur📋

Temps entre irrégularité et détection — noté T_detection.

• Valeur historique : T_detection = 25 ans (1995 → 2020).
• Valeur théorique avec Law.Dsl : T_detection ≈ 0 (compile error instantané). La Partie 10 — Trace Dumas détaille les huit étapes du compile error : le shaving des comptes serait une violation de type détectée au moment de la compilation du cadre Law.France1995.Erard.Dsl.

Comment mesurer📋

L'instrument de mesure est le diff entre la date de promulgation d'un acte et la date du premier diagnostic typé. Pour le cas Dumas, le premier diagnostic typé n'existera qu'au Ship 1 (Smoke Dumas) — mais il produira rétroactivement la preuve que le système aurait détecté l'irrégularité en 1995 si le cadre avait existé.

Ce cas fournit le benchmark zéro du système : la pire latence connue (25 ans) et la latence cible (instantanée). Tout futur cas se mesurera par rapport à cet écart.

Indicateur 2 — Cas AI Act : latence de mise en œuvre📋

Le fait📋

L'AI Act a été adopté en mars 2024. Sa mise en œuvre technique — classification des systèmes d'IA par niveau de risque, registre des systèmes, audits obligatoires — prend des mois, voire des années. Aucun outil automatisé ne vérifie aujourd'hui si un système d'IA déployé en France est conforme à l'AI Act.

L'indicateur📋

Temps entre publication au JORF et disponibilité du cadre compilé — noté T_cadre.

• Valeur actuelle : T_cadre = ∞ (pas de cadre compilé).
• Cible Ship 5 : T_cadre < 30 jours après publication au JORF, le cadre Law.EU2024.AIAct.Dsl est disponible en package NuGet signé.

Comment mesurer📋

L'instrument de mesure est la date de publication du package NuGet comparée à la date de publication au JORF. Mesurable dès le Ship 5 (packaging NuGet). L'indicateur est automatisable : un pipeline CI qui surveille le JORF et mesure le délai de publication du cadre correspondant.

Indicateur 3 — Cas Health Data Hub : flux non typés📋

Le fait📋

Le Health Data Hub centralise les données de santé françaises. Le Conseil d'État a constaté l'illégalité de certaines pratiques de transfert. L'opacité vient du fait que les flux de données ne sont pas formellement typés — on ne sait pas exactement quelles données transitent vers quels destinataires sous quelles conditions.

L'indicateur📋

Nombre de flux de données non typés dans le cadre Commons.France.HealthData.Dsl — noté N_untyped.

• Valeur actuelle : N_untyped = total (aucun flux typé).
• Cible Ship 3 : N_untyped < 50% des flux identifiés par les rapports CNIL/Conseil d'État.

Comment mesurer📋

L'instrument de mesure est le ratio de couverture de typage : nombre de flux typés dans le cadre / nombre total de flux identifiés dans les rapports de la CNIL et du Conseil d'État. Le proxy est imprimable : pour chaque flux identifié dans un rapport public, vérifier si un attribut [DataFlow(typeof(Source), typeof(Destination), typeof(DataCategory))] existe dans le cadre.

Indicateur 4 — Non-recours : les 10 milliards invisibles📋

Le fait📋

Environ 30% des aides sociales ne sont pas réclamées en France, faute de connaissance des droits par les destinataires. L'estimation conservative est de 10 milliards d'euros par an d'aides non réclamées (Partie 17, B.6).

L'indicateur📋

Nombre de diagnostics CIT001 générés sur un panel pilote — noté N_CIT001.

• Valeur actuelle : N_CIT001 = 0 (pas de système).
• Cible Ship 3 : mesurable dès la première instance de Citizen.Dsl.

Comment mesurer📋

L'instrument de mesure est le taux de découverte de droits : sur un panel de N citoyens qui compilent leur cas, combien découvrent un droit qu'ils ne connaissaient pas ? Le protocole pilote : une clinique juridique universitaire (Paris-Nanterre, Dauphine, ou Assas) qui fait compiler 50 cas réels pendant un semestre. Mesures avant/après :

• Temps de diagnostic : combien de temps entre l'arrivée du citoyen et l'identification de ses droits ? (Avant : ≈ 45 min de consultation. Après : ≈ 5 min de compilation + review.)
• Taux de découverte : combien de droits découverts que le citoyen ignorait ? (Baseline : ≈ 0, le citoyen ne vient que pour ce qu'il connaît. Cible : ≥ 1 droit supplémentaire par cas.)
• Satisfaction utilisateur : le citoyen perçoit-il le système comme utile et compréhensible ?

Indicateur 5 — Couverture de typage du corpus Legifrance📋

Le fait📋

Legifrance contient l'intégralité du droit français en vigueur. 0% de ce corpus est formellement typé dans un DSL compilable aujourd'hui.

L'indicateur📋

Pourcentage du corpus Legifrance formellement typé — noté P_typed.

• Valeur actuelle : P_typed = 0%.
• Cible Ship 1 : 1 décision typée (Conseil constitutionnel n°95-65 du 11 janvier 1995).
• Cible Ship 6-bis : corpus fiscal via Catala.Bridge — le premier saut quantitatif, parce que Catala a déjà typé une partie du Code général des impôts.
• Cible Ship 7 : premier cadre officiel publié par Etalab.

Comment mesurer📋

Progression mesurable commit par commit. Chaque PR qui ajoute un article typé incrémente le compteur. Le Ship 5-bis (LawDslGenerator) réduit le coût marginal de typage d'un facteur dix environ — c'est le point d'inflexion où la courbe de couverture peut s'accélérer.

Tableau récapitulatif📋

Ce que les indicateurs enseignent sur l'architecture📋

Les cinq indicateurs ne sont pas des métriques de confort — ils testent des propriétés architecturales du système :

• T_detection teste le compile-time checking : le système détecte-t-il les violations au moment de la compilation ?
• T_cadre teste le pipeline de publication : le système suit-il le rythme du législateur ?
• N_untyped teste la couverture du modèle : le système couvre-t-il les objets réels ?
• N_CIT001 teste l'utilité citoyenne : le système produit-il de la valeur pour les destinataires du droit ?
• P_typed teste la scalabilité : le système peut-il monter en échelle sur le corpus réel ?

Chaque ship de la roadmap active un ou plusieurs indicateurs. Le Ship 1 active T_detection. Le Ship 3 active N_CIT001. Le Ship 5 active T_cadre. Le Ship 6-bis active P_typed (via Catala). Le Ship 7 active tous les indicateurs à la fois, parce que l'adoption institutionnelle est le moment où tous les indicateurs deviennent mesurables en production.

Pour aller plus loin📋

• Partie 10 — Trace Dumas — le compile error en huit étapes
• Partie 17 — Méta-critique — B.6 (non-recours), B.2 (reproductibilité)
• Partie 18 — Roadmap — les 15 ships et leurs dépendances
• Round 3 — Résistances — l'adoption par la demande
• Hub de la série