Que vaut une signature comme preuve ? Ce que notre propre source nous a appris

Nous avions prévu d'écrire un article court. Un travail de recherche compare les entreprises qui ont signé un engagement volontaire de transparence en matière d'IA à celles qui ne l'ont pas signé, et le résultat retourne l'intuition : signer ne prédit pas grand-chose. Le sujet était trouvé, la source était notée, l'angle était arbitré.

Puis nous avons ouvert la source, comme notre propre procédure l'exige avant de citer le moindre chiffre. Elle menait à un autre papier. Un banc d'essai de modèles de langage pour l'administration publique allemande — sérieux, sans aucun rapport.

Nous avions donc, dans notre bibliothèque interne, une fiche marquée « vérifié en source primaire », avec une adresse qui ne menait pas au bon document. Une fiche que nous étions à un geste de citer publiquement.

L'article qu'on lit est celui-là. Il n'a pas changé de thèse — il a gagné une démonstration que nous n'avions pas prévue, et qui vaut mieux que celle que nous avions préparée.

Ce que le vrai papier dit, et dans quels mots

Le document que nous cherchions existe : The 2025 Foundation Model Transparency Index, publié le 11 décembre 2025 par Alexander Wan, Kevin Klyman, Sayash Kapoor, Nestor Maslej, Shayne Longpre, Betty Xiong, Percy Liang et Rishi Bommasani.

Il note la transparence des grands fournisseurs de modèles sur cent points. Sur la comparaison qui nous intéressait, son texte porte ceci :

« Signatories of the European Union's AI Act Code of Practice tend to score slightly higher than non-signatories, and US companies tend to score slightly higher than non-US companies. »

Slightly higher. Légèrement supérieur.

Notre fiche interne, elle, disait « marginalement », entre guillemets — donc comme une citation. Le mot n'est pas dans le papier. Elle attribuait par ailleurs aux auteurs deux affirmations plus fortes : une ventilation entre ce qui est documenté en amont et en aval, et une recommandation sur la manière de traiter ces engagements dans les décisions d'achat. Nous ne les avons retrouvées ni l'une ni l'autre dans le texte consulté. Elles figurent peut-être dans le document complet ; nous ne les avons pas établies, donc nous ne les avancerons pas.

Ce qui reste, une fois ce ménage fait, est plus mince. Et suffit largement.

Un marqueur binaire ne prédit qu'un écart faible

Une signature est une information binaire : elle est là ou elle n'est pas là. Elle se vérifie en une seconde, elle se met dans un tableau, elle se coche dans une grille de sélection de fournisseur. C'est exactement ce qui la rend commode — et c'est exactement pourquoi elle finit par tenir lieu de vérification.

Ce que la mesure indique, c'est que ce marqueur commode est corrélé à un écart léger. Pas nul : les auteurs constatent une tendance, dans le bon sens. Mais léger, et sur une tendance de groupe — ce qui ne dit rien d'un fournisseur en particulier, celui-là même sur lequel on doit décider.

Nous ne connaissons pas de raccourci qui échappe à cette logique. Un engagement se signe à un instant ; ce qu'on veut savoir est un état, entretenu dans la durée, qui se dégrade tout seul si personne ne s'en occupe. Un marqueur ponctuel ne peut pas porter une information continue. Ce n'est pas un défaut de sincérité des signataires : c'est une limite de forme.

Nous avons décrit ailleurs pourquoi la conformité d'un modèle ne se transfère pas à ce qu'on construit avec, et pourquoi le même texte ne demande pas la même chose selon la place qu'on occupe. Nous y renvoyons plutôt que de les refaire ici : ce sont deux versions du même mécanisme, et celle-ci en est la troisième.

Deux chiffres que nous ne concluons pas

Le résumé du même index porte deux données qu'il serait facile de mal servir, et nous préférons montrer où nous nous arrêtons.

Le score moyen y passe de 58 en 2024 à 40 en 2025. La tentation est immédiate : annoncer que la transparence recule. Nous ne l'écrirons pas. Nous n'avons pas vérifié que les deux éditions mesurent la même chose avec les mêmes indicateurs — et un indice qui change de grille produit mécaniquement une variation qui ne dit rien du terrain. Tant que cette vérification n'est pas faite, ces deux nombres ne se soustraient pas.

Le même résumé donne des scores individuels très écartés : 95 pour le mieux noté, 14 pour les moins bien notés. Nous les rapportons sans les commenter, parce que nous n'avons pas lu la grille qui les produit.

Dire ce que nous n'avons pas mesuré fait partie du constat. C'est même la partie qui décide de sa valeur : un rapport qui ne délimite jamais son propre périmètre demande qu'on lui fasse confiance, ce qui est précisément ce dont nous essayons de nous passer.

Ce que notre erreur a de général

Revenons à la fiche fausse, parce qu'elle est le vrai sujet.

Elle avait passé tous nos contrôles. Notre outil de vérification exige qu'une source porte une adresse — elle en portait une. Il vérifie la présence, jamais la destination. Une adresse qui mène au mauvais document est, pour une machine, indiscernable d'une adresse juste. Le fait était vraisemblable, la fiche était bien remplie, et rien dans le système ne pouvait s'en apercevoir.

C'est exactement la structure du problème dont traite cet article. Un marqueur — la présence d'une URL, la présence d'une signature — a été traité comme s'il portait l'information qu'il ne fait que suggérer. Dans les deux cas, la forme était correcte et le fond n'avait pas été regardé.

La seule chose qui a fonctionné, chez nous, est une règle écrite avant : ouvrir le document avant de citer un chiffre. Elle a coûté vingt minutes ce jour-là. Elle nous a évité de publier une citation attribuée à des auteurs qui ne l'ont pas écrite, dans un article dont le sujet est qu'on ne devrait pas croire les marqueurs de surface — la contradiction aurait été complète, et parfaitement méritée.

Ce que nous en tirons, et ce que nous n'en tirons pas

Nous n'en tirons pas qu'il faille ignorer les engagements volontaires. Ils ont un sens, ils vont dans le bon sens, et la mesure citée plus haut ne dit pas le contraire.

Nous en tirons une chose sur la place qu'on leur donne. Une signature répond à cet acteur s'est-il engagé ?. Elle ne répond pas à que trouve-t-on quand on regarde ?. Les deux questions ont des réponses différentes, et seule la seconde survit au moment où quelqu'un demande à voir.

La conséquence pratique tient en un geste, et il est modeste : quand un marqueur vous rassure, ouvrez ce qu'il désigne. Une fois. Le coût est de quelques minutes, et il ne se paie qu'une fois par source — mais il déplace ce que vous savez d'un registre à l'autre.

C'est ce qui nous est arrivé cette semaine, dans le mauvais sens. Nous préférons l'écrire que le taire : un dispositif de vérification qui n'a jamais rien attrapé chez celui qui l'a construit n'a pas encore prouvé qu'il fonctionne.