FlashProve : Anthropic dévoile un outil open source pour prouver l'identité des modèles d'IA

Comment savoir si la réponse que l'on vient de recevoir provient vraiment du modèle annoncé, et non d'une version bricolée en coulisses pour réduire les coûts ? C'est à cette question, à première vue presque philosophique, qu'Anthropic tente de répondre avec FlashProve, un système de vérification cryptographique rendu public le 3 novembre sous licence open source.

Une signature numérique pour les réponses d'une IA

Le principe, baptisé « inférence prouvable », s'inspire d'un mécanisme familier : la signature cryptographique des e-mails, qui permet à un destinataire de vérifier qu'un message provient bien de l'expéditeur annoncé. Chaque laboratoire publierait une empreinte propre à chacun de ses modèles ; les réponses générées pourraient ensuite être rapprochées de cette empreinte et vérifiées mathématiquement, sans jamais révéler les poids du modèle, c'est-à-dire son contenu technique le plus sensible et le plus coûteux à produire.

L'enjeu dépasse la simple curiosité technique. Un tel système permettrait, en théorie, d'empêcher qu'une entreprise substitue discrètement un modèle moins cher à celui qu'elle facture, ou qu'elle gonfle artificiellement des résultats de performance en utilisant en coulisses un modèle plus puissant que celui testé publiquement. Les chercheurs d'Anthropic citent aussi le cas d'un tiers voulant vérifier qu'une tâche a bien été exécutée par un modèle de pointe, par exemple l'analyse d'une bibliothèque logicielle par une IA spécialisée en cybersécurité. « Comment un utilisateur peut-il vérifier de telles affirmations ? », interrogent-ils dans leur publication.

Une preuve de concept, pas un produit

Le système se veut suffisamment léger pour qu'une vérification puisse s'exécuter sur un simple appareil local, et il est conçu pour résister à une tentative d'usurpation venant du laboratoire lui-même qui exploite le modèle. Anthropic a publié une spécification technique détaillée ainsi qu'un code fonctionnel sur GitHub, sous le nom anthropics/FlashProve.

L'entreprise insiste toutefois sur le caractère préliminaire du projet : aucun déploiement n'est prévu, ni chez Anthropic ni ailleurs, et aucun chiffre de performance n'a été communiqué. « Nous partageons cela explicitement dans l'objectif que d'autres regardent ce que nous avons fait, s'en emparent et l'améliorent », écrivent les chercheurs, présentant leurs travaux comme une étape intermédiaire plutôt qu'une solution aboutie.

Reste une question que l'article ne tranche pas : au-delà de la prouesse cryptographique, rien n'indique à ce stade qu'un laboratoire concurrent, ou Anthropic elle-même, adoptera un jour ce standard. Vérifier l'identité d'un modèle suppose que l'ensemble de l'industrie accepte de jouer le jeu de la transparence, y compris lorsque cela désavantage ses propres pratiques commerciales.