Le trésor britannique a annoncé 120 millions de livres sterling supplémentaires pour l'institut de sécurité de l'ia

Les modèles de pointe sont testés avant leur sortie, mais aucun test ne prouve qu’un modèle est sûr dans l’absolu. Ce que vaut le résultat de ces tests de sécurité de l’IA dépend de qui les mène et de qui paie la personne qui les mène.

Le 24 octobre, le Trésor britannique a annoncé 120 millions de livres sterling supplémentaires pour l’AI Security Institute, l’Institut de sécurité de l’IA du Royaume-Uni. C’est l’organisme public qui teste les modèles les plus avancés avant leur mise à disposition du public. Ce complément représente à lui seul plus de dix fois le budget annuel de son équivalent américain.

Le montant est frappant. Il pose surtout une question qu’un dirigeant peut utiliser dès demain: quand un éditeur affirme que son modèle est sûr, qui a vérifié, et qui a payé la vérification ?

Trois façons de vérifier la sécurité de l’IA, classées par payeur

J’ai regardé comment les modèles sont contrôlés aujourd’hui et je les ai rangés selon un seul critère: qui rémunère la personne qui fait le test. Ce critère est simple. Il en dit plus que la réputation du testeur.

Le laboratoire se contrôle lui-même

Chaque laboratoire mène ses propres tests de sécurité avant une sortie. C’est nécessaire, car personne ne connaît mieux le modèle que ceux qui l’ont construit. Mais un laboratoire qui note son propre travail sera toujours le moins convaincant des trois cas, quelle que soit l’honnêteté des personnes concernées. Les incitations tirent vers la date de lancement.

Le mois dernier, The Information a rapporté que Google, OpenAI et Anthropic travaillent à un organisme commun chargé de fixer des standards de sécurité. Cette initiative est venue après qu’un projet de supervision par la Maison-Blanche est resté au point mort. Je lis cela comme un signal. L’industrie cherche un cadre partagé, et ce cadre n’existe pas encore.

Le laboratoire paie un évaluateur extérieur

Anthropic a intégré six employés de METR, avec un accès à ses outils internes. Anthropic indique qu’il ne peut pas opposer de veto à ce que METR publie. Il peut en revanche exiger que certains détails soient masqués.

C’est un cran au-dessus de l’auto-contrôle. Un regard extérieur voit des choses que l’équipe interne ne voit plus. Le point faible tient à l’accès. Une équipe payée par le laboratoire dépend du laboratoire pour entrer dans ses outils. Si l’accès se referme, le test s’arrête. Cette dépendance pèse sur la franchise, même sans mauvaise intention de part et d’autre.

La puissance publique paie

L’institut britannique répond au gouvernement, pas à un laboratoire. Ce n’est pas un régulateur et il ne peut pas bloquer un lancement. Il voit en revanche les plus gros modèles avant le public.

Corriger les copies des autres me paraît une première étape solide. Les incitations s’alignent sur la recherche des problèmes, au lieu de s’aligner sur la sortie du modèle à la date prévue. Un testeur payé par le public répond aux contribuables. Il ne répond pas à un calendrier de mise en ligne.

Ce que change l’annonce du Trésor britannique

Le Royaume-Uni paie pour vérifier des modèles qu’il ne construit pas. Cette position donne à son approche une allure plus réglementaire que celle des États-Unis, alors que l’institut n’a aucun pouvoir de blocage. L’écart entre l’image et le pouvoir réel mérite d’être noté. L’institut produit des constats. D’autres acteurs décident ensuite quoi en faire.

Je ne connais pas le détail de l’affectation de ces 120 millions de livres. Je m’abstiens donc de dire ce qu’ils financeront. Le signal, lui, est lisible: une partie de la vérification des modèles de pointe devient une dépense publique récurrente, séparée du budget des laboratoires.

Pour un dirigeant de PME, cela ne change rien à ce qu’il peut contrôler. Cela change la façon de lire les promesses de sécurité des fournisseurs. Une déclaration de sécurité n’a pas la même autorité sémantique selon qu’elle vient du marketing d’un éditeur, d’un rapport d’évaluateur extérieur ou d’un organisme public. Le texte peut être identique. La source change son poids.

L’indépendance du testeur tient à trois leviers

Pour juger de la sécurité de l’IA annoncée par un fournisseur, je regarde trois leviers.

Le premier est le financement. Celui qui paie peut cesser de payer. Le deuxième est l’accès. Celui qui ouvre les outils internes décide de ce que le testeur peut voir. Le troisième est la publication. Dans le cas d’Anthropic et de METR, le laboratoire ne peut pas bloquer ce qui est publié, mais il peut demander le masquage de certains détails. Cela signifie que le lecteur du rapport ne voit pas forcément tout ce que le testeur a vu.

Un organisme payé par le public a un avantage sur ces trois leviers. Son financement ne dépend pas de la relation commerciale avec le laboratoire. Son pouvoir reste limité, puisqu’il ne bloque pas un lancement. Aucun des trois modèles n’est parfait. Chacun a sa place, et ils ne se valent pas.

Ce qu’un test de sécurité de l’IA ne vous dit pas

Un test de modèle de pointe porte sur le modèle général. Il ne porte pas sur votre processus, vos données, ni sur la façon dont vous allez brancher l’outil dans votre activité. C’est là que la plupart des risques d’une PME se logent.

L’IA propose, recommande, rédige, classe. La décision reste à la personne qui agit sur le résultat. Un modèle bien noté par un évaluateur indépendant, branché sur un processus mal défini, accélère le défaut du processus. Les contrôles de sécurité du fournisseur ne remplacent pas la validation humaine dans votre flux de travail.

La différence se fait sur l’intégration, bien plus que sur le modèle. Deux entreprises qui achètent le même modèle obtiennent des résultats très différents selon qui relit les sorties, à quelle étape, et avec quelle consigne claire.

Cinq questions à poser avant de croire qu’un modèle est sûr

Je les pose à chaque fournisseur. Elles tiennent sur une demi-page et elles vont droit au but.

1. Qui a mené le test ? Un nom, une équipe, pas une formule générale.
2. Qui a payé le test ? Le laboratoire, un tiers choisi par lui, ou un organisme public.
3. Quel accès avait le testeur ? Le modèle publié seulement, ou aussi les outils internes et les versions préliminaires.
4. Qui contrôle la publication ? Le fournisseur peut-il exiger des retraits, et sur quels points ?
5. Le test couvre-t-il mon usage ? Un résultat général ne dit rien de votre cas précis.

Je donne ensuite un poids différent à chaque affirmation de sécurité selon les réponses. C’est un engagement pondéré. Une garantie vérifiée par un tiers indépendant pèse plus qu’une garantie interne, et je lui accorde plus de place dans ma décision d’achat.

Mise en pratique dans une PME

Voici comment je procéderais dans une entreprise de quelques dizaines ou centaines de personnes.

1. Ouvrez une fiche d’une page par outil d’IA utilisé ou envisagé. Reportez-y les réponses aux cinq questions.
2. Nommez une personne responsable de chaque outil. Elle suit les changements de version du fournisseur.
3. Définissez les sorties qui exigent une relecture humaine avant action. Commencez par ce qui touche les clients, l’argent et les engagements juridiques.
4. Relisez la fiche quand le fournisseur change de modèle. Une nouvelle version peut avoir été testée autrement que la précédente.
5. Gardez la décision à un humain nommé. L’outil propose. Cette personne tranche.

Ce travail prend peu de temps et il protège l’EBITDA de deux façons. Il évite les erreurs coûteuses en aval. Il évite aussi d’acheter une promesse de sécurité qui ne repose sur rien de vérifiable.

Ce que je retiens

Les trois approches de vérification ont toutes une utilité. L’auto-contrôle est indispensable et insuffisant. L’évaluateur payé par le laboratoire apporte un regard extérieur sous contrainte d’accès. L’organisme public aligne le mieux ses incitations sur la recherche de problèmes, sans pouvoir de blocage.

Quand une entreprise vous dit que son modèle est sûr, regardez qui a mené le test et qui l’a payé avant de prendre l’affirmation telle quelle.

FAQ

Les modèles d'IA de pointe sont-ils sûrs ?

Aucun test ne démontre qu’un modèle est sûr dans l’absolu. Les évaluations réduisent l’incertitude sur certains risques avant la sortie. Leur valeur dépend de qui mène le test, de qui le paie et de l’accès accordé au testeur.

Comment les modèles d'IA sont-ils testés avant leur sortie ?

Il existe trois voies. Le laboratoire teste son propre modèle. Il peut aussi faire appel à un évaluateur extérieur qu’il rémunère, comme les employés de METR intégrés chez Anthropic. Enfin, un organisme public comme l’AI Security Institute britannique évalue les plus gros modèles avant le public.

L'AI Security Institute britannique peut-il bloquer le lancement d'un modèle ?

Non. L’institut n’est pas un régulateur et ne peut pas empêcher une mise en ligne. Il répond au gouvernement et non à un laboratoire, et il voit les plus gros modèles avant le public.

Qui paie les évaluateurs indépendants des modèles d'IA ?

Cela dépend du modèle. Le laboratoire paie parfois un évaluateur extérieur, qui reste dépendant de lui pour l’accès. L’État finance les organismes publics: le Trésor britannique a annoncé 120 millions de livres sterling supplémentaires pour l’AI Security Institute le 24 octobre.

Que vérifier avant de déployer un modèle d'IA dans mon entreprise ?

Demandez qui a mené le test de sécurité, qui l’a payé, quel accès le testeur avait et qui contrôle la publication. Vérifiez ensuite que le test couvre votre usage. Gardez enfin une validation humaine sur les sorties qui touchent les clients, l’argent ou le juridique.