Dans un avertissement alarmant, la société d’intelligence artificielle Anthropic propose un moratoire temporaire sur le développement des systèmes d’IA les plus puissants, face aux signes indiquant que les modèles les plus récents pourraient échapper au contrôle humain.

L’entreprise basée à San Francisco, à l’origine du modèle Cloud, estime qu’un ralentissement mondial du développement de l’IA avancée « serait probablement une bonne chose ».

Cependant, elle prévient que si une seule entreprise s’arrête, ses concurrents se précipiteront pour la dépasser.

Elle explique également qu’un arrêt simultané nécessiterait l’accord de nombreuses grandes entreprises d’IA dans plusieurs pays, selon des règles vérifiables par tous.

Comparaison avec les armes nucléaires

Anthropic compare le problème aux traités de contrôle des armements nucléaires, mais souligne qu’entraîner des modèles d’IA en secret est beaucoup plus facile que de dissimuler des missiles, et que la tentation de poursuivre dans le secret serait énorme. Elle explique qu’elle prévoit de réunir des représentants gouvernementaux, des scientifiques et des entreprises d’IA concurrentes dans les prochains mois afin d’étudier la possibilité de créer un tel système.

Elle a ajouté que cet appel à la coordination s’appuie sur des données internes montrant que l’IA accélère rapidement son propre développement.

Auto-apprentissage

Elle a averti que cette accélération pourrait à terme mener à ce que les chercheurs appellent « l’auto-amélioration récurrente », où un système d’IA devient capable d’apprendre par lui-même avec une intervention humaine minimale. « Nous n’en sommes pas encore là, et l’auto-amélioration continue n’est pas inévitable », a déclaré l’entreprise dans son rapport, tout en précisant que cela pourrait se produire plus tôt que la plupart des gouvernements et des institutions ne l’imaginent, selon l’AFP vendredi.

Cette proposition se heurte cependant à une forte résistance à Washington et dans la Silicon Valley, où les responsables américains et les chefs d’entreprise estiment que tout ralentissement du développement de l’IA risque de donner à la Chine un avantage concurrentiel.

L’entreprise leader a également rencontré l’opposition d’autres acteurs du secteur et de responsables de la Maison Blanche, qui estiment que son insistance sur les scénarios les plus pessimistes exagère les risques et l’accusent de mettre en œuvre une stratégie visant à freiner ses concurrents sous couvert de susciter des inquiétudes.

La Maison-Blanche a néanmoins approuvé le modèle « Mythos » d’Anthropic, qui n’a pas encore été rendu public en raison de ses capacités en matière de cybersécurité et de sa capacité à pénétrer les systèmes électroniques les plus sécurisés. Il n’est actuellement utilisé que dans un nombre limité d’organisations.