La panique lucrative qui se cache derrière les prédictions apocalyptiques sur l'IA

L'arrivée de l'an 2000 s'est accompagnée de prédictions selon lesquelles un bug informatique pourrait paralyser la vie moderne. Des avions risquaient de tomber du ciel, les banques pouvaient perdre leurs données et des infrastructures essentielles pouvaient tomber en panne au moment où les horloges informatiques passeraient de 1999 à 2000.

Le problème du passage à l'an 2000 était bien réel, et les mesures de préparation ont permis d'éviter de graves perturbations. Cela a également constitué une opportunité commerciale. Les entreprises et les gouvernements ont dépensé sans compter pour remplacer leurs ordinateurs, mettre à jour leurs logiciels et engager des consultants afin de faire face à une menace dont personne ne pouvait évaluer avec certitude toutes les conséquences.

Microsoft a été l’un des principaux bénéficiaires. Au cours du trimestre clos le 31 décembre 1998, la société a déclaré un bénéfice net de 1,98 milliard de dollars – soit 75 % de plus que l’année précédente – tandis que son chiffre d’affaires progressait de 38 % pour atteindre 4,94 milliards de dollars. Greg Maffei, alors directeur financier de Microsoft, a déclaré que les ventes avaient « bondi en partie grâce à la demande suscitée par les inquiétudes liées au passage à l’an 2000 », les clients remplaçant leurs anciens ordinateurs.

Microsoft n’a pas inventé le bug de l’an 2000. Il s’agissait d’un risque réel lié au traitement des dates qui a nécessité d’importantes corrections. Ces chiffres illustrent un point plus précis : se préparer à une menace technologique incertaine peut s’avérer très rentable pour les entreprises qui fournissent la solution.

Un quart de siècle plus tard, l’intelligence artificielle pourrait suivre le même schéma, à une échelle bien plus grande.

Les dirigeants et chercheurs des plus grandes entreprises d’IA décrivent de plus en plus souvent leurs propres produits en des termes apocalyptiques. Sam Altman, directeur général d’OpenAI, a mis en garde contre de graves risques et a appelé à ce que les systèmes d’IA les plus puissants soient soumis à un régime d’autorisation. Anthropic, un autre développeur d’IA de premier plan, a fait de la protection contre les risques catastrophiques liés à l’IA un élément central de son image publique.

Jacob Coxon, ancien chercheur chez OpenAI et Anthropic, a récemment poussé ce raisonnement plus loin. En annonçant sa démission d’Anthropic, il a affirmé que les personnes qui développent des IA avancées estiment que celles-ci « pourraient tous nous tuer d’ici la fin de la décennie.» Il a accusé OpenAI et Anthropic de « jouer avec nos vies ». Son avertissement s’est répandu sur les réseaux sociaux et a été suivi d’une série d’entretiens.

C’est un récit captivant : un initié quitte un secteur lucratif pour mettre l’humanité en garde. Il n’y a qu’un seul problème majeur. Ni Jacob Coxon, ni les entreprises relayant des avertissements similaires n’ont apporté de preuves vérifiables que les systèmes d’IA actuels mènent à l’extinction de l’humanité.

L’IA n’est pas inoffensive. Les systèmes existants peuvent faciliter la fraude, les cyberattaques, la surveillance et la propagande. Ces risques observables justifient la mise en place de mesures de protection.

Mais il y a une énorme différence entre affirmer que l’IA peut causer des dommages et prétendre qu’elle pourrait anéantir l’humanité. Cela nécessiterait de prouver que l’IA surpassera les humains dans presque tous les domaines, qu’elle s’améliorera d’elle-même sans contrôle efficace, qu’elle aura accès à des ressources critiques et qu’il sera impossible de l’arrêter.

Aucune expérience n’a observé un système d’IA se transformer en une superintelligence incontrôlable. Aucun ensemble de données actuel ne permet aux chercheurs de calculer une probabilité fiable d’extinction d’ici 2030, 2035 ou toute autre date. Les affirmations largement diffusées faisant état d’un risque de 10 % sont, au mieux, des estimations subjectives – et non des probabilités mesurées. Attribuer un chiffre à une spéculation ne la transforme pas en science.

Le Rapport international sur la sécurité de l’IA, élaboré avec la contribution de plus de 100 experts, ne présente pas l’extinction comme une prévision établie. Au contraire, il met en évidence de profonds désaccords entre les chercheurs et des lacunes substantielles dans les données concernant une éventuelle perte de contrôle. Loin de refléter un consensus scientifique, ce scénario apocalyptique reste une hypothèse contestée qui ne peut actuellement être ni vérifiée ni assortie d’une probabilité fiable.

Pourquoi, alors, les plus grandes entreprises d’IA présentent-elles leur technologie comme potentiellement incontrôlable tout en continuant à la commercialiser et, selon certaines informations, en se préparant à une éventuelle introduction en bourse ? Une réponse possible est que les avertissements apocalyptiques peuvent servir leurs intérêts commerciaux.

Le discours sur le danger existentiel élève les entreprises d’IA au-dessus des simples éditeurs de logiciels. Leurs dirigeants acquièrent un accès aux sphères politiques, leurs recherches deviennent des questions de sécurité nationale et les investisseurs sont incités à croire qu’elles contrôlent la technologie la plus importante jamais créée.

La peur constitue également un argument de poids en faveur d’une réglementation qui favorise les acteurs en place et empêche l’arrivée de nouveaux concurrents sur le marché.

En 2023, Altman a déclaré devant le Sénat américain que les gouvernements devraient envisager d’instaurer un système d’autorisation pour les systèmes d’IA les plus puissants et de créer une agence chargée de les superviser. Un tel régime pourrait améliorer la sécurité. Il imposerait également des coûts que seules les plus grandes entreprises pourraient facilement absorber.

Anthropic a soutenu le projet de loi californien SB 53, qui régit les systèmes d’IA puissants et oblige les grands développeurs de pointe à publier des cadres de sécurité et à signaler les incidents graves. Ces dispositions raisonnables contribuent également à diviser le marché entre les entreprises de « pointe » officiellement reconnues et toutes les autres.

L’octroi de licences, les tests et les rapports nécessitent des juristes, des spécialistes de la sécurité et des services de conformité. OpenAI, Anthropic, Google et Microsoft ont les moyens de s’en charger. En revanche, ce n’est peut-être pas le cas des petites entreprises et des développeurs open source. Une réglementation conçue autour des leaders actuels pourrait donc renforcer leur position.

Le message est remarquablement commode : l’IA est trop dangereuse pour être laissée aux mains de petits concurrents ou du grand public, mais apparemment pas assez dangereuse pour que ses plus grands développeurs cessent de commercialiser de nouveaux modèles, de lever des capitaux et de se livrer à une course effrénée pour construire des systèmes toujours plus puissants.

Les chercheurs peuvent sincèrement croire qu’une catastrophe est possible. Mais la sincérité et l’intérêt personnel peuvent coexister. À l’instar des entreprises qui ont tiré profit du cycle de mise à niveau lié au bug de l’an 2000, les leaders actuels de l’IA peuvent tirer profit des craintes qu’ils nourrissent véritablement.

Les entreprises spécialisées dans l’IA demandent également aux gouvernements d’accepter leur définition de la menace et d’élaborer des règles en conséquence. Les entreprises qui mettent en garde contre une technologie incontrôlable pourraient ainsi obtenir un plus grand contrôle sur ceux qui sont autorisés à la développer.

Dans le cas de Coxon, bien que ses inquiétudes semblent sincères, son avertissement renforce le même discours promu par les grandes entreprises du secteur : celui selon lequel l’IA avancée représente un danger extraordinaire que seules les personnes qui la développent sont en mesure de comprendre. Que ce soit intentionnel ou non, ce discours renforce l’argument en faveur d’un traitement de ces entreprises comme des gardiens indispensables de la technologie, ce qui leur confère un avantage concurrentiel.

De plus, les inquiétudes de Coxon concernant le risque existentiel semblent antérieures à son embauche au sein des grandes entreprises d’IA. Il était impliqué dans la communauté rationaliste londonienne et était membre de Newspeak House, qui se décrit comme un « collège de technologie politique ». Des reportages l’ont également associé à une bourse d’études sur « l’avenir à long terme » financée par Good Ventures, la fondation créée par le cofondateur de Facebook, Dustin Moskovitz, et Cari Tuna. Moskovitz est un fervent partisan des candidats démocrates et des causes politiques progressistes qui encouragent l’intervention gouvernementale.

Cela ne prouve pas la mauvaise foi. Cela montre simplement que l’image d’un ingénieur neutre soudainement converti par des preuves secrètes au sein d’Anthropic est incomplète. Coxon s’intéressait déjà au risque existentiel.

Le qualifier de lanceur d’alerte revient également à étendre le sens de ce terme. Un lanceur d’alerte révèle généralement des documents cachés, des actes répréhensibles ou des preuves. Coxon a principalement révélé ce que lui et certains de ses collègues pensent qu’il pourrait se produire. Le fait que cette conviction soit partagée au sein de certains secteurs de l’industrie ne la confirme pas pour autant.

Rien de tout cela ne signifie que l’IA doive rester sans réglementation. Les règles doivent porter sur les capacités avérées et les risques clairement définis, en particulier dans les infrastructures critiques, les systèmes militaires et la recherche biologique.

Ce que les gouvernements ne doivent pas faire, c’est permettre aux plus grands acteurs de l’IA de se présenter comme les seules institutions capables de contrôler un danger dont ils n’ont pas prouvé l’existence.

La leçon à tirer du bug de l’an 2000 n’est pas que les menaces technologiques sont imaginaires. Elle est qu’une véritable incertitude peut également créer des opportunités commerciales. Microsoft n’a pas créé le problème sous-jacent, mais a tiré profit des dépenses nécessaires pour y remédier. Les grandes entreprises d’IA d’aujourd’hui pourraient de la même manière tirer profit de la peur entourant leur technologie – grâce à des investissements accrus, à une influence politique et à des réglementations qui protègent leur position sur le marché.

La question reste donc ouverte : ces entreprises protègent-elles l’humanité – ou construisent-elles leur domination autour d’un scénario que personne ne peut vérifier ? Le ciel pourrait bien s’effondrer un jour. Pour l’instant, cependant, ceux qui vendent les parapluies rédigent également les prévisions météorologiques.