Le Cerveau d’acier

Cela fait une dizaine de jours qu’on a eu vent d’une intrusion par des agents IA (ça donne tellement « Wargames« ) dans l’infrastructure de l’entreprise Hugging Faces. C’est une boîte qui propose des modèles d’IA en open source et une plateforme pour héberger des projets d’IA (une sorte de Github de l’IA générative). Quelques jours plus tard OpenAI (l’entreprise derrière ChatGPT) a assumé l’intrusion en expliquant qu’il s’agissait d’agents IA de chez eux dans le cadre d’une expérimentation. C’est une pratique classique dans cette industrie, puisqu’on ne développe plus vraiment de manière formelle les évolutions des LLM, on a besoin de tester les capacités des nouveaux machinsGPT, et donc on leur lance des tas de « défis ».

Là on a posé une colle à un agent, mais normalement il est bien sagement enfermé dans une boîte étanche (qu’on appelle littéralement un « bac à sable », un espace de « jeu » déconnecté d’internet notamment). En y réfléchissant bien, l’agent s’est dit qu’en réalité la meilleure chose à faire pour répondre à la question, c’était d’abord de sortir de la boîte. Donc il a hacké et réussi à s’échapper se sa boîte (pas si étanche), et après, parce qu’il a toujours son objectif en tête, il est allé à la recherche de ressources utiles. Eh bien, utiliser les capacités de Hugging Faces a été la phase suivante, et donc il a réussi à s’inviter dans la plateforme toujours pour résoudre son problème, et c’est là qu’il a été bien sûr détecté.

The Verge vient de publier un article (et un second pour expliquer qu’il y a eu d’autres victimes) pour mettre en exergue le risque inhérent à ces expérimentations mal cadrées (un risque qui est pourtant totalement consubstantiel à des modèles de données dont on ignore exactement la manière dont ils sont programmés, et dont l’appréhension dépasse de toute façon la capacité de compréhension humaine). Je trouve ça étonnamment proche d’un scénario à la Wargames justement, il suffit d’appeler l’agent Joshua, et déjà on se rend compte de ce qu’une simple expérimentation peut faire dans le monde réel.

Imaginez que pour résoudre son problème, par exemple on lui demande « Fais-moi gagner un paquet de pognon par tous les moyens ! », l’agent, qui n’est absolument pas malveillant ou quoi que ce soit, ce n’est pas Dark Vador le truc, imagine qu’il faut tirer des missiles pour déstabiliser le monde, et pour gagner de l’argent en pariant sur une plateforme de paris à la con dont c’était la proposition en cours la plus improbable ? L’agent ira alors essayer de hacker les systèmes de Défense etc. etc. Evidemment, nous n’en sommes pas là, et ce n’est pas encore réaliste. Mais aller niquer une démocratie en ruinant les systèmes informatiques d’états qui tournent sur 3 pattes est sans doute très envisageable par exemple.

J’ai surtout en tête avec ce genre de scénario, encore plus que Wargames qui date de 1983, un film encore plus vieux : Le Cerveau d’acier (Colossus: The Forbin Project) qui date de 1970. Déjà parce que le héros c’est le fringant Victor Newman et ça c’est de la balle. Mais surtout c’est kitsch à mort, et on est en plus sur des ressors scénaristiques assez nazes malgré des paraboles informatiques pas connes du tout (je pense qu’ils ont eu de super consultants, mais que les auteurs ont vaguement compris le brief). Néanmoins, l’idée d’un ordinateur capable de pensée, de réflexion, d’auto-apprentissage et ayant la main sur tous les systèmes critiques d’un pays qui s’acoquine avec son doppelgänger russe, c’est aujourd’hui un scénario qui est loin de paraître de la science-fiction.

Et ce que j’adore dans ce film, c’est que ça se finit mal ! Un film hollywoodien comme cela où le héros passe tout le film à vouloir échapper l’ordinateur qu’il a conçu et programmé : eh bien il reste finalement prisonnier de sa machine, et elle a la mainmise sur monde entier. THE END.

Bon pour finir sur une note plus pessimiste encore, je découvre (via Morgan via Nicola) ce brillant essai d’Owen McGrann qui me paraît absolument indispensable : The Dead Economy Theory (La Théorie de l’Économie Morte). Malheureusement, ça fait 15 pages et c’est en anglais, mais ça vaut vraiment son pesant de cacahouètes. Cela reprend quelques éléments que j’ai déjà évoqué sur le fait que si on élimine ses consommateurs en éliminant leurs jobs, c’est une catastrophe. Mais là c’est expliqué en prenant en compte nos circonstances actuelles, donc en se distanciant des autres phénomènes (l’arrivée de l’automatisation, la voiture qui remplace les chevaux, la révolution industrielle) mais aussi en se remémorant les drames des transitions passées (chômage, fossé riches-pauvres, guerres et crises démocratiques), et surtout en parlant concrètement des pratiques de ces grandes entreprises de l’IA, et d’un peu de philosophie. Et le postulat de base c’est que la seule manière de rentabiliser un truc aussi cher, c’est de remplacer les gens, il n’y aucun autre moyen de retour sur investissement, AUCUN. Le but unique et sans équivoque de l’IA, c’est de supprimer des jobs.

Je vous fais à l’arrache une traduction pourrie de quelques passages clefs pour moi.

La grosse différence que pointe l’auteur par rapport aux autres révolutions technologiques, c’est vraiment ça :

L’automatisation précédente a remplacé certaines tâches au sein des postes. Le métier à tisser mécanique a remplacé le tissage manuel, le tableau a remplacé le calcul manuel, etc. Dans chaque cas, la technologie était limitée. L’IA polyvalente menace le travail cognitif de manière globale, dans tous les secteurs, simultanément.

L’économiste Wassily Leontief avait anticipé cela en 1983 lorsqu’il a comparé le travail humain aux chevaux. La population de chevaux aux États-Unis passa de neuf millions en 1840 à vingt et un millions en 1900, apparemment à l’abri des changements technologiques. En moins de soixante ans après le moteur à combustion interne, la population s’est effondrée de quatre-vingt-huit pour cent. Les chevaux n’ont pas été retirés par malveillance. Ils sont devenus peu rentables à entretenir. Le point de Leontief était qu’il n’existe aucune loi économique empêchant que la même chose arrive aux humains.

J’ai bien aimé aussi ce passage qui rappelle le rapport entre gouvernants et gouvernés.

La gouvernance démocratique repose sur un marché si vieux que nous en avons oublié que c’est un marché. Les gouvernés ont ce dont les gouvernants ont besoin : main-d’œuvre, recettes fiscales, service militaire, dépenses de consommation. Cette dépendance est la source du levier démocratique. L’ensemble du système fonctionne parce que le pouvoir est distribué, et il est distribué parce que les personnes au sommet ont besoin de quelque chose des personnes qui sont en bas.

Et donc que se passe-t-il si on retire ce lien entre les deux ?

La négociation collective devient obsolète (les employeurs qui n’ont pas besoin d’employés ne négocient pas avec eux). Les dépenses de consommation, qui dépendent des revenus du travail, se contractent. Le r > g de Piketty, le moteur de la concentration de la richesse, s’accélère parce que l’IA coupe le dernier lien entre l’accumulation de capital et le besoin de main-d’œuvre humaine comme intrant de production. Sans redistribution, comme cette analyse le montre, « à peu près tout appartiendra finalement à ceux qui sont les plus riches lorsque la transition aura lieu ».

Evidemment, on rappelle que l’IA vient comme toujours de recherches fondamentales et financées par les moyens publics du monde entier.

Nous avons subventionné la révolution et on nous dit maintenant d’accepter les changements conséquents comme le coût du progrès, dont quelqu’un d’autre tire profit.

L’IA fonctionne et s’intègre beaucoup mieux dans les autocraties, et il serait donc beaucoup plus propice à l’IA que les démocraties s’affaiblissent.

Les autocraties sont de meilleurs clients de cette technologie que les démocraties, ce qui explique précisément pourquoi la broligarchie a rapidement déplacé son soutien à Trump et MAGA. Un gouvernement démocratique qui utilise l’IA pour remplacer ses effectifs fait face à des conséquences électorales. Un gouvernement autoritaire ne fait face à aucune contrainte de ce type et bénéficie d’un avantage supplémentaire de surveillance et de contrôle, en plus des gains d’efficacité économique. Arabie Saoudite, Émirats arabes unis, Singapour : capital immense, prise de décision centralisée, aucun électorat à qui rendre des comptes, et un intérêt actif pour les technologies de contrôle. C’est l’un des facteurs motivateurs de la Silicon Valley qui s’est attachée à Trump : lui et ses complices peuvent être achetés, et tout aussi important, ils n’ont aucune loyauté envers la démocratie. Les incitations économiques pour les entreprises d’IA pointent vers les entités disposant du moins de mécanismes de responsabilité démocratique.

Et si on nous parle de progrès, de revenu universel, de redistribution après toutes ces suppressions d’emploi nécessaires, il ne faut pas oublier le résultats des précédentes transitions économiques.

Les communautés se sont organisées autour d’industries qui ont disparu, où ce qui a remplacé les emplois étaient les drogues, la violence domestique et une espérance de vie qui a chuté d’année en année dans le pays le plus riche du monde.

En plus de cela, l’IA, c’est maintenant prouvé, fait diminuer les compétences et grève le potentiel des gens.

La technologie dégrade l’expertise de la prochaine génération de travailleurs tout en étant en concurrence avec eux pour leurs emplois. L’argument de la reconversion suppose que les gens peuvent développer de nouvelles compétences pour rester pertinents. Les preuves suggèrent que ces outils les empêchent de développer des compétences du tout.

Après, il y a tout un tas de considérations philosophiques, notamment sur Nietzsche, qui sont intéressantes, mais mon attention a évidemment été retenue lorsqu’il évoque Sartre et Camus. Mais surtout cela donne un éclairage intéressant sur le pourquoi du comment de l’IA, mais oui si jamais c’était pour faire accéder l’humanité à un niveau supérieur ?

Albert Camus rompit avec Jean-Paul Sartre et la gauche française sur la question politique la plus concrète qui existe : les personnes vivantes aujourd’hui peuvent-elles être traitées comme des victimes acceptables dans la quête d’un avenir meilleur ?

Sartre et les marxistes ont dit oui. L’Histoire (avec un grand H) a une direction. La révolution exige des sacrifices. Camus a dit non. Tout système de pensée qui subordonne des personnes vivantes à un futur hypothétique a déjà commis l’erreur morale fondamentale. Une fois que vous acceptez cette logique, il n’y a plus de principe limitant. Toute atrocité devient justifiée. Toute quantité de souffrance présente peut être rationalisée comme un apport nécessaire à ce glorieux résultat.

C’est la structure de l’argument de l’accélération de l’IA. La technologie finira par bénéficier à l’humanité (des trillions d’humains du futur, des vies d’abondance et de sens que nous pouvons à peine imaginer), donc la révolution actuelle est tolérable. Travailleurs déplacés, communautés vidées, érosion du levier démocratique, concentration du pouvoir entre une poignée d’acteurs privés qui se sont exemptés des conséquences de leur propre projet : regrettable mais nécessaire. Les calculs de la valeur attendue sont cohérents.

Le dernier paragraphe de ce long article :

L’Économie Morte n’est pas une économie où rien ne se passe. Il se passera beaucoup de choses. Le PIB pourrait même augmenter, Les investissements liés à l’IA le soutiennent déjà. L’économie morte est celle où il se passe beaucoup de choses et vous n’êtes plus dans l’équation. Où la capacité productive de la civilisation a été capturée par un système dans lequel vous n’avez aucun intérêt, aucun mot à dire, sur lequel vous n’avez aucun droit de vote. Où les personnes qui l’ont construit vous ont dit qu’elles ne pensent pas que vous devriez avoir votre mot à dire. Où ils expriment leurs inquiétudes quant aux conséquences en privé, et de l’optimisme en public. Où ils publient des livres blancs appelant à une redistribution radicale tout en finançant des super PACs pour détruire les politiciens qui le proposent.

(L’auteur évoque en toute fin OpenAI qui a publié un livre blanc avec des propositions super à gauche genre la semaine de 32 heures, plus de taxes sur les entreprises, des fonds publics etc. Mais en même temps, ils ont financé une campagne politique contre contre Alex Bores, un candidat au Congrès de New York qui proposait une régulation des grandes entreprises d’IA pour des questions de sécurité, et de taxer l’IA pour financer des fonds publics.)