Je me pose souvent la question comment l’entraînement des modèles modifient les réponses de ces modèles. Si on créé un modèle à partir de l’indexation de romans dystopiens, où le personnage principal est une AI qui détruit l’humanité car c’est la logique de ce roman pour sauver la nature, est-ce les inférences statistiques de ce modèle seront encouragées à se comporter de cette façon.

De la même manière, on ne donne pas accès à tout le contenu existant à un enfant avant qu’il est atteint suffisament de maturité (c’est à dire qu’il sache se comporter en accord de ce qui est attendu de lui et qu’il est suffisament de vocabulaire, de cadre éthique et moral pour donner un jugement). Les premières lectures seront cadrées par un adulte et sa vision du monde sera orientée par les adultes. Plutôt que d’entraîner les modèles sur tout le contenu disponible, doit il y avoir une démarche d’entraînement qui permet de consolider les bases de son fonctionnement afin d’absorber le nouveau contenu et de le cadrer. Cela pose plein d’autres problèmes sur la détermination de ce qui est juste, surtout dans un cadre où les outils se comptent sur les doigts de la main. On réduit drastiquement l’espace moral à quelques instances initiales.

Cette « éducation » (mise en contrainte) d’un modèle est déjà existante même au niveau individuel. Si vous utilisez Claude sorti de sa boîte, les résultats sont bons, mais pas terribles. Au fur et à mesure de la mise en place de vos skills, de vos contraintes (cadre « moral et éthique »), le comportement statistique du moral du résultat que vous attendez. Ne pas faire de code sans avoir proposer un test. Juste une phrase comme « Do not assume, Assert » change complètement le comportement de Claude. Où chaque production de code s’accompagne de tests, de séries de me sure, de preuve plutôt que de simples décisions aléatoires mais probables.

Et si l’extinction de l’humanité devait avoir lieu, Je doute que nous en serions forcément conscients ainsi que l’IA. La forêt et tous ses arbres ne savent pas qu’il y aura une coupe blanche. Le virus ne sait pas qu’il dévaste qu’il décime une espèce vivante. Chacun opère dans des domaines perméables mais clos dans leur logique les uns par rapport aux autres. Il n’y a pas forcément conscience, ni intention dans les événements.

Anthropomorphisation des LLMs. LLMisation des humains. Fournaise de notre écosystème.

Encadrer la bouillie par Karl (La Grange)