Je me pose souvent la question comment l’entraînement des modèles modifient les réponses de ces modèles. Si on créé un modèle à partir de l’indexation de romans dystopiens, où le personnage principal est une AI qui détruit l’humanité car c’est la logique de ce roman pour sauver la nature, est-ce les inférences statistiques de ce modèle seront encouragées à se comporter de cette façon.
Encadrer la bouillie par Karl (La Grange)
De la même manière, on ne donne pas accès à tout le contenu existant à un enfant avant qu’il est atteint suffisament de maturité (c’est à dire qu’il sache se comporter en accord de ce qui est attendu de lui et qu’il est suffisament de vocabulaire, de cadre éthique et moral pour donner un jugement). Les premières lectures seront cadrées par un adulte et sa vision du monde sera orientée par les adultes. Plutôt que d’entraîner les modèles sur tout le contenu disponible, doit il y avoir une démarche d’entraînement qui permet de consolider les bases de son fonctionnement afin d’absorber le nouveau contenu et de le cadrer. Cela pose plein d’autres problèmes sur la détermination de ce qui est juste, surtout dans un cadre où les outils se comptent sur les doigts de la main. On réduit drastiquement l’espace moral à quelques instances initiales.
Cette « éducation » (mise en contrainte) d’un modèle est déjà existante même au niveau individuel. Si vous utilisez Claude sorti de sa boîte, les résultats sont bons, mais pas terribles. Au fur et à mesure de la mise en place de vos skills, de vos contraintes (cadre « moral et éthique »), le comportement statistique du moral du résultat que vous attendez. Ne pas faire de code sans avoir proposer un test. Juste une phrase comme « Do not assume, Assert » change complètement le comportement de Claude. Où chaque production de code s’accompagne de tests, de séries de me sure, de preuve plutôt que de simples décisions aléatoires mais probables.
Et si l’extinction de l’humanité devait avoir lieu, Je doute que nous en serions forcément conscients ainsi que l’IA. La forêt et tous ses arbres ne savent pas qu’il y aura une coupe blanche. Le virus ne sait pas qu’il dévaste qu’il décime une espèce vivante. Chacun opère dans des domaines perméables mais clos dans leur logique les uns par rapport aux autres. Il n’y a pas forcément conscience, ni intention dans les événements.
Anthropomorphisation des LLMs. LLMisation des humains. Fournaise de notre écosystème.
Étiquette : Informatique (26 articles)
RAM
Random-Access-Memory ou mémoire à accès aléatoire qu’on appelle couramment mémoire vive en français, et nous vivons en ce moment un RAMageddon qui a rendu le prix de ces circuits électroniques extrêmement couteux. En effet, la production est cannibalisée depuis quelques années par les entreprises dans le domaine de l’IA qui construisent à tour de bras des centres de données, et … Continuer la lecture RAM
Fini de guiquer ?
Ce matin, alors qu’en sortant prendre mon métro rennais, j’ai vu que le soleil se levait tout juste, et que depuis les rails de mon train pour Nantes, c’était une jolie image aussi, je me suis dit « Purée de merde, c’est vraiment la rentrée !! ». Ces couleurs annoncent bien l’automne malgré le radoucissement de ces derniers jours, et certaines prévisions … Continuer la lecture Fini de guiquer ?
Le Cerveau d’acier
Cela fait une dizaine de jours qu’on a eu vent d’une intrusion par des agents IA (ça donne tellement « Wargames« ) dans l’infrastructure de l’entreprise Hugging Faces. C’est une boîte qui propose des modèles d’IA en open source et une plateforme pour héberger des projets d’IA (une sorte de Github de l’IA générative). Quelques jours plus tard OpenAI (l’entreprise derrière ChatGPT) … Continuer la lecture Le Cerveau d’acier
1 underscore qui change tout
Un canadien a été mis en prison 18 mois (via Seb Sauvage) pour des choses graves : c’était carrément des conversations sur une messagerie avec une gamine (aux USA), des envois de photos à caractère sexuel et de la possession de matériels pédopornographiques. Il a été retrouvé par son pseudo sur cette messagerie après enquête de police. Mais voilà, le pseudo du gars coupable c’était fus__ro_dah et le canadien fus_ro_dah. Un simple _ d’écart, sans doute par recopie imparfaite, ne correspond bien évidemment pas à la bonne personne, et même si ce canadien a crié son innocence, il a bien été inculpé et a été emprisonné.
Les néodevs
Thomas a complété son article sur le développement informatique avec l’aide de l’IA générative, à partir d’une interpellation sur Bluesky. C’est passionnant car il décrit bien ce qu’est sa vie de « néodev », et ce n’est évidemment pas de demander à l’IA de pondre du code. En revanche, je trouve que ça pose toujours le sujet épineux des juniors et de leur apprentissage, et aussi de la manière dont les modèles vont pouvoir s’améliorer alors que les sources d’information sur les Internets se sont taries (mais peut-être que les dépôts et les docs wiki en ligne officiels sont suffisants…).
Les changements sont là
C’est tout de même incroyable à quelle vitesse, les métiers du dév sont déjà en mode « transformés » par l’IA générative. Thomas raconte une journée type dans sa boîte, et on peut constater comme l’IA est un outil commun, mais aussi une béquille, à la fois une balle dans le pied, et surtout un coût considérable et impossible à maîtriser. Mais voilà, on y est. Les débordements grossiers vont finir par se voir, et je pense qu’il y aura une correction de trajectoire « darwiniste » de tout cela. Mais ça va sans doute rester, et ce n’est pas une nouvelle réjouissante pour le secteur. Reflet anticipé d’ailleurs des autres secteurs en mutation avec l’IA.
Free puppies
Cette comparaison de la contribution, gratuite en apparence, à des projets open-source à un don de « chiot gratuit » [via Seb Sauvage] est en effet absolument irrésistible.
No, it’s not free. What you’re doing is asking me – you’ve got this cool feature, and you want me to maintain it for you, to document it for you, to test it for you, to maintain it for you for the next twenty-five years. That’s not free.
Linus Torvalds is famous for saying there’s free as in beer and free as in speech. But there’s another kind of freedom: free as in puppies. « Oh look, I’ve got a free puppy for you. » You see where this is going?
A pull request is a free puppy. And then you’ve just got a kennel full of puppies at the end of the day. And you can’t just throw them out – you’re morally obligated to take care of them for their natural life.
I don’t want any free puppies.
Un p’tit clic
Allez un petit clic pour une petite prise de conscience de la manière dont vous êtes traqués sur les Internets. C’est aussi simple que pédagogique et implacable. Et ça fait bizarre, alors que c’est une information d’une banalité affligeante, élégamment laissée dans l’ombre depuis des (dizaines d’) années. ^^
Allez juste un clic pour la postérité. Hu hu hu.
De la mécanisation du développement informatique
Ce qui m’épate le plus dans cette IAmania, c’est vraiment la rapidité du truc. Comment on est passé d’un ChatGPT pas fute-fute qui a été lancé en novembre 2022, à des IA génératives de plus en plus perfectionnées et entraînées à émuler une certaine intelligence, associée à des capacités d’analyse et de restitution de textes assez bluffantes. Mais surtout, on … Continuer la lecture De la mécanisation du développement informatique
Attention aux Prétoriens !
Je me rappelais que pas grand chose n’allait dans ce film, mais ça reste un de mes trucs de série B doudous des années 90. J’avais bien aimé parce que j’étais déjà un geek et que ça parlait d’ordinateurs, et ça évoquait presque avec trop d’avance (il est sorti en 1995) les Internets, jusqu’à son titre original « The Net » qui … Continuer la lecture Attention aux Prétoriens !
L’internet post-étasunien
Framablog traduit en français les conférences de Cory Doctorow, et notamment celle-ci à propos des USA et de leur rapport au web [via Seb Sauvage], dont je suis attentivement les textes sur son site ou Mastodon (il était plutôt pour moi il y a quelques années un « simple » auteur de SF). La transcription de cette conférence est passionnante et je crois qu’il est d’un certain devoir de citoyen du monde de la lire. Oui juste ça. ^^
De la victoire de Linux en catimini
Linux a gagné la partie [via Seb Sauvage] !! Et c’est une telle vérité à la fois factuelle et philosophique ! Ce qui est fou c’est que c’est tellement contre-intuitif par rapport au monde capitaliste dans lequel nous vivons, où l’on mesure le succès à l’aune du profit dégagé. Bah là, c’est subtil mais c’est un vrai truc hybride. C’est assez beau. Un peu comme Wikipédia, malgré ses déboires.
Linux didn’t win the way anyone expected. There was no dramatic moment where Ubuntu overtook Windows on the desktop. No press conference. No champagne. Linux won the way open source always wins — gradually, relentlessly, by being better at the things that matter most to the people building the future.
Linux Won, and Nobody Noticed par Jun
It won because it was free, and startups with no budget could build their entire infrastructure on it. It won because it was customizable, and engineers could tune it for everything from a tiny IoT sensor to the world’s fastest supercomputer. It won because it was open, and thousands of companies and millions of developers could contribute to and benefit from the same shared foundation. It won because it was reliable, and system administrators could trust it to run for years without a reboot. It won because it was secure, and organizations handling sensitive data needed something they could audit and verify.
It won not despite being open source, but because of it.
Linux n’a pas gagné de la manière dont on pouvait s’attendre. Il n’y a pas eu de moment spectaculaire où Ubuntu aurait dépassé Windows pour les ordinateurs de bureau. Pas de conférence de presse. Pas de champagne. Linux a gagné comme l’open source gagne toujours — progressivement, inexorablement, en étant meilleur sur les aspects qui comptent le plus pour ceux qui construisent le futur.
Il a gagné parce qu’il était gratuit, et que des startups sans budget pouvaient bâtir toute leur infrastructure dessus. Il a gagné parce qu’il était personnalisable, et que les ingénieurs pouvaient l’adapter aussi bien à un minuscule capteur IoT qu’au supercalculateur le plus rapide du monde. Il a gagné parce qu’il était ouvert, et que des milliers d’entreprises et des millions de développeurs pouvaient contribuer à une base commune et en tirer parti. Il a gagné parce qu’il était fiable, et que les administrateurs systèmes pouvaient lui faire confiance pour fonctionner pendant des années sans redémarrage. Il a gagné parce qu’il était sécurisé, et que les organisations manipulant des données sensibles avaient besoin d’un système qu’elles pouvaient auditer et vérifier.
Il n’a pas gagné malgré son caractère open source, mais grâce à lui.
Je lis aussi cette nouvelle linuxienne avec Ubuntu qui lève un tabou pour s’ouvrir à un peu plus de monde ou du moins à des usages devenus universellement répandus. Et c’est vrai que ça m’a surpris aussi la première fois que j’ai ouvert une console (le fait que l’on tape son mot de passe sans curseur, dans le noir absolu), mais on s’y fait super bien, et donc je ne comprends pas trop ce mouvement. Après, il faut aussi accepter les changements, et on pourra toujours revenir en arrière sans tabou aucun. ^^
Vingt ans de diffs dans les yeux plutôt que vingt ans de code dans les doigts
Pour une fois un article en français sur le sujet du développement informatique et de l’IA générative [via Morgan], et c’est assez bien écrit et universel pour que ça puisse, je pense, toucher au-delà de cercles initiés. J’ai trouvé drôle que le commentaire de celui qui a partagé soit finalement un peu différemment de ma propre lecture. C’est à dire que, oui, l’auteur craint autant les IA pour les futurs dévs, qu’il a l’air de les utiliser et maîtriser carrément pas mal lui-même. Mais sa conclusion c’est plutôt sur la possibilité d’une évolution des métiers vers l’analyse de « diffs » (il s’agit de la mise en avant de ce qui a été changé dans le code, par petits morceaux fonctionnels, souvent dans une autre couleur pour que ça ressorte bien, et qu’on comprenne facilement la différence entre avant/après). Et il met bien en avant l’immense difficulté avec le code généré de faire la différence entre le bon grain et l’ivraie, justement parce que c’est tout aussi crédible et bien commenté ou documenté.
Et c’est marrant mais j’ai exactement les mêmes difficultés en ce moment quand je relis des textes qui ont été générés avec de l’IA Gén dans le boulot. Cela me demande 5 à 10 fois plus d’attention et de relecture pour traquer les erreurs ou incohérences. Le bilan global est positif (en productivité), mais cette tâche qui pouvait être juste une légère relecture devient cruciale. Et clairement, comme pour la lecture de « diffs », on n’apprend pas de la même manière en pratiquant ainsi.
L’opiniâtreté déclinante des pratiquants de l’Informatique
Cet article (en angliche) [via SebSauvage] est absolument passionnant parce qu’il explique bien le lent et irrémédiable passage des utilisateurs geek et passionnés qui maîtrisaient leurs outils, à des consommateurs beaucoup plus passifs et effleurant la surface des choses, forcément plus assujettis aux institutions. Alors ça n’a rien de fou si l’on considère les courbes d’adoption des technologies, mais c’est … Continuer la lecture L’opiniâtreté déclinante des pratiquants de l’Informatique