Matoo votre spécialiste en too !!

J’ai posté ce matin la critique de ce film de wushu que j’ai vu hier soir, The furious. Comme souvent, j’écris ce que je pense, et puis je me lance dans certaines vérifications ou élucidations. Et là en l’occurrence, j’étais curieux de savoir si d’autres papiers, mais plus sérieux que moi, mentionnaient aussi un rapprochement possible entre The furious et Big Boss. J’ai fait quelques recherches classiques qui ont été infructueuses (qui consistent en une prosaïque coïncidence dans un même texte de « the furious » et « big boss »), et donc j’ai testé l’usage de Perplexity (service d’IA générative spécialisé dans la recherche sur Internet) qui a l’avantage d’utiliser les contenus des Internets les plus frais pour remonter des sources.

Mais voilà ce qu’il se passe, quand on est sur un domaine minuscule avec très peu de sources, et que l’IA tient à me satisfaire donc à me trouver cette corrélation puisque je la cherche.

Comme vous le notez, c’est mon propre article qui est cité (trois heures après la publication, c’est assez fort) en référence. Tout le reste est une quasi-hallucination de Perplexity qui m’explique tous les rapprochements qui frisent l’évidence en citant des pages qui n’en parlent pas du tout. Alors ce n’est pas un tort de me citer, car après tout je suis une « source » mais évidemment je ne suis ni critique professionnel, ni un expert en quoi que ce soit (sinon en pédésexualité ) !

En revanche, il cite également un site web allemand qui fait bien le rapprochement idoine avec le film, et c’est le titre en allemand qui est cité (Bruce Lee – Die Todesfaust des Cheng Li), mais le contenu évoque juste le rapprochement de lieux, sans vraiment comme je l’ai fait évoquer les pains de glace comme une sorte d’easter egg. Cela reste une source très intéressante, et c’est top que l’IA aille jusqu’à rechercher des pistes sur des sources étrangères (jamais je n’aurais été à ce point opiniâtre).

En réalité, quand j’ai demandé des sources fiables et des citations avérées, j’ai eu droit à des mentions sur Reddit de ce genre avec encore une simili hallucination. Et je ne remets pas en question les nerds de Reddit (dont je fais partie), car cela confirme bien que des fans de ce genre de films ont aussi eu la puce à l’oreille.

Mais la réponse de l’IA fait comme souvent prendre des vessies pour des lanternes, en utilisant des sources parfois boiteuses (comme moi ) pour rédiger une réplique parfaitement crédible et d’un ton beaucoup plus expert et érudit, voire donc trompeuse au final.

J’avais déjà eu le cas quand je cherchais des infos sur Marc-Aurèle et notamment certaines explications philosophiques sur des pensées. Je me suis retrouvé cité dans les réponses, et donc j’ai pu allègrement ignorer ces propositions, aussi flatteuses soient-elles. Je m’inquiète plus pour les personnes sans aucun recul ou esprit critique qui pourrait prendre tout cela pour argent comptant, mais c’est bien un des énormes défauts des LLM. On programme ces services pour répondre dans presque tous les cas (parfois, j’ai des réponses qui vont moins dans mon sens, mais c’est quand le corpus est riche, et on ne le sait jamais quand on pose la question) et quelle que soit la qualité statistique de la réponse ou de la nature des sources (notamment quand il y en a trop peu).

(Le titre du post est une blague en mode service web des années 90-2000 qui se terminait par oo, et qui est bien la raison de mon pseudo antédiluvien, je le reconnais. )