Nous sommes au pic du cycle de battage médiatique sur IA (Intelligence Artificielle) /LLM* (Large language models)/Chatbot/IA générative comme ChatGPT.

AI-Washing de Richard Mironov

https://www.mironov.com/ai-washing/

Toutes les publications du monde du business en délirent. Les histoires vont de « 20 façons d’utiliser ChatGPT pour faciliter votre travail » à « voici comment l’IA mettra fin à la civilisation telle que nous la connaissons ».  Un quart des articles parus dans la section économique du New York Times du 7 novembre étaient liés à l’IA.  Chaque conférence client et marketing commence par des questions sur l’IA.  Les valorisations exorbitantes des entreprises d’IA sont la brillante exception à un marché baissier du capital-risque.

Cela créée une extrême urgence à intégrer des produits ou des fonctionnalités d’Intelligence Artificielle dans vos feuilles de route, qu’ils aient ou non une grande valeur pour nos utilisateurs finaux.  Au cours des 6 derniers mois, bon nombre de discussions avec les chefs de produit ont porté sur la façon d’appliquer les principes fondamentaux d’un bon produit à l’IA alors qu’une grande partie de la conversation sur ce sujet au sens large est superficielle ou techniquement suspecte ou réduit tout à des applications d’IA génératives.

Pour mettre les choses en perspective, l’IA est en incubation depuis longtemps, ce qui est typique des histoires technologiques en vogue actuellement.  En 1980, j’ai eu une mission de CompSci pour construire  un chatbot de style ELIZA qui imiterait un peu un psychiatre, en s’inspirant de l’ELIZA des années 1960 que certains utilisateurs jugeaient intelligent.  Et nous avons vu d’autres cycles de battage médiatique aller et venir : la blockchain, la télévision 3D, les modèles commerciaux viables pour les espaces de coworking, les jeux mobiles de style Pokemon-Go, MoviePass, l’économie du partage,  les voitures autonomes qui tuent parfois les piétons qui marchent à vélo.

À chaque fois, enthousiastes et opposants se sont accumulés.  Au fil du temps, nous avons trié ceux qui avaient une valeur durable et ceux qui n’étaient que de la pensée magique ou des présentations pour les investisseurs.  Après tout, toute technologie suffisamment avancée est indiscernable de la magie.

Donc, en partant des principes de base, je dirais que vous avez besoin de quelques approches différentes en fonction de ce que vous essayez réellement d’accomplir en ajoutant l’IA.  Être explicite sur votre objectif vous aide à définir le succès et à estimer l’effort.

#1 – “AI-Washing” / « Lavage par l’IA »

Le lavage par l’IA (voir la définition de l’écoblanchiment), c’est si vous annoncez et expédiez rapidement quelque chose (n’importe quoi !) qui peut être étiqueté IA ou apprentissage automatique ou LLM-ish ou génératif.  Livrer quelque chose montre que vous n’êtes pas endormi ; donne à vos dirigeants quelque chose d’IA à discuter avec les clients ; et satisfait les investisseurs moins avisés qui craignent que vous ne manquiez des valorisations exorbitantes.  L’espoir est que vous aurez une couverture médiatique positive, mais peu d’utilisateurs finaux sérieux.

Un danger : Vous vous heurtez au problème du MVP. Peu importe à quel point vous [produit/ingénierie] expliquez clairement qu’il s’agit d’une fonctionnalité générique légère, peu fonctionnelle, non rentable, à peine testée, rapide et non finie, à ne pas prendre trop au sérieux, destinée aux messages marketing plutôt qu’aux cas d’utilisation sensibles…  Votre public le traitera comme une production complète et finie dès qu’elle sera livrée.  Toutes les limitations et avertissements seront oubliés. (« Regardez l’attention que nous avons reçue de l’industrie !  8000 téléchargements, 2000 utilisateurs d’essai !  Présentons-le dans chaque communication avec les prospects et plaçons le tout en haut de notre site Web ! Pouvons-nous le monnayer ?)

Ensuite, lorsqu’un grand groupe d’utilisateurs réels essaie avec enthousiasme votre « assistant IA pour aider à rédiger de meilleurs appels d’offres » et découvre qu’il ne fait que 2 mm de profondeur, vous êtes inondé de plaintes et de demandes d’amélioration.  Votre chatbot de support client alimenté par l’IA est plus rapide à recommander la mauvaise solution que votre version non IA.  Et les publics soucieux de la technique et de la protection de la vie privée exigent des explications atrocement détaillées sur la façon dont cela fonctionne exactement et sur ce qu’il y a dans le corps.  (RGPD ?  Renseignements personnels ?  D’où proviennent vos données de tests…)  Cela peut rapidement passer d’une victoire en matière de relations publiques à un échec très visible de produit public.

#2 – Appliquer des outils d’IA généraux (génériques) pour réduire les coûts internes

Nos imaginations se déchaînent avec les façons dont l’IA pourrait simplifier notre travail ou réduire l’ennui.  Les employés nous inondent de suggestions d’augmentation automatisée du personnel, d’auto-configuration de l’IA ou d’informations automatisées sur le taux de désabonnement des clients.

L’enthousiasme pour l’IA finira par s’estomper, de sorte que ces projets devront faire leurs preuves sur le plan économique auprès de vrais utilisateurs finaux.  L’outil X réduit-il réellement la charge de travail, accélère-t-il les livraisons ou améliore-t-il suffisamment les métriques opérationnelles pour justifier le coût continu de la maintenance, de l’amélioration, du nettoyage des données, des scientifiques des données et du processeur ?

Étant donné que les LLM sont construits sur les statistiques et fourniront toujours de mauvaises réponses, prenons-nous en compte l’effort humain pour détecter les hallucinations et examiner chaque recommandation ?

À un moment donné, le retour sur investissement réel déterminera le financement continu.

Il est important de faire la différence ici entre essayer des projets d’IA internes pour apprendre les outils et ajuster nos attentes, et « le conseil d’administration a reçu la promesse que nous réduirons de plus de 20% les coûts de la logistique grâce à une sélection d’itinéraires d’expédition IA 5 fois meilleure d’ici le 2T24, et nous devons donc faire en sorte que cela fonctionne. »

À mon humble avis, la plupart des projets internes seront instructifs mais ne seront pas rentables.

#3 – Ajout de fonctionnalités d’IA à faible risque à nos produits commerciaux apportant une valeur réelle pour l’utilisateur final

Une fois que le bruit aura disparu, nos utilisateurs payants continueront à utiliser les fonctionnalités qui comptent pour eux.  Donc, si nous voulons ajouter de la valeur au produit basé sur l’  IA  (par opposition AI-Washing au niveau unitaire), nous devons valider que les nouvelles fonctionnalités résoudront mieux les problèmes réels des clients que le code traditionnel. Et qu’elles sont techniquement faisables. Et que l’investissement est approprié. L’intuition ne suffit pas.

Cela suggère de commencer par les problèmes et les métriques de l’utilisateur :

• « Combien cela vaudrait-il pour vous si nous pouvions traiter automatiquement 70 % des transactions financières et signaler le reste pour un traitement manuel ?  Ou bien 90% ?  ou encore 99.95% ? »
• « Quelle est la part des interactions de chat des consommateurs qui permet aux utilisateurs d’obtenir le bon résultat aujourd’hui ? En combien d’étapes ? Quel est le coût en termes de réputation de marque et de frustration des utilisateurs en cas de mauvaises réponses ou de mauvaises recommandations ? Comment repérez-vous les erreurs et comment améliorez-vous le système ? À quel point notre produit devrait-il être meilleur pour justifier un investissement annuel de 70 000 $ ? »

Remarquez que ceci est très différent d’hypothèses ou de projections de l’esprit pleines d’espoir.  Nous avons besoin d’une découverte honnête et approfondie et d’une science des données robuste. Supposons que le cycle du battage médiatique s’effondre et que nous devions expliquer notre investissement aux personnes qui s’intéressent encore à FTX.
(Mauvaise alternative : « ChatGPT, s’il vous plaît, dites-moi ce que mes utilisateurs veulent vraiment et avec quelle facilité l’IA générative peut résoudre ces problèmes. »)

#4 – Créer un avantage stratégique majeur pour nos produits ou notre entreprise grâce à des modèles uniques, des ensembles de données propriétaires et une science approfondie de l’IA

Nous « savons » que l’IA nous permettra de devancer la concurrence, et nous « savons » que notre ensemble de données est suffisamment grand/assez propre/légitimement acquis/suffisamment cohérent dans le temps pour que nous puissions l’utiliser pour prédire l’avenir.  Mais nos intuitions sont probablement fausses.

Quelques questions de qualification :

• Possédons-nous d’un énorme ensemble de données exclusives spécifiques à ce problème (par exemple, des millions de demandes de prêt hypothécaire pour un accélérateur d’approbation de prêt hypothécaire ; 100 millions de scans de sécurité pour un détecteur d’intrusion ; des milliards de visages pour une application de reconnaissance faciale) ? Sinon, nos concurrents peuvent utiliser le même ensemble de données publiques pour saper notre avantage. Ou avons-nous un avantage de premier implémenteur avec des données publiques qui créent des enjeux essentiels pour les concurrents ?
• Sommes-nous propriétaires des données ou avons-nous l’autorisation de les utiliser ?  « Je l’ai trouvé sur Google » ne suffit plus comme réponse.
• Avons-nous effectué des tests de prédictibilité statistique, de sorte que nous pensons qu’un modèle serait (pourrait être) plus précis que les humains ou les applications codées de manière conventionnelle ? Avons-nous conservé la moitié de notre ensemble de données à l’écart de notre modèle à des fins de validation et de test ?
• Notre ensemble de données est-il biaisé ou faussé ?  Les préjugés raciaux dans la reconnaissance faciale, les données hypothécaires incorporant des décennies de pratiques illégales, etc. suggèrent que nous supposons souvent aveuglément que les données sont propres et éthiquement neutres.
• Quel est l’inconvénient ou la responsabilité si (quand) notre application se trompe, fait des déductions erronées, blesse des gens ou leur cause des ennuis juridiques ?  Comment le saurons-nous ? Y aura-t-il suffisamment d’inspections humaines permanentes pour repérer les problèmes ?
• Au fur et à mesure que les flux de données et les contenus changent, allons-nous le remarquer ? À quelle fréquence allons-nous reconstruire et revalider nos modèles ? Que va-t-il se passer au fil du temps, une fois que nous serons en production ?

Indice : il s’agit probablement d’une initiative importante, coûteuse et sans fin.  Si votre entreprise n’a pas l’intention de dépenser des millions pour continuer à alimenter et à tester à perpétuité une application d’IA stratégique, elle dépérira et échouera. Le financement ponctuel de projet a encore moins de sens pour l’IA que pour le développement d’applications conventionnelles.

Qu’en retenir ?

Nous ne pouvons pas ignorer l’IA ni la considérer comme un pur battage médiatique.  Mais comme pour toute technologie, nous devons garder à l’esprit nos objectifs et nos résultats avant de décider qu’un outil spécifique est la réponse.  Le lavage par l’IA ou AI-Washing est acceptable si nous sommes clairs à 150 % que nous le faisons (et pourquoi).

---

* C’est quoi un LLM en IA ?