Jev joue à Doom, le handicap attend son tour

Le 15 septembre, TypeSafe AI a ouvert Jev en accès anticipé, le jour même où elle annonçait 40 millions de dollars levés. Cinq jours plus tard, la liste d'attente sautait ; entre-temps, l'API avait cédé sous la demande. Les développeurs sont ravis, la presse a fait ses vérifications d'usage (le « zéro hallucination » ne tient pas, les comparaisons sont faites maison), et tout le monde a pu admirer le modèle jouer à Doom.

Bravo. Je le pense : un modèle qui tranche en moins d'une demi-seconde, pour presque rien, avec une probabilité exploitable, c'est une avancée. J'ai simplement assez d'expérience de ces annonces pour poser la question que personne n'a posée. Et pour le handicap, ça arrive quand ?

Ce que Jev sait faire

Jev n'écrit pas. On lui donne un « état » (un courriel, un ticket, la description d'une situation) et des questions dont les réponses sont fixées d'avance. Il choisit une option dans une liste, place quelque chose sur une échelle, ou dit si une affirmation est vraie, avec une probabilité. TypeSafe annonce entre 70 et 500 millisecondes par requête et facture 0,042 dollar le million de jetons.

Le nom vient de Jevons, l'économiste qui avait remarqué qu'une machine à vapeur plus économe faisait brûler plus de charbon. L'entreprise en a fait un programme : chaque baisse du coût de l'intelligence doit ouvrir beaucoup plus d'usages. Les usages qu'elle a choisi de montrer sont le tri de courriels, le service client, les factures et la sécurité des agents. Pour les démonstrations, Doom et une course de liens sur Wikipédia. On a les priorités qu'on peut.

Les usages que personne n'a démontrés

Il ne faut pas une imagination débordante pour en trouver du côté du handicap. Les trois primitives de Jev décrivent presque mot pour mot des besoins connus depuis des décennies.

Un tableau de communication alternative propose des pictogrammes ou des phrases à une personne qui ne parle pas, ou pas assez vite pour qu'on attende la fin de sa phrase. Réduire quarante choix aux six plus probables selon la conversation, c'est une question de type Choice. Pour quelqu'un qui sélectionne au contacteur, case par case, chaque choix en moins fait gagner des secondes, et une personne attend en face. Dans une chaîne de traitement de factures, personne n'attend rien ; c'est pourtant sur ce genre de chaîne que TypeSafe a mesuré ses « 193,6 fois plus rapide ».

Juger si un texte administratif est lisible par une personne qui a une déficience intellectuelle, sur une échelle : Score. Les règles du « facile à lire et à comprendre » existent depuis longtemps, les administrations les appliquent quand elles ont le budget, c'est-à-dire rarement.

Vérifier qu'une description d'image dit à un étudiant aveugle ce qu'il a besoin de savoir, et pas seulement qu'il y a « un diagramme avec des cercles et des flèches » : une affirmation vraie ou fausse, à faire tourner sur chaque document déposé sur une plateforme de cours, pour une fraction de centime.

Et le tri des demandes d'aménagement, qui prend des semaines dans bien des établissements pendant que l'étudiant passe ses partiels sans rien, gagnerait à ce qu'une machine range les dossiers complets d'un côté et ceux qui attendent une pièce de l'autre.

Rien de tout ça n'est une idée originale. Tout le monde y a pensé. Simplement, ça ne fait pas une démonstration qui circule sur les réseaux, et ça ne se vend pas à des directeurs techniques.

Pourquoi ça ne viendra pas tout seul

On me répondra que TypeSafe fournit l'outil et que les applications viendront d'ailleurs. Sa propre documentation se charge de démentir. Le modèle n'accepte que du texte, et laisse à d'autres le soin de transcrire tous ceux qui ne communiquent pas par écrit. L'anglais est sa langue principale ; les autres sont prises en charge, « mais pas aussi bien ». Les clients ne peuvent pas l'ajuster : les mêmes poids servent tous les comptes. Il est entraîné uniquement sur des données synthétiques, que l'entreprise a conçues et dont elle n'a rien détaillé. Et sa calibration, précise la documentation, se mesure sur des groupes de prédictions, c'est-à-dire en moyenne, là où les populations minoritaires pèsent le moins.

Une association qui voudrait monter un tableau de communication en français sur Jev ne pourrait donc ni lui apprendre son vocabulaire, ni savoir s'il a jamais vu une conversation qui ressemble à celles de ses usagers. Elle pourra payer à l'usage, comme tout le monde, et croiser les doigts.

Le paradoxe de Jevons promet que l'usage explose quand le coût baisse. Il oublie de préciser lesquels. Les premiers servis sont ceux qui rapportent, et je n'ai encore jamais vu le handicap arriver en tête de cette file.

Le parent pauvre

TypeSafe n'a rien inventé. Dans l'industrie de l'IA, le handicap occupe la même place que l'inclusivité ou l'écologie : on le sort quand il fait briller, on le range quand il coûte. En mars 2023, pour le lancement de GPT-4, OpenAI a mis en avant Be My Eyes, une application pour personnes aveugles, parmi ses partenaires. Le modèle savait décrire des images, et quoi de plus émouvant pour le montrer qu'une personne aveugle à qui il décrit son environnement. L'image a fait le tour du monde. L'accès, lui, est resté réservé à quelques bêta-testeurs, et ne s'est élargi que cinq mois plus tard, quand l'annonce avait fini de servir.

Avec Jev, on n'a même pas droit à la photo. Le handicap n'apparaît ni dans le billet de lancement, ni dans la documentation, ni dans la page qui recense les neuf faiblesses connues du modèle, ni dans la réception telle que la résume Wikipédia. Il ne faisait pas briller cette fois-ci, alors il n'a pas été invité.

Personne n'est contre, évidemment. Personne n'est jamais contre. On le garde pour plus tard, pour la version 2, pour le jour où un client le demandera avec un bon de commande, ou pour la prochaine campagne sur l'inclusion, quand il faudra une image.

La prochaine démonstration

TypeSafe a montré que Jev jouait à Doom en temps réel, à partir d'une description structurée de l'état du jeu. Des gens ont passé du temps, dans une entreprise qui venait de lever 40 millions de dollars, à faire tuer des démons à un classifieur en 70 millisecondes.

La même vitesse, au service d'une personne qui parle au contacteur, demanderait un jeu de données de plus, un français un peu mieux traité, et des chiffres publiés sur les utilisateurs concernés. Ce n'est pas hors de portée. Il faudrait juste que ça passe avant Doom sur la liste, et je ne retiens pas mon souffle.

Références