Si l’on scrute avec attention le rapport entre l’Homme et sa création, l’IA, le temps est venu de scruter l’IA et l’IA. Au commencement était l’homme qui alimentait l’IA, mais comme cette dernière peut également s’auto alimenter, l’homme en est venu à se demander ce qui se passait quand une IA parlait à une autre IA ? Consternation, puisque la réponse est : des absurdités ! AI fed AI-generated data spews nonsense. C’est ce que les scientifiques appellent l’effondrement des modèles. L’étude proposée par l’article porte essentiellement sur des modèles linguistiques qui nourrissent l’IA. Ce n’est pas tant la quantité totale d’informations fournie à la machine que la proportion de chaque donnée portée dans chaque apport. Ainsi une donnée peut-elle disparaitre parce qu’insuffisamment présente. Mais un mot par ce qu’il est courant peut à l’inverse être sur représenté. Ainsi par le jeu de surexpressions et sous expressions d’origine statistique, l’apport primitif devient alors tronqué ou gonflé lors de la deuxième étape, phénomène qui ne peut que s’amplifier au fur et à mesure. Mais ne s’agit-il pas en l’occurrence d’un processus normal d’accumulation d’erreurs successives ? Dans l’état des choses le traitement statistique du mot par la machine est incompatible avec la richesse de l’expression humaine qui sait donner par un seul mot le sens exact. Il est satisfaisant d’en prendre conscience pour apprendre mieux à la machine mais chaque enseignant sait combien il est difficile de se bien faire comprendre par ceux que l’on enseigne.
Tags: effondrement des modèles, IA