Ces derniers mois, les exemples de robots conversationnels qui ont fourni des fausses informations se sont multipliés. D’abord décrites comme des «hallucinations», ces erreurs révèlent une faille beaucoup plus fondamentale, et qui va concerner tous les détecteurs de rumeurs et de fausses nouvelles, selon Science Presse.

La raison n’est pas du tout mystérieuse: ces robots sont des prédicteurs de mots.
Cela signifie qu’à partir de leur immense base de données, ils peuvent prédire en une fraction de seconde la séquence de mots la plus probable. Cela leur permet, dans la plupart des cas, de viser juste, mais ils ne «comprennent» pas ce qu’est une vérité ou une fausseté : ils fonctionnent uniquement en termes de probabilités.

Dans une étude publiée par les chercheurs de Microsoft eux-mêmes — pour accompagner la sortie de la nouvelle version du robot — on pouvait lire que celui-ci avait «de la difficulté à savoir quand il devrait être confiant et quand il devrait juste deviner».