Des chercheurs israéliens ont mis au point une méthode permettant de générer des questionnaires d’évaluation de la personnalité avec ChatGPT, à partir de n’importe quel texte source.
L’étude, publiée dans la revue iScience du groupe Cell Press, est signée de la docteure Rotem Monsa, du professeur Aviv Zohar et du professeur Shahar Arzy, de la faculté de médecine Hadassah de l’Université hébraïque et de l’école d’informatique et d’ingénierie Rachel et Selim Benin.
Le point de départ est une intuition simple.
ChatGPT et les autres grands modèles de langage sont entraînés sur internet, en compilant des milliers de milliards de données de langage humain issues de sites web et de réseaux sociaux. Les chercheurs se sont donc demandé si la personnalité humaine n’était pas, d’une certaine façon, déjà inscrite dans leurs algorithmes.
Puisque les traits de personnalité se reflètent dans le langage, explique la docteure Monsa, les modèles pourraient avoir appris la structure de la personnalité humaine comme un sous-produit naturel de leur entraînement. On ne leur a jamais enseigné la psychologie ni les théories de la personnalité, dit-elle, mais celles-ci sont déjà contenues dans le langage dont ils apprennent.
Restait à le vérifier. Voici le protocole.
L’équipe a utilisé GPT-4 pour générer deux questionnaires d’évaluation de la personnalité à partir de deux livres très différents.
Le premier texte source était la section du DSM-5 consacrée aux troubles de la personnalité — le manuel qu’utilisent les cliniciens pour poser leurs diagnostics. L’hypothèse : les traits de personnalité se situent sur un continuum allant jusqu’au trouble.
Le second, choisi comme témoin, était un manuel d’astrologie grand public. Les deux ouvrages avaient été retenus délibérément, précise la chercheuse, parce que tous deux décrivent la personnalité avec une grande richesse de détail.
Les deux questionnaires générés ont ensuite été administrés à six cents adultes, aux côtés du Big Five Inventory, l’outil de référence en psychologie de la personnalité.
Premier résultat : la cohérence interne — c’est-à-dire la capacité d’un test à mesurer bien la même chose d’une question à l’autre — était élevée pour le Big Five et pour le questionnaire tiré du DSM-5. Elle était faible pour celui tiré de l’astrologie.
Deuxième résultat, et c’est le plus frappant : le modèle a prédit les schémas de réponse humains pour les deux questionnaires qu’il avait lui-même générés.
Interrogée sur la manière dont ChatGPT pouvait deviner les réponses avant de les voir, la docteure Monsa apporte une précision décisive. Il ne s’agissait pas de prédire la réponse d’une personne, mais une réponse à l’échelle d’une population. L’équipe a été très surprise de la performance du modèle. Et pour écarter tout soupçon de triche, elle souligne que ces questionnaires n’existaient nulle part sur internet — donc hors de portée de la matière première du modèle. La prédiction a par ailleurs été répétée plusieurs fois, avec des résultats très proches d’une fois sur l’autre.
Reste l’astrologie, et c’est là qu’il faut être précis.
Les réponses au test issu du livre d’astrologie prédisaient le bien-être, le revenu et le niveau d’éducation des participants à peu près aussi bien qu’un questionnaire de psychologie standard. Ce fut, dit la chercheuse, la plus grande surprise de l’étude.
Mais la suite corrige l’impression. Lorsque les chercheurs ont regroupé les réponses en scores globaux, le Big Five et le questionnaire fondé sur le DSM ont nettement devancé le test astrologique sur les mesures de santé mentale. Autrement dit : les affirmations individuelles tirées de l’astrologie captent bel et bien quelque chose de réel sur les gens — c’est le cadre qui les organise qui ne tient pas.
La docteure Monsa en tire une formule qui mérite d’être retenue : elle ne jugerait pas un questionnaire à qui — ou à quoi — l’a rédigé, mais à sa solidité.
L’équipe travaille désormais à l’étape suivante : déterminer s’il est possible de lire la personnalité directement dans le langage naturel des gens, en s’appuyant sur ce que le modèle a intérieurement encodé à leur sujet, sans passer par aucun questionnaire.
Ce qui ouvre, évidemment, autant de perspectives cliniques que de questions sur la vie privée.
Sur la recherche israélienne et l’intelligence artificielle, nos publications précédentes prolongent le sujet. Nous avions relayé l’étude israélienne reliant le sentiment d’utilité à la santé cognitive des seniors, l’histoire de la princesse juive du Bahreïn, ainsi que le parcours d’un ancien dirigeant néonazi hongrois devenu juif.
[signoff]
