Modèles de langage : l’approche par les instructions pour améliorer la validité des mesures

Déchiffrer la validité des modèles de langage : un défi crucial

Les modèles de langage (LM) ont révolutionné l’analyse de texte computationnelle, offrant une précision et une polyvalence inédites. Cependant, un défi de taille persiste : garantir la validité des mesures dérivées de ces modèles. Les chercheurs risquent d’interpréter de manière erronée les résultats, potentiellement en mesurant des facteurs non intentionnels comme l’ancienneté au lieu de l’idéologie, ou les noms de partis plutôt que le populisme. Cet écart entre les mesures prévues et réelles peut conduire à des conclusions substantiellement erronées, sapant la crédibilité des résultats de recherche.

La pierre angulaire de la validité en sciences sociales computationnelles

La question fondamentale de la validité des mesures est prépondérante dans le domaine des sciences sociales computationnelles. Malgré la sophistication croissante des modèles de langage, les inquiétudes concernant l’écart entre les ambitions de ces outils et la validité de leurs résultats demeurent. Ce problème a été un sujet de préoccupation de longue date pour les chercheurs, qui ont constamment mis en garde contre les défis associés à la validité dans les méthodes d’analyse de texte.

La nécessité de combler cet écart est devenue de plus en plus urgente à mesure que les modèles de langage continuent d’évoluer et d’étendre leurs applications dans divers domaines de recherche. C’est dans ce contexte que s’inscrit une étude récente menée par des chercheurs de Communication Science (Vrije Universiteit Amsterdam) et du Department of Politics, IR and Philosophy (Royal Holloway University of London).

Une approche novatrice pour réduire les biais et améliorer la validité

Cette étude aborde la question cruciale de la validité des mesures dans l’apprentissage automatique supervisé pour les tâches en sciences sociales, en se concentrant particulièrement sur l’impact des biais dans les données d’apprentissage fin sur la validité. Les chercheurs visent à combler le manque dans la littérature en étudiant empiriquement trois questions de recherche clés :

1. L’étendue de l’impact des biais sur la validité
2. La robustesse des différentes approches d’apprentissage automatique face à ces biais
3. Le potentiel des instructions significatives pour les modèles de langage afin de réduire les biais et d’accroître la validité

L’étude s’inspire de la littérature sur l’équité dans le traitement du langage naturel, qui suggère que les modèles de langage comme BERT ou GPT peuvent reproduire des modèles fallacieux de leurs données d’entraînement plutôt que de vraiment comprendre les concepts qu’ils sont censés mesurer.

Pour relever ce défi, l’article propose et étudie les modèles basés sur les instructions comme solution potentielle. Ces modèles reçoivent des instructions explicites et verbalisées pour leurs tâches, en plus des données d’apprentissage fin. Les chercheurs théorisent que cette approche pourrait aider les modèles à apprendre les tâches de manière plus robuste et à réduire leur dépendance aux modèles de langage spécifiques aux groupes présents dans les données d’apprentissage fin, améliorant potentiellement ainsi la validité des mesures à travers différents groupes sociaux.

Une étude empirique rigoureuse pour tester l’approche

L’étude examine la robustesse de différentes approches d’apprentissage automatique supervisé face aux biais dans les données d’apprentissage fin, en se concentrant sur trois types de classifieurs principaux : la régression logistique, BERT-base (DeBERTa-v3-base) et BERT-NLI (modèle basé sur les instructions).

La conception de l’étude implique d’entraîner ces modèles sur quatre ensembles de données à travers neuf types de groupes, en comparant les performances dans des conditions d’entraînement biaisées (sur des textes échantillonnés d’un seul groupe) et aléatoires (de manière aléatoire à travers tous les groupes). Les tests sont ensuite réalisés sur un ensemble de test représentatif pour mesurer la « pénalité de biais », soit la différence de performance entre les deux conditions.

L’analyse des erreurs de classification est réalisée à l’aide d’une régression binomiale à effets mixtes, en prenant en compte le type de classifieur et si les textes de test proviennent du même groupe que les données d’entraînement. L’impact des instructions significatives est également testé en comparant les performances de BERT-NLI avec des instructions significatives et non significatives.

Des résultats prometteurs pour les modèles basés sur les instructions

Les résultats de l’étude montrent que tous les types de classifieurs apprennent des biais basés sur les groupes, mais que les effets sont généralement faibles. La régression logistique a montré la plus forte baisse de performance (2,3 % de F1 macro) lorsqu’elle était entraînée sur des données biaisées, suivie de BERT-base (baisse de 1,7 %), tandis que BERT-NLI a présenté la plus petite diminution (0,4 %).

Les probabilités d’erreur sur les groupes non vus ont augmenté pour tous les modèles, BERT-NLI affichant la plus faible hausse. Cette robustesse de BERT-NLI est attribuée à sa structure algorithmique et à sa capacité à incorporer les définitions de tâches sous forme d’instructions textuelles, réduisant ainsi sa dépendance aux modèles de langage spécifiques aux groupes.

Ces résultats suggèrent que les modèles basés sur les instructions comme BERT-NLI pourraient offrir une validité de mesure améliorée dans l’apprentissage automatique supervisé pour les tâches en sciences sociales. En permettant aux modèles de se concentrer sur les instructions plutôt que sur les biais potentiellement présents dans les données d’entraînement, cette approche pourrait ouvrir la voie à des analyses plus fiables et plus précises dans ce domaine crucial.