Réglage fin par ensemble convergent de divers modèles transformers pour l’analyse du sentiment [r-libre/2829]

Guévin-Kamena, Roger (2023). Réglage fin par ensemble convergent de divers modèles transformers pour l’analyse du sentiment (mémoire de maîtrise en Technologie de l'information, Université TÉLUQ, Québec, Canada). Direction : Lemire, Daniel.

Fichier(s) associé(s) à ce document :

PDF - Guevin-Kamena.pdf
Licence : Creative Commons CC BY-NC-ND.

Télécharger

Catégorie de document :	Thèses et mémoires
Évaluation par un comité de lecture :	Oui
Étape de publication :	Non publié
Résumé :	Le développement des techniques de réglage fin pour les modèles transformers pré-entraînés comme BERT (Devlin et al., 2018 [22]) a beaucoup gagné en popularité depuis 2018. Comparativement à la technique d’extraction des caractéristiques, le réglage fin donne des résultats de pointe sur de nombreuses tâches en aval liées au traitement automatique du langage naturel (Ma et al., 2019 [65]). En analyse du sentiment, ces avancées aident à surmonter plusieurs enjeux techniques importants, comme la gestion des termes de négation, des anaphores et des références syntagmatiques plus subtiles (Birjali et al., 2021 [10]). Néanmoins, certains enjeux demeurent nonrésolus, notamment la difficulté d’obtenir des données d’entraînement pour des tâches-domaines spécialisées (Xu et al., 2019 [113]). Cette problématique est liée au coût et à la difficulté de créer des jeux de données manuellement annotés par des êtres humains. Dans ce mémoire, une nouvelle solution d’annotation programmatique est proposée, s’appuyant sur les travaux de Ghashiya et Okamura (2021) [34] avec des modèles lexicaux en analyse du sentiment portant sur les titres d’actualité durant la Covid-19. Comme alternative aux modèles lexicaux, la technique proposée utilise un modèle de réglage fin par ensemble de modèles transformers appelé MDLsoft. Cette technique combine des aspects de deux stratégies de réglage fin, soit les auto-ensembles par votes (Xu et al., 2020 [115]) et l’apprentissage multitâches (Liu et al., 2019 [62]). À partir des prédictions issues du modèle final, une analyse du sentiment sera présentée portant sur le même sujet que Ghashiya et Okamura, mais en y apportant certaines améliorations techniques.
Déposant:	Breault, Claude
Responsable :	Claude Breault
Dépôt :	11 janv. 2023 20:59
Dernière modification :	11 janv. 2023 20:59

Actions (connexion requise)

RÉVISER