| Ma thèse explore les méthodes neuronales pour la traduction automatique et la génération de texte dans des environnements à faibles ressources. Je propose plusieurs méthodes pour surmonter les limitations qui découlent de petites quantités de données d'apprentissage, en plaçant des contraintes sur les modèles, soit comme régularisation pendant l'apprentissage (agir sur la modification des paramètres internes, ou ajouter de nouveaux jeux de données auxiliaires), soit sur l'ordonnancement de tâches lors de l'apprentissage multitâche (multitâche dynamique), ou en contraignant un modèle entraîné au moment de l'inférence.
J'ai travaillé à montrer comment des hyper-paramètres plus régularisés tels que la taille des lots et le taux d'apprentissage améliorent les scores et le temps de formation avec un transformateur sur un ensemble de données à faibles ressources, ce qui a montré que les valeurs recommandées pour les situations à ressources élevées ne sont pas optimales pour les situations à ressources faibles. J'explique cela avec la théorie déjà existante du minimiseur plat, qui postule que les points du paysage de la "loss" qui sont entourés de quartiers plus plats, au lieu de quartiers plus nets, se généralisent mieux à d'autres ensembles de données. Étant donné que les bassins plus plats nécessitent moins de précision à définir, cela implique que la formation d'un modèle avec une certaine régularisation ou du bruit, de sorte que sa mise à jour du poids ne soit pas optimale, peut le rendre plus susceptible de tomber dans l'une de ces régions, ce qui améliore sa capacité de généralisation .
J'ai également exploré l'apprentissage par transfert basé sur la pré-formation sur des paires de langues à ressources plus élevées, l'utilisation de données synthétiques et l'assemblage de modèles. J'ai également combiné ces méthodes plus établies avec la formation multi-tâches avec des tâches de "denoising" qui sont planifiées en fonction de leur complexité.
J'ai également travaillé sur la génération du langage, en particulier la génération de la poésie. Nous avons conçu un générateur de poèmes dynamiques en français et en anglais. Les différentes étapes de la génération comprennent la génération de base, le réglage fin du sujet et de l'émotion, la rime et le choix de la police. L'utilisateur peut choisir la forme, la combinaison de sujets et d'émotions et le schéma de rimes. |
