AMÉLIORATION DES AGENTS CONVERSATIONNELS À L'AIDE DE MODULES D'ATTENTION ROTATIONNELLE ET DE SPLINE À PORTES (REVUE ROUMAINE DES SCIENCES TECHNIQUES — SÉRIE ÉLECTROTECHNIQUE ET ÉNERGÉTIQUE, 2025)
En compréhension du langage naturel, les modèles de transformateurs comme T5 et GPT ont obtenu d'excellents résultats en générant des réponses contextuellement pertinentes. Cependant, des limitations telles que l'auto-attention statique dans T5 et le contexte unidirectionnel dans GPT entravent leur capacité à capturer des dépendances inter-tokens plus profondes et une sémantique nuancée. Pour relever ces défis, nous proposons une architecture T5 améliorée (ET5) intégrant deux nouveaux modules : l'attention rotationnelle contextuelle à deux axes (CDARA) et les unités linéaires à déclenchement neural-spline (NS-GLU). CDARA facilite l'attention sur les dimensions des tokens et des caractéristiques, tandis que NS-GLU introduit un déclenchement adaptatif activé par spline pour une meilleure représentation non linéaire. Des expériences sur NarrativeQA, SQuAD, MultiWOZ et DailyDialog montrent qu'ET5 surpasse systématiquement PEGASUS, GPT-3 et T5-LSTM FusionNet. ET5 obtient des scores BERTScore supérieurs (jusqu'à 0,971), BLEU (jusqu'à 0,77) et un taux d'erreur de mots (WER) plus faible (jusqu'à 0,13), confirmant son efficacité à générer des réponses fluides, précises et sémantiquement riches. Ces résultats positionnent ET5 comme une avancée prometteuse dans les systèmes d'IA conversationnels basés sur des transformateurs.
Keywords: Compréhension du langage naturel; IA conversationnelle; Modèle T5 amélioré; Attention rotationnelle contextuelle à deux axes; Unités linéaires à porte neuronale spline