Les chercheurs ont développé un modèle d’IA pour aider les ordinateurs à travailler plus efficacement avec une plus grande variété de langues – étendant les capacités de traitement du langage naturel (NLP) aux langues africaines qui sont fortement sous-représentées dans l’IA.
Les langues africaines ont reçu peu d’attention de la part des informaticiens, de sorte que peu de capacités de PNL ont été disponibles pour de larges pans du continent. Mais un nouveau modèle linguistique, développé par des chercheurs de l’Université de Waterloo au Canada, comble cette lacune en permettant aux ordinateurs d’analyser le texte dans les langues africaines pour de nombreuses tâches utiles.
Lo-Fi Player – Devenez compositeur de musique Lo-Fi à l’aide de l’intelligence artificiel
[bctt tweet=”L’IA place 11 langues africaines au en face du modèle de réseau de neurones” username=”tedidevblog”]
L’IA au service de la langue africaine.
Le nouveau modèle de réseau neuronal, que les chercheurs ont surnommé AfriBERTa, utilise des techniques d’apprentissage en profondeur pour obtenir des résultats « à la pointe de la technologie » pour les langues à faibles ressources, selon l’équipe.
Il fonctionne spécifiquement avec 11 langues africaines, dont l’amharique, le haoussa et le swahili, qui sont parlées collectivement par plus de 400 millions de personnes, et atteint une qualité de sortie comparable aux meilleurs modèles existants malgré l’apprentissage à partir d’un seul gigaoctet de texte, tandis que d’autres modèles nécessitent des milliers de fois plus de données, ont déclaré les chercheurs.
« Les modèles linguistiques pré-entraînés ont transformé la façon dont les ordinateurs traitent et analysent les données textuelles pour des tâches allant de la traduction automatique à la réponse aux questions », a déclaré Kelechi Ogueji, étudiant à la maîtrise en informatique à Waterloo. « Malheureusement, les langues africaines ont reçu peu d’attention de la part de la communauté des chercheurs.
« L’un des défis est que les réseaux de neurones sont incroyablement gourmands en texte et en traitement de données. Et contrairement à l’anglais, qui dispose d’énormes quantités de texte disponible, la plupart des quelque 7 000 langues parlées dans le monde peuvent être qualifiées de faibles ressources, en ce sens qu’il y a un manque de données disponibles pour alimenter les réseaux de neurones avides de données.
Une intelligence artificielle permet de diagnostiquer le cancer en moins de 5min
Selon les chercheurs, la plupart de ces modèles fonctionnent selon une technique connue sous le nom de pré-entraînement. Pour ce faire, les chercheurs ont présenté le modèle avec du texte où certains mots avaient été recouverts ou masqués.
Le modèle devait alors deviner les mots masqués. En répétant ce processus plusieurs milliards de fois, le modèle apprend les associations statistiques entre les mots, qui imitent la connaissance humaine de la langue.
“Être capable de pré-entraîner des modèles qui sont tout aussi précis pour certaines tâches en aval, mais en utilisant des quantités de données beaucoup plus petites, présente de nombreux avantages“, a déclaré Jimmy Lin, président de la Cheriton School of Computer Science.
« Avoir besoin de moins de données pour entraîner le modèle de langage signifie que moins de calculs sont nécessaires et, par conséquent, moins d’émissions de carbone associées à l’exploitation de centres de données massifs », a-t-il ajouté. “Des ensembles de données plus petits rendent également la conservation des données plus pratique, ce qui est une approche pour réduire les biais présents dans les modèles.”
Lin pense que la recherche et le modèle font un « pas petit mais important » pour apporter des capacités de traitement du langage naturel à plus de 1,3 milliard de personnes sur le continent africain.
Source : eandt.theiet.org
Conclusion
Vous serez peut être intéressé par :
