Rencontrez Meta SeamlessM4T : traducteur multilingue

Meta vient de lancer un nouvel outil impressionnant appelé SeamlessM4T. Ce modèle d'IA élégant peut transcrire et traduire près de 100 langues, et constitue un grand pas en avant vers l'élimination des barrières linguistiques.

La société affirme que SeamlessM4T, traduction automatique massivement multilingue et multimodale, peut convertir la voix en texte et le texte en parole dans près de 100 langues. Il identifie 100 langues d'entrée et les transforme en 35 langues de sortie pour les fonctions de synthèse vocale et de synthèse vocale.

Parce qu'il est distribué sous la licence Creative Commons CC BY-NC 4.0, les chercheurs sont libres de l'améliorer. Les informations pour SeamlessAlign, qui fait partie de l'ensemble de données de traduction ouvert de Meta, ont également été mises à disposition avec SeamlessM4T. Contrairement aux grands modèles de traduction existants qui divisent la traduction entre plusieurs systèmes, SeamlessM4T réalise l'intégralité du travail de traduction en une seule opération, selon Meta, ce qui en fait « une avancée significative ».

Si SeamlessM4T fonctionne comme prévu, l’un de ses aspects intrigants est sa supposée capacité à détecter le changement de code ou la transition entre deux ou plusieurs langues au sein d’une seule phrase. Par exemple, Meta a montré dans une vidéo comment le modèle peut immédiatement distinguer l'hindi, le telugu et l'anglais.

Il offre le potentiel de discerner instantanément quand un locuteur traverse une langue, comme le démontre une vidéo captivante où il fait la distinction sans effort entre l'hindi, le telugu et l'anglais. Cette capacité pourrait révolutionner la communication interculturelle, favorisant un monde où la langue ne constitue plus une barrière.

« Conformément à notre approche de la science ouverte, nous publions SeamlessM4T sous une licence de recherche pour permettre aux chercheurs et aux développeurs de s'appuyer sur ce travail. Nous publions également les métadonnées de SeamlessAlign, le plus grand ensemble de données de traduction multimodale ouverte à ce jour, totalisant 270 000 heures d'alignements de paroles et de textes », explique Meta.

Qu'est-ce que Llama2: L'IA de Meta expliquée

Pour produire des modèles plus légers et gérer plus d'informations, Meta a affirmé avoir modifié sa boîte à outils de modélisation de séquence Fairseq pour générer SeamlessM4T.

Selon Meta, il a créé un système capable de reconnaître les phrases nuisibles ou délicates lors de la création de SeamlessM4T. Selon la définition donnée par Meta, les mots toxiques sont ceux dont « la traduction peut inciter à la haine, à la violence, aux grossièretés ou aux abus ». L'objectif est de pouvoir identifier les cas où la toxicité introduite par la traduction de sortie n'existait pas auparavant dans le contenu source.