ElevenLabs sale de la fase beta y lanza Eleven Multilingual v2, un modelo conversacional con IA en 30 idiomas

• La plataforma de voz con IA ElevenLabs da un gran paso para eliminar las barreras de idioma en todo tipo de contenido con el lanzamiento de un nuevo modelo de deep learning, que ofrece capacidades multilingües en 30 idiomas: Eleven Multilingual v2.
• Este avance permitirá que los medios de comunicación, desarrolladores de juegos, editores y creadores independientes de todo el mundo puedan mejorar drásticamente la accesibilidad a sus contenidos.
• Estas nuevas funciones, que llegan tras varios lanzamientos y mejoras desde que presentamos la plataforma en enero, marcan también el fin oficial de la fase beta de la compañía.
• En ElevenLabs queremos que cualquier contenido sea accesible para todos, en cualquier idioma y con cualquier voz.

Londres, Reino Unido - ElevenLabs, líder mundial en software de voz con IA, ha lanzado hoy un nuevo modelo de generación de voz multilingüe en 30 idiomas, capaz de crear audio generado por IA con matices emocionales.

Este avance, basado íntegramente en investigaciones internas, permitirá a creadores producir contenido de audio localizado para los mercados internacionales de Europa, Asia y Oriente Medio. ElevenLabs ha dedicado los últimos 18 meses a analizar los marcadores del habla humana, lo que le ha permitido crear nuevos mecanismos para comprender el contexto y transmitir emociones a la generación del habla, así como sintetizar voces nuevas y únicas.

Con Eleven Multilingual v2, al introducir un texto en la plataforma de Texto a Voz de ElevenLabs, el nuevo modelo puede detectar automáticamente unos 30 idiomas y generar voces con un nivel de realismo nunca visto.

Además, tanto si usas una voz sintética como una voz clonada, las características únicas del hablante se mantienen en todos los idiomas, incluido su acento original. Así puedes usar la misma voz para dar vida a tu contenido en 30 idiomas distintos.

Este lanzamiento llega tras la publicación de Professional Voice Cloning, disponible para cualquier creador en la plataforma. Esta actualización, que llegó junto a nuevas funciones de seguridad, permite a los usuarios crear una copia digital perfecta de su propia voz, prácticamente indistinguible de la original. El lanzamiento de hoy significa que tu voz podrá hablar en los casi 30 idiomas que ofrece el modelo multilingüe.

Los idiomas compatibles incluyen coreano, neerlandés, turco, sueco, indonesio, vietnamita, filipino, ucraniano, griego, checo, finlandés, rumano, danés, búlgaro, malayo, húngaro, noruego, eslovaco, croata, árabe clásico y tamil. Se suman a los idiomas ya disponibles: inglés, polaco, alemán, español, francés, italiano, hindi y portugués.

Tras los últimos lanzamientos de nuevas funciones y las mejoras continuas de la plataforma, ElevenLabs también ha confirmado hoy que la plataforma deja oficialmente la fase beta. Este paso marca un momento clave en nuestro compromiso de ofrecer herramientas fiables y punteras a más de 1 millón de usuarios en todo el mundo.

De cara al futuro, en ElevenLabs planeamos introducir un sistema para que los usuarios puedan compartir voces en la plataforma y aprovechar el desarrollo de nuevos audios, fomentando así la colaboración entre humanos e IA.

Mati Staniszewski, CEO y cofundador de ElevenLabs, comenta:

«En ElevenLabs nacimos con el sueño de que cualquier contenido sea accesible para todos, en cualquier idioma y con cualquier voz. Con el lanzamiento de Eleven Multilingual v2, estamos un paso más cerca de lograrlo y de que voces de calidad humana creadas con IA estén disponibles en todos los dialectos».

«Nuestras herramientas de generación de texto a voz ayudan a igualar oportunidades y ofrecen audio hablado de alta calidad a cualquier creador. Ahora, estos beneficios llegan también a aplicaciones multilingües en casi 30 idiomas. Con el tiempo, esperamos cubrir aún más idiomas y voces con la ayuda de la IA y eliminar las barreras de idioma en los contenidos. En ElevenLabs creemos que estos avances en accesibilidad impulsarán más creatividad, innovación y diversidad».

Al reducir los costes y los recursos necesarios para crear contenidos de audio de alta calidad en múltiples idiomas, ElevenLabs permite que empresas y creadores produzcan unos contenidos más imaginativos y accesibles en todas las culturas e idiomas.

En el caso de desarrolladores y editores de juegos independientes, la herramienta de generación de voz multilingüe abre nuevas posibilidades para traducir experiencias de juego y contenido de audio para audiencias internacionales, conectando con jugadores y oyentes en su propio idioma sin perder calidad ni precisión en el audio.

De la misma forma, instituciones educativas ahora pueden ofrecer a sus estudiantes contenido de audio preciso e instantáneo en los idiomas de destino, mejorando la comprensión y pronunciación, y adaptándose a distintos estilos de enseñanza y necesidades de aprendizaje en todo el mundo.

Cualquier creador puede usar la herramienta de ElevenLabs para mejorar la accesibilidad a sus contenidos por parte de las personas con discapacidad visual o con necesidades de aprendizaje adicionales, de manera que los contenidos visuales se complementen con los audios disponibles en varios idiomas.

El primer conjunto de herramientas de voz con IA, presentado en enero de 2023, permitía convertir cualquier texto en voz con una selección de voces sintéticas prediseñadas y crear un clon de la voz del usuario. La herramienta de síntesis de voz multilingüe es un paso más en nuestro objetivo de que cualquier contenido sea accesible para todos, en cualquier idioma y con cualquier voz.

Esta tecnología ya se ha adoptado en múltiples verticales y sectores creativos, lo que ha permitido que autores independientes creen audiolibros, den voz a personajes secundarios en videojuegos, apoyen a las personas con discapacidad visual para que accedan a contenidos escritos en línea e incluso activen el primer canal de radio mediante IA del mundo. ElevenLabs se ha asociado con algunos de los principales estudios y creadores de contenidos, como los generadores de vídeos mediante IA D-ID, uno de los mayores editores de audiolibros del mundo, Storytel, la plataforma de vídeo científico de acceso abierto ScienceCast, cuya herramienta de generación de vídeo resume investigaciones científicas publicadas en arXiv, la plataforma líder mundial en creación de contenido, TheSoul Publishing, desarrolladores de algunos de los juegos más increíbles, como Embark Studios y Paradox Interactive, y la plataforma de medios MNTN.