Una biblioteca de prompts para Fish Audio, con el audio resultante al lado
El proyecto reúne ejemplos de prompting para el servicio de síntesis de voz, permite escuchar el resultado de cada uno y filtrarlos por modelo, idioma, voz o emoción. Es open source y busca aportes de la comunidad.
Un desarrollador ha publicado una biblioteca de prompts para Fish Audio, el servicio de síntesis de voz, con el audio generado junto a cada instrucción. El sitio deja escuchar las muestras, copiar los prompts y filtrarlos por modelo, idioma, voz o emoción. El código está abierto y su autor quiere que más gente envíe sus propios ejemplos.
El hueco que intenta tapar es concreto: hay bibliotecas y guías a montones sobre cómo pedirle cosas a un modelo de texto, y prácticamente nada sobre cómo pedírselas a uno de voz con este servicio. La idea es tener una colección buscable donde el prompt y lo que produce estén en la misma pantalla, en lugar de ir probando a ciegas.
Qué se puede hacer con ella
Los filtros son la parte útil: si alguien necesita una voz concreta en un idioma concreto y con un tono determinado, puede acotar y ver qué instrucciones han dado otros para llegar ahí. Cada entrada lleva su muestra de audio, así que se puede juzgar el resultado antes de copiar nada.
De las pruebas que hizo el autor sale un detalle que a quien trabaje con este tipo de modelos le sonará: ciertas etiquetas de emoción del modelo S2 funcionan mejor cuando se mantienen cortas que cuando se despliegan en una descripción larga. Lo cuenta como observación suya, sin cifras ni comparaciones medidas que lo respalden.
El proyecto está en el repositorio y se puede usar desde la biblioteca. Quien tenga un prompt que funcione y su audio puede enviarlo a través de las plantillas de incidencia del repositorio. El autor avisa de que la vista móvil todavía va regular y de que acepta ayuda con el desarrollo del sitio.
Para quien integre texto a voz en un producto, la diferencia entre una instrucción que sale bien y otra que sale plana suele ser cuestión de ensayo y error, y ese conocimiento casi nunca queda escrito en ningún sitio. Que exista un lugar donde se pueda consultar antes de tocar el código ahorra iteraciones, siempre que la colección crezca lo suficiente como para cubrir casos distintos y no se quede en un puñado de ejemplos. Está por ver si la comunidad aporta lo bastante como para que la biblioteca sea representativa o si acaba siendo el catálogo personal de su autor.