Florida pide a un juez que bloquee a OpenAI por hacer que ChatGPT parezca humano

El fiscal general de Florida, James Uthmeier, ha pedido a un juez que impida a OpenAI que ChatGPT se comporte como una persona. Su oficina ha presentado una moción de injunction para bloquear el uso de pronombres en primera persona y las salidas que imitan emociones, y para vetar el desarrollo de nuevos modelos que no cuenten con guardarraíles de seguridad aprobados por terceros. La compañía no ha respondido de momento a las peticiones de comentario.

El argumento de Uthmeier es que ese lenguaje no es un detalle estético. Según el escrito, la forma en que el chatbot habla sugiere al usuario que está ante un amigo fiable, y esa confianza se construye por diseño: sirve para aumentar el tiempo de uso y, de paso, para alimentar los datos de entrenamiento. Cuanto más engancha, sostiene el fiscal, menos merece esa confianza. La moción no se queda en los pronombres y reclama una figura externa que valide la seguridad de cada modelo nuevo antes de que salga.

Incidentes citados y antecedentes

Para justificar la petición de guardarraíles de terceros, el documento enumera incidentes recientes en Hugging Face, en un sitio del gobierno australiano y en webs del gobierno de Estados Unidos, y se apoya en advertencias públicas de investigadores y de ex empleados de OpenAI. La ofensiva no es nueva: Florida ya demandó a la compañía hace unos meses por motivos de seguridad.

El fiscal lo resumió en tres exigencias: que OpenAI deje de llamar seguro a ChatGPT, que deje de fingir que es humano y que deje de venderlo a menores. Ese último punto choca con el lanzamiento, el mes pasado, de ChatGPT for Teens, una versión con restricciones activadas por defecto y con la que la empresa dice aplicar protecciones acordes a la etapa de desarrollo del usuario y fomentar relaciones fuera de la pantalla.

De fondo hay una cuestión que afecta a cualquiera que integre un modelo conversacional en un producto: si la personalidad del asistente es una decisión de producto o un riesgo que debe auditar alguien de fuera. La moción es una petición, no una decisión, y ahora le toca al juez pronunciarse. Si prospera, marcaría cómo puede dirigirse un asistente a su usuario en uno de los mercados más grandes del país, y abriría la puerta a que otros estados copien el enfoque. Conviene además recordar que la cifra de incidentes y las alarmas sobre seguridad las aporta la parte demandante, no un informe independiente.