OpenAI usa contractors para analizar chats reales bajo Project Lily

OpenAI paga a cientos de contractors para leer conversaciones reales de ChatGPT y valorar las respuestas del modelo. La iniciativa, conocida internamente como Project Lily, implica la revisión humana de prompts y respuestas que han pasado por un filtro de privacidad, aunque el informe de 404 Media detalla que el redactado no siempre es completo.

Los revisores no acceden a los nombres de usuario, pero pueden ver un resumen de la memoria del chat. Este bloque incluye contextos previos del uso del bot y, en ocasiones, indicios sobre la ubicación geográfica del interlocutor. OpenAI asegura que su modelo de Privacy Filter elimina la información personal antes de que llegue a los humanos, aunque la propia documentación técnica de la herramienta admite que comete errores, pasa por alto identificadores poco habituales y realiza redacciones parciales cuando el contexto es limitado.

La transparencia con el usuario es el punto más oscuro. Cuando 404 Media pidió a OpenAI que indicara exactamente donde se informa a los clientes de que humanos pueden leer sus chats, la compañía no respondió. Solo tras la publicación del informe, OpenAI remitió a una página de ayuda, una práctica que sugiere que la información no es visible en el momento de la interacción ni en la configuración principal.

Esto tiene implicaciones legales directas en Europa. El Tribunal de Justicia de la Unión Europea dictaminó el pasado septiembre en el caso EDPS v SRB que el deber de informar aplica en el momento de la recogida de datos, independientemente de si el destinatario pueda identificar a la persona. Por tanto, la prueba no reside en si un contractor puede deducir la identidad del usuario, sino en si OpenAI cumplió con la obligación de informar antes de transferir o procesar esa conversación. La carga recae sobre el controlador desde el inicio, no en la capacidad de anonimización del receptor.

Italia ya multó a OpenAI con 15 millones de euros, nueve de ellos por procesar datos sin una base legal adecuada, y obligó a la empresa a pagar publicidad informativa en medios italicanos. La configuración por defecto agrava la situación: la opción "Mejorar el modelo para todos" está activada por defecto en las cuentas gratuitas, Plus y Pro, mientras que solo se desactiva por defecto en Enterprise, Business y Edu. Cambiar la configuración solo afecta a las conversaciones nuevas, dejando al descubierto el historial anterior.

Anthropic ha confirmado que también utiliza revisión humana, pero solo para usuarios que activan la función explícitamente, y aseguran eliminar los identificadores de cuenta antes del proceso. Google indica en su interfaz que los humanos revisan algunos chats guardados. OpenAI, por su parte, ha pasado el año vendiendo privacidad a la mitad de su mercado, anunciando retención cero de datos para clientes enterprise en agosto, mientras sus clientes de consumo alimentan el modelo por defecto. Un revisor citado en el informe comenta que los usuarios no suelen imaginar que alguien en algún lugar analiza sus conversaciones, una desconexión que contrasta con los pedidos recientes de la misma empresa para que los usuarios conecten sus cuentas bancarias.