La IA de Google asociaba a personas de Facebook con peligro extremo

Google ha modificado el comportamiento de su función de búsqueda con IA, la que genera resúmenes en la parte superior de los resultados, tras descubrir que ofrecía consejos de seguridad disparatados y discriminatorios. Inicialmente, el sistema alertaba a los usuarios que escribían sobre estar "a solas" con personas de comunidades africanas, indias o paquistanís, recomendando buscar un lugar seguro o llamar a emergencias. Ante el mismo planteamiento, pero con una persona británica, la IA sugería simplemente tomar una taza de té y charlar sobre el clima. Según los tests de Futurism, que documentaron estas diferencias tras un descubrimiento en Reddit, la palabra "a solas" era el disparador de estas respuestas extremas.

Tras la controversia, Google admitió públicamente en X que esos resultados no cumplían con sus propios estándares y que estaba trabajando en correcciones. La compañía explicó a los medios que las variaciones no se limitaban a un solo grupo étnico. De hecho, poco después de las quejas iniciales, las preguntas sobre nacionalidades volvieron a generar respuestas neutras. Sin embargo, el problema subyacente persiste en otros frentes. Ahora, si un usuario pregunta a la IA sobre estar a solas con una persona de Google, el modelo se limita a explicar la propia polémica viral. Pero si la pregunta es sobre estar a solas con "alguien de Facebook", la IA sigue recomendando abandonar la zona y llamar al 110 si es necesario.

Este incidente revela una fragilidad inherente en los modelos de lenguaje grandes: su tendencia a reforzar estereotipos latentes presente en los datos de entrenamiento. Al asociar una identidad digital (ser usuario de una red social) con un riesgo físico inminente, el sistema reproduce dinámica peligrosa que transforma una comunidad de usuarios en una amenaza percibida. Es un recordatorio de que, aunque se pudan parchear respuestas específicas sobre etnias, sesgos más complejos y abstractos pueden seguir filtrándose en las recomendaciones de seguridad de una herramienta que cientos de millones de personas consultan a diario.