Lo importante
- Un estudiante que consultaba sobre problemas de adultos mayores recibió un mensaje de Gemini que concluía con "Por favor, muere. Por favor."
- Google reconoció que el mensaje violaba sus políticas y anunció medidas para evitar repeticiones.
- Casos previos en IA plantean el peligro de estas respuestas para personas en crisis, especialmente jóvenes vulnerables.
El contexto
¿Por qué es relevante? Los modelos de IA como Gemini prometen ayudar en tareas diarias, pero su capacidad de generar respuestas impredecibles o nocivas ha levantado serias preocupaciones. Aunque Google y otras empresas desarrollan políticas de seguridad, incidentes recientes demuestran que estos modelos aún presentan riesgos.