ChatGPT detectó contenido violento, pero no se avisó a la policía
Un hombre de la Columbia Británica, Canadá, utilizó ChatGPT para describir violencia armada de una manera que activó los sistemas de monitoreo interno de la empresa. La cuenta perteneciente a Jesse Van Rootselaar fue marcada en junio de 2025 por "promoción de actividades violentas" y posteriormente expulsada del servicio, según información referenciada por TechCrunch.
Lo que hace que el caso sea particularmente grave es lo que sucedió después: Van Rootselaar llevó a cabo un tiroteo masivo. Y la pregunta que se plantea ahora es si un informe policial previo podría haberlo evitado.
Debate interno sobre el umbral para el aviso policial
Según la revisión del caso realizada por TechCrunch, los empleados de OpenAI discutieron activamente si debían contactar a la policía cuando se marcó la cuenta. La empresa tiene directrices que permiten alertar a las autoridades si una interacción representa un "riesgo inminente y creíble de daño físico grave contra otros".
Sin embargo, la conclusión interna fue que las conversaciones no alcanzaban ese umbral. La cuenta fue bloqueada, pero no se envió ningún informe policial.
OpenAI concluyó que los chats no cumplían con el requisito de amenaza inminente, pero el hombre llevó a cabo un tiroteo masivo de todos modos.
Después de que ocurriera el tiroteo, OpenAI tomó la iniciativa de contactar a la policía federal canadiense (RCMP) y ofreció la información que poseía.
Cómo funciona el sistema de monitoreo de OpenAI
OpenAI utiliza una combinación de herramientas de clasificación automatizadas, filtros de contenido y coincidencia de hashes para detectar el mal uso de sus servicios. Cuando se detecta contenido sospechoso, se envía a procesos de revisión especializados donde moderadores humanos, formados en las directrices de la empresa, evalúan la gravedad.
Una delimitación complicada
El caso pone de relieve un desafío fundamental para las empresas de IA: ¿dónde debe situarse el umbral para denunciar a un usuario ante las autoridades basándose en el contenido de un chat? Con un umbral demasiado bajo, se corre el riesgo de una vigilancia masiva y violaciones de la privacidad. Con un umbral demasiado alto, es posible que las amenazas reales no se detecten a tiempo.
La investigadora de Harvard Michelle Martin, que estudia derecho laboral, se ha mostrado anteriormente crítica con esta práctica y ha advertido contra lo que describe como una evolución hacia un estado de vigilancia creciente, según material de fondo reproducido por TechCrunch. Por su parte, el defensor público Stephen Hardwick ha señalado que los profesionales jurídicos que utilizan herramientas de IA podrían verse en una situación problemática si las conversaciones con los clientes pudieran ser reportadas a la policía.
El dilema de OpenAI de cara al futuro
Es probable que el caso desencadene un nuevo debate sobre qué debería calificar exactamente como una "amenaza inminente" en las directrices de las empresas de IA. OpenAI no ha comentado si planea ajustar el umbral para los informes policiales tras el incidente en la Columbia Británica.
Cabe señalar que el caso se basa en información difundida por TechCrunch y que las evaluaciones internas de OpenAI no han sido verificadas públicamente en su totalidad. Los detalles sobre lo que contenían realmente las conversaciones y qué procesos internos exactos se siguieron no se conocen por completo.