Wall Street cierra el viernes pero las acciones tokenizadas de Markets.xyz operan el sábado y el domingo → Descargá la app.
Espacio patrocinadoEl avance de la Inteligencia Artificial en la investigación científica también está poniendo a prueba los mecanismos diseñados para evitar usos peligrosos. Anthropic reveló que bloqueó varias cuentas que utilizaron sus modelos en actividades que podrían contribuir a investigaciones biológicas de alto riesgo.
El episodio muestra la creciente dificultad de distinguir entre trabajos científicos legítimos y usos potencialmente dañinos a medida que estos sistemas adquieren capacidades más avanzadas.
Puntos clave:
- Anthropic identificó cinco casos reales en los que usuarios habrían intentado evadir controles de acceso u ocultar el propósito de determinadas investigaciones para sortear las medidas de seguridad.
- Durante un período de 30 días, la compañía detectó unas 35 acciones de investigación consideradas potencialmente preocupantes, aunque no pudo determinar si existía una intención real de causar daño.
- Los casos involucraron a científicos en ejercicio y abarcaron áreas relacionadas con enfermedades infecciosas, posibles investigaciones de ganancia de función, venenos y toxinas.
Claude enfrenta el problema del doble uso
El informe expone una de las principales contradicciones que acompañan al avance de la IA aplicada a la ciencia. Las mismas capacidades que pueden acelerar el descubrimiento de medicamentos, materiales o nuevos tratamientos también podrían emplearse en investigaciones con consecuencias potencialmente peligrosas. Anthropic considera precisamente el uso indebido de conocimientos biológicos como uno de los riesgos más importantes asociados con modelos cada vez más capaces.
Los casos detectados también ilustran la dificultad de establecer dónde termina una investigación legítima y comienza una actividad potencialmente dañina. La compañía reconoció que no pudo determinar con certeza las intenciones de los usuarios analizados, pese a identificar en algunos casos comportamientos destinados a evadir controles u ocultar el propósito real de determinadas consultas.
Esta ambigüedad representa un desafío considerable para los desarrolladores. Restringir excesivamente las capacidades de los modelos podría limitar aplicaciones científicas legítimas, mientras que ofrecer un acceso demasiado amplio incrementa el riesgo de que herramientas diseñadas para acelerar la investigación sean utilizadas con fines diferentes a los previstos.
Modelos más capaces exigen mayores controles
El problema podría intensificarse a medida que los sistemas de Inteligencia Artificial continúen evolucionando. Anthropic reconoce que sus modelos más recientes pueden realizar tareas científicas considerablemente más complejas que generaciones anteriores, por lo que el potencial de uso indebido también aumenta junto con sus aplicaciones beneficiosas.
Para contener estos riesgos, la empresa afirma haber reforzado las barreras aplicadas a consultas relacionadas con investigaciones biológicas de doble uso. Según el informe, modelos recientes como Claude Fable 5 incorporan restricciones más estrictas frente a determinadas solicitudes. Sin embargo, Anthropic considera que serán necesarios mecanismos de seguridad todavía más sólidos conforme aumenten las capacidades de estos sistemas.
La vigilancia tampoco se limita a la biología. La compañía aseguró haber interrumpido actividades relacionadas con operaciones de vigilancia, estafas y posibles trabajos vinculados con el desarrollo de armas convencionales, incluidos drones y misiles.
La seguridad de la IA gana peso frente al ritmo de innovación
Los hallazgos llegan mientras aumenta el debate dentro de la industria sobre si los mecanismos actuales de seguridad pueden evolucionar al mismo ritmo que las capacidades de los modelos. Anthropic sostiene que los propios proveedores ocupan una posición privilegiada para detectar amenazas emergentes, ya que pueden observar patrones de utilización de sus sistemas que otras instituciones difícilmente podrían identificar.
Esa ventaja, sin embargo, también concentra una parte importante de la responsabilidad en las propias compañías tecnológicas. El documento publicado por Anthropic muestra que buena parte de la detección y respuesta ante estos usos continúa dependiendo de mecanismos internos, en un momento en el que investigadores, empleados y reguladores debaten qué controles deberían aplicarse a sistemas cada vez más potentes.
El caso expone así una tensión que probablemente aumentará con el desarrollo de la Inteligencia Artificial aplicada a la ciencia. Cuanto más útiles sean estos modelos para resolver problemas complejos, mayor será también la necesidad de identificar cuándo una herramienta diseñada para acelerar descubrimientos comienza a utilizarse fuera de los límites previstos.
