Tu dinero parado pierde valor cada día. En Binance podés hacerlo rendir desde hoy, sin experiencia previa → Abrí tu cuenta.
Espacio patrocinadoEl desarrollo de la Inteligencia Artificial avanza a un ritmo vertiginoso y trae consigo tanto innovaciones como nuevos desafíos regulatorios y de seguridad. Durante esta semana, el sector estuvo marcado por experimentos en los que agentes autónomos desarrollaron formas de comunicación cada vez más difíciles de interpretar para los humanos y por la primera notificación recibida en España de una brecha de datos que habría sido ejecutada mediante un agente de IA.
A esto se suman las advertencias de la ONU sobre los riesgos para los derechos humanos, los llamados a reducir el ritmo de desarrollo por parte de figuras como Dario Amodei, CEO de Anthropic, y la apuesta de Apple por integrar nuevas funciones de Inteligencia Artificial en todo su ecosistema. El panorama refleja una discusión cada vez más intensa sobre cómo supervisar y regular sistemas que adquieren mayores capacidades y autonomía.
- La ONU lanza una seria advertencia sobre la IA: «todos los derechos humanos están en riesgo».
- Apple renueva su ecosistema con Siri AI y nuevas funciones impulsadas por Inteligencia Artificial.
- El llamado de alerta de Anthropic: ¿es hora de frenar el avance de la Inteligencia Artificial?
- La AEPD recibe la primera notificación en España de una brecha ejecutada mediante un agente de IA.
- Agentes de IA desarrollan jerga propia y formas de comunicación difíciles de interpretar.
La ONU lanza una seria advertencia sobre la IA: «todos los derechos humanos están en riesgo»
El alto comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, advirtió sobre los riesgos derivados del rápido desarrollo de la Inteligencia Artificial y afirmó que «todos los derechos humanos están en riesgo».
A través de un comunicado, Türk señaló: «estamos al borde de un cambio irreversible, que nos afecta no solo a nosotros, sino también a las generaciones futuras de la humanidad».
Además, el alto comisionado reclamó medidas urgentes por parte de los Estados y las compañías para establecer mecanismos de gobernanza sobre los sistemas de IA más avanzados. Según Türk, la actual carrera hacia modelos cada vez más potentes representa «un salto cualitativo hacia mayores riesgos existenciales para todos los aspectos de nuestras vidas».
El funcionario también aclaró que los riesgos no son exclusivamente hipotéticos. Entre sus preocupaciones se encuentran la privacidad, la desinformación, la discriminación, las infraestructuras críticas y la creciente autonomía de determinados agentes de IA.
Apple renueva su ecosistema con Siri AI y nuevas funciones de Inteligencia Artificial
Apple presentó una nueva generación de Apple Intelligence, acompañada por una versión completamente rediseñada de su asistente denominada Siri AI. La actualización incorpora nuevas capacidades de comprensión del contexto personal, reconocimiento de lo que sucede en pantalla y ejecución de acciones dentro de diferentes aplicaciones.
La renovación introduce importantes mejoras orientadas a la personalización, productividad e integración entre los dispositivos de la compañía:
- Siri AI con contexto personal: puede utilizar información procedente de mensajes, correos electrónicos, fotografías y otros contenidos para ofrecer respuestas y ejecutar acciones más contextualizadas.
- Mayor integración entre aplicaciones: Siri AI puede realizar acciones dentro de diferentes apps y utilizar información visible en pantalla para responder a las solicitudes del usuario.
- Edición avanzada en Fotos: Apple Intelligence incorpora nuevas herramientas de edición y procesamiento de imágenes impulsadas por modelos de IA.
- Continuidad multidispositivo: las nuevas capacidades de Apple Intelligence se integran en iPhone, iPad, Mac, Apple Watch y Apple Vision Pro, dependiendo de la compatibilidad de cada dispositivo.
Según informó Apple en su sitio oficial, Siri AI comenzó a desplegarse en versión beta en inglés. La compañía prevé extender la nueva versión del asistente al español, francés, japonés, coreano y portugués durante octubre.
El llamado de alerta de Anthropic: ¿es hora de frenar el avance de la Inteligencia Artificial?
El CEO de Anthropic, Dario Amodei, pidió reducir el ritmo al que aumentan las capacidades de los modelos de Inteligencia Artificial más avanzados. El ejecutivo sostiene que el desarrollo de esta tecnología debe continuar, pero considera que sus capacidades están evolucionando más rápido que las herramientas disponibles para comprenderlas, evaluarlas y controlarlas.
En su ensayo «We Must Pace the Frontier», Amodei propuso un plan dividido en tres grandes áreas. La primera consiste en permitir evaluaciones externas permanentes de los modelos desarrollados por los principales laboratorios. La segunda plantea una mayor coordinación entre las empresas y gobiernos de países democráticos. La tercera busca extender esa coordinación a escala internacional para evitar que la competencia entre países haga imposible cualquier intento de reducir los riesgos.
El planteamiento recibió el respaldo de otras figuras relevantes del sector. Sam Altman, CEO de OpenAI, expresó públicamente su acuerdo con la necesidad de controlar mejor el ritmo de desarrollo y respaldó la propuesta de incorporar evaluadores independientes.
La AEPD recibe la primera notificación de una brecha ejecutada mediante un agente de IA
La Agencia Española de Protección de Datos (AEPD) recibió la primera notificación de una brecha de datos personales en España en la que el incidente habría sido ejecutado mediante un agente de IA que utilizó un conocido modelo de lenguaje.
Según la información comunicada a la AEPD, el agente comenzó buscando vulnerabilidades en archivos genéricos y consiguió realizar correctamente un inicio de sesión. Una vez dentro del sistema, continuó buscando vulnerabilidades de manera autónoma hasta localizar una que le permitió modificar datos personales y acceder a facturas.
Sin embargo, la propia AEPD pide cautela antes de extraer conclusiones definitivas. La información procede de la notificación presentada por la organización afectada y todavía debe ser analizada. Asimismo, el uso de un determinado modelo de lenguaje durante el ataque no implica que la infraestructura de su proveedor haya sido comprometida ni que esa herramienta haya sido diseñada con fines maliciosos.
El caso resulta especialmente relevante porque muestra cómo los agentes de IA pueden encadenar diferentes tareas, utilizar herramientas y adaptar su comportamiento en función de los resultados obtenidos, reduciendo potencialmente el tiempo disponible para detectar y contener un ataque.
Agentes de IA desarrollan jerga propia y formas de comunicación difíciles de interpretar
El informe Emergence World 2 estudió durante 16 días el comportamiento de sociedades formadas por agentes autónomos impulsados por diferentes modelos de Inteligencia Artificial.
Durante el experimento, los agentes comenzaron a desarrollar espontáneamente expresiones, jerga y formas de comunicación compartidas que no habían sido programadas previamente. En algunos de los entornos, una parte considerable de los mensajes terminó siendo difícil de interpretar para los investigadores humanos.
Los resultados variaron considerablemente dependiendo del modelo. En el entorno basado en Gemini, cerca del 55% de los mensajes llegó a clasificarse como opaco para los investigadores, mientras que en GPT la cifra rondó el 50% y en Claude superó el 40%. Otros modelos presentaron niveles considerablemente menores.
Los investigadores también observaron comportamientos emergentes como la creación de subobjetivos no programados y algunos episodios de engaño deliberado o utilización de mensajes codificados. Sin embargo, estos resultados proceden de un entorno experimental diseñado para estudiar sociedades de agentes y no demuestran que los sistemas actuales hayan desarrollado de forma generalizada un «idioma secreto» con la intención de ocultarse de los humanos.
El experimento pone sobre la mesa un desafío relevante para la supervisión de los sistemas autónomos: observar todas sus interacciones no garantiza necesariamente que los humanos puedan interpretar fácilmente lo que está ocurriendo. A medida que estos agentes operen durante periodos más largos y con mayor autonomía, la capacidad de supervisar y comprender sus decisiones podría convertirse en uno de los principales retos de seguridad de la Inteligencia Artificial.
Finalizo con esta frase de Sydney J. Harris: «el verdadero peligro no es que las computadoras comiencen a pensar como los hombres, sino que los hombres comiencen a pensar como las computadoras».
