Una de las grandes tendencias de la robótica moderna consiste en otorgar cada vez más capacidad de percepción, planificación y toma de decisiones a modelos de Inteligencia Artificial. El desafío es que estos sistemas probabilísticos no se comportan de una manera tan predecible como los algoritmos deterministas tradicionales, lo que introduce nuevas dificultades a la hora de evaluar su seguridad.
A medida que los robots humanoides, brazos mecánicos y otras máquinas autónomas abandonan los entornos controlados para integrarse en fábricas, obras de construcción y, eventualmente, hogares, surge una pregunta crítica: ¿cómo garantizar que un robot guiado por un sistema probabilístico responda de forma segura cuando se enfrenta a una situación que no estaba prevista?
En esta entrega de Alerta Digital, analizamos el proyecto de Safeworld a partir de un reciente trabajo de TechCrunch. La startup, fundada por Ding Zhao, profesor de Carnegie Mellon University y director del Safe AI Lab, junto con Kyle Wong y Simo Rachidi, busca desarrollar herramientas para evaluar la seguridad de robots antes de que estos sistemas se desplieguen de manera masiva. La compañía acaba de salir del modo privado con una ronda semilla de $12.2 millones.
«El momento de construir un estándar de seguridad para la industria es ahora, mientras los robots están siendo diseñados y desplegados», Jonathan Lai, socio de a16z Speedrun.
El reto de reducir el riesgo de la IA en entornos no estructurados
Los sistemas robóticos tradicionales pueden diseñarse utilizando reglas explícitas, límites operativos y mecanismos de seguridad verificables. Incluso existen normas internacionales, como ISO 10218, destinadas a reducir los riesgos asociados con robots industriales. Sin embargo, la incorporación de modelos de IA capaces de responder de manera probabilística hace más complejo anticipar todas las posibles conductas del sistema.
Esto no significa que los métodos tradicionales garanticen un margen de error cero. La diferencia es que un sistema basado en reglas puede resultar más sencillo de analizar formalmente, mientras que un modelo aprendido a partir de grandes cantidades de datos puede reaccionar de formas distintas ante variaciones aparentemente pequeñas del entorno.
Los fundadores de Safeworld consideran que evaluar la seguridad de estos sistemas exige abordar dos problemas en paralelo:
- Evaluación de riesgos en sistemas probabilísticos: medir la probabilidad de que un robot falle o responda de manera insegura ante determinadas situaciones, especialmente aquellas poco frecuentes durante el entrenamiento.
- Validación empírica en entornos no estructurados: a diferencia de una línea de producción cerrada y altamente controlada, los espacios reales contienen personas, obstáculos y comportamientos difíciles de anticipar, lo que multiplica los posibles «casos límite».
Posibles soluciones con modelos humanos realistas
Para evaluar estos sistemas sin poner en peligro a personas reales, Safeworld construye réplicas digitales de los entornos donde operarán los robots utilizando motores de simulación física como Genesis o MuJoCo.
En estos espacios virtuales, la compañía introduce una simulación del robot controlada por su software real y ejecuta miles de escenarios en los que modelos humanos interactúan con la máquina. La idea es detectar situaciones peligrosas antes de que ocurran durante un despliegue real.
Entre las variables que pueden ponerse a prueba se encuentran:
- Variaciones de apariencia y contexto: personas cargando cajas que dificultan la visión del robot, distintas estaturas, tamaños corporales, tonos de piel o prendas que pueden afectar los sistemas de percepción.
- Comportamientos impredecibles: personas que tropiezan, se agachan, corren, caen al suelo o aparecen repentinamente desde una esquina sin visibilidad.
Empresas como Gritt Robotics, que desarrolla sistemas de IA para robots utilizados en la instalación de paneles solares a escala industrial, ya trabajan con Safeworld para validar sus sistemas mediante este enfoque. Su CTO, Vishal Dugar, explica que determinados comportamientos resultan demasiado complejos para demostrar su seguridad únicamente mediante métodos formales, por lo que también requieren pruebas empíricas frente a una gran variedad de situaciones.
La necesidad de auditores independientes
Uno de los principales argumentos de Ding Zhao es que evaluar un robot durante una demostración controlada no equivale a analizar su comportamiento cuando miles de unidades funcionan en entornos diferentes y junto a personas que nunca antes han utilizado este tipo de máquinas.
Este escenario plantea dos necesidades importantes para el futuro de la automatización física:
- Estándares de la industria y validaciones independientes: los fabricantes podrían necesitar evaluaciones de terceros que complementen sus propias pruebas y permitan a clientes, aseguradoras y reguladores conocer mejor los riesgos asociados con cada sistema. Safeworld apuesta precisamente por ocupar ese espacio de evaluación independiente.
- Registro y trazabilidad de incidentes: a medida que aumente el número de robots autónomos, será cada vez más importante conservar datos confiables sobre las decisiones, sensores y acciones registradas antes de un accidente. Un sistema de este tipo permitiría reconstruir lo ocurrido y determinar responsabilidades. Tecnologías de registros inmutables, incluida la blockchain, podrían formar parte de algunas arquitecturas, pero no son actualmente un requisito indispensable ni una solución planteada específicamente por Safeworld.
La llegada de la Inteligencia Artificial al mundo físico introduce, por tanto, un desafío diferente al de los sistemas puramente digitales. Un error de software ya no implica solamente una respuesta incorrecta en una pantalla: en determinados entornos puede traducirse en movimientos capaces de afectar directamente a una persona.
Esto no significa que los robots controlados mediante IA sean inevitablemente peligrosos. El verdadero desafío consiste en desarrollar métodos de prueba, estándares y mecanismos de supervisión capaces de evolucionar al mismo ritmo que estos sistemas antes de que su despliegue alcance una escala mucho mayor.
Tu dinero parado pierde valor cada día. En Binance podés hacerlo rendir desde hoy, sin experiencia previa → Abrí tu cuenta.
Espacio patrocinado
