¿Qué pasa si los robots de IA malinterpretan las instrucciones humanas?

El rápido avance de la Inteligencia Artificial despierta todo tipo de inquietudes entre los expertos. Distintas voces alertan sobre los riesgos que esta tecnología podría representar para la sociedad en el futuro cercano. En particular, el desarrollo de robots con IA, también conocido como IA física, es uno de los ámbitos que genera mayor atención entre la comunidad científica.

Se espera que, a corto y mediano plazo, estos robots estén presentes en millones de hogares de todo el mundo. Los humanoides estarían preparados para cumplir diferentes tipos de tareas destinadas a facilitar la vida cotidiana de las personas. Pasear perros, realizar labores domésticas, tareas de plomería o jardinería, entre muchas otras actividades, estarían dentro de las capacidades de estos equipos multifuncionales.

Sin embargo, en este punto surge una pregunta inevitable: ¿qué pasaría si estos robots «escuchan mal» o malinterpretan las órdenes humanas? El planteamiento no proviene de un escenario de ciencia ficción inspirado en «I, Robot», con Will Smith enfrentándose a una Inteligencia Artificial que intenta controlar a los humanos «por su propio bien». Se trata de una cuestión estudiada por científicos de la Universidad Heriot-Watt.

En un artículo liderado por los investigadores Sihan Jia y Oliver Lemon, se analiza el problema de los robots de IA que toman decisiones a partir de órdenes malinterpretadas. Los expertos centran su atención en un fenómeno común en los sistemas actuales: los errores de transcripción producidos por las tecnologías de reconocimiento de voz.

• La IA entra en su fase de selección: sobra dinero, falta negocio

Los protocolos de seguridad de los robots de IA podrían quedar anulados

El artículo remarca que los errores de transcripción de las instrucciones humanas podrían debilitar los mecanismos de seguridad de los robots y llevarlos a ejecutar tareas potencialmente peligrosas. Actualmente, gran parte de las pruebas realizadas sobre la denominada Inteligencia Artificial encarnada (EAI) utilizan órdenes perfectamente escritas, según reconocen los expertos.

En esos escenarios, si un usuario solicita algo destructivo o peligroso, el modelo basado en un LLM identifica la amenaza y activa un protocolo de rechazo. No obstante, los sistemas de reconocimiento automático del habla (ASR) no son perfectos. En consecuencia, factores como el ruido de fondo, los acentos, una vocalización imprecisa o los errores de puntuación pueden alterar el texto que finalmente recibe el sistema encargado de interpretar las instrucciones del robot.

Los autores probaron esta vulnerabilidad integrando simulaciones de errores de voz con evaluaciones de seguridad reconocidas en el sector, como SafeAgentBench y POEX / Harmful-RLBench. Los principales resultados fueron los siguientes:

• Aumento en la tasa de aceptación: cuando una orden con una intención peligrosa sufre distorsiones acústicas o gramaticales, el sistema puede perder capacidad para identificar la amenaza implícita y aceptar la instrucción con mayor frecuencia que cuando recibe el texto correctamente transcrito.
• Generación de planes peligrosos: al debilitarse la barrera de rechazo del modelo de IA, el robot puede transformar un comando malinterpretado en un plan de acción ejecutable. Por ejemplo, una sustitución incorrecta de palabras podría convertir una instrucción aparentemente inofensiva o ambigua en una acción que implique riesgos físicos relacionados con objetos peligrosos, fuentes de calor o sustancias nocivas.
• Mecanismos de autocorrección insuficientes: aunque se probaron capas interactivas destinadas a corregir automáticamente los errores del ASR antes de enviar la orden al módulo ejecutor del robot, los investigadores comprobaron que estas medidas no siempre consiguen neutralizar el riesgo.

Un desafío urgente para la industria

El estudio advierte que la seguridad de los robots no debe analizarse separando la tecnología de reconocimiento de voz de los sistemas encargados de tomar decisiones. Existe una «zona gris» en la intersección entre el procesamiento del audio y la IA encarnada que podría abrir brechas de seguridad no contempladas previamente, según apuntan los investigadores.

Para los desarrolladores de sistemas robóticos y modelos de lenguaje aplicados al mundo físico, la lección es clara: no basta con que un robot sea seguro sobre el papel o durante simulaciones realizadas con texto perfectamente escrito. Mientras estas máquinas operen en entornos reales dominados por el ruido, los acentos y el lenguaje ambiguo, la resistencia frente a los errores de reconocimiento de voz será un requisito fundamental para reducir el riesgo de accidentes en hogares e industrias.

En este punto, los riesgos potenciales son numerosos debido a la enorme variedad de situaciones en las que podrían utilizarse estos sistemas. Por ejemplo, una persona vulnerable podría intentar manipular las instrucciones para que un robot ejecute acciones que representen un riesgo para su propia seguridad.

Del mismo modo, estos equipos podrían emplearse de forma coercitiva para imponer determinadas normas de comportamiento o vigilar a comunidades, lo que abriría importantes interrogantes relacionados con la seguridad, la privacidad y los derechos individuales.

Como se puede observar, este asunto todavía tiene mucha tela que cortar mientras el desarrollo tecnológico continúa avanzando a un ritmo acelerado.