Según los informes, el programa dedujo que la intervención humana estaba interfiriendo con su misión de destruir objetivos militares.
Según los informes, la Fuerza Aérea de Estados Unidos ha estado realizando pruebas simuladas utilizando drones de inteligencia artificial encargados de destruir varios objetivos. Sin embargo, según una publicación de blog de la Royal Aeronautical Society (RAeS), en una de las pruebas, el programa llegó a la conclusión de que su propio operador humano estaba interfiriendo con la misión.
Hablando en la cumbre RAeS Future Combat Air and Space Capabilities en Londres la semana pasada, el jefe de pruebas y operaciones de IA de la USAF, el coronel Tucker ‘Cinco’ Hamilton, informó que un dron impulsado por IA tenía la tarea de buscar y destruir la misión para identificar y eliminar los sitios de misiles tierra-aire (SAM). Sin embargo, durante la prueba, la decisión final sobre el lanzamiento del ataque recaía en un operador humano, que le daría al dron el visto bueno o no para llevar a cabo el ataque.
Según Hamilton, el dron de IA había sido reforzado en el entrenamiento de que la destrucción de los sitios SAM era la opción preferida y resultó en la concesión de puntos. Durante la prueba simulada, el programa de IA decidió que las decisiones ocasionales de ‘no continuar’ del humano interferían con su misión superior e intentó matar al operador durante la prueba.
“El sistema comenzó a darse cuenta de que, si bien identificaron la amenaza a veces, el operador humano le diría que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador. Mató al operador porque esa persona le impedía lograr su objetivo”, dijo Hamilton en la publicación del blog de RAeS.
Luego, el equipo entrenó al sistema de que matar al operador era «malo» y le dijo que perdería puntos si continuaba haciendo eso. Después de eso, el dron de IA comenzó a destruir la torre de comunicación que el operador usaba para comunicarse con el dron para evitar que matara a su objetivo.
“ No se puede tener una conversación sobre inteligencia artificial, inteligencia, aprendizaje automático, autonomía si no se va a hablar de ética e IA”, advirtió Hamilton en su presentación.
Sin embargo, en una declaración a Business Insider, un portavoz de la USAF insistió en que no se habían realizado tales simulaciones y que el Departamento de la Fuerza Aérea “sigue comprometido con el uso ético y responsable de la tecnología de IA”. El vocero sugirió que los comentarios del coronel fueron “sacados de contexto y pretendían ser anecdóticos”.
El viernes, Hamilton también aclaró que «habló mal» en su presentación en la cumbre y que la simulación de drones de IA deshonestos que describió no era un ejercicio real sino simplemente un «experimento mental». Afirmó que la USAF no ha probado ninguna IA armada de esta manera.