EL DESAFÍO DE LAS ARMAS COMPLETAMENTE AUTÓNOMAS (2ª parte)

EL DESAFÍO DE LAS ARMAS COMPLETAMENTE AUTÓNOMAS (2ª parte)

Segunda parte del artículo de opinión de Milton Meza Rivas, Doctorando en Derecho y Ciencia Política. Universidad de Barcelona. Publicado originalmente en el número 85/2016, Instituto Español de Estudios Estratégicos (IEEE), Madrid, 18 de agosto de 2016, [en línea], disponible en http://www.ieee.es/Galerias/fichero/docs_opinion/2016/DIEEEO85-2016_SistemasArmas_ONU_MiltonMeza.pdf.

EL TÉRMINO “AUTONOMÍA”. UN PRIMER PASO PARA INTENTAR DEFINIR A LOS SISTEMAS DE ARMAS LETALES COMPLETAMENTE AUTÓNOMOS

La expresión “sistemas de armas autónomas” es de origen del inglés[1]. Su principal criterio definitorio viene dado por el adjetivo “autonomous”, que según el diccionario de Oxford comprende todo aquello “que se gobierna a sí mismo o es independiente” (self-governing o independent). Por su parte, dentro la categoría de ciencia, tecnología, matemática y computación, lo define como un sistema abstracto o red física que es independiente de, o no está sujeta a, influencias o controles externos.

Científicos especialistas en el conocimiento humano y de las máquinas advierten que la “autonomía” es un término que no debe ser entendido de manera unidimensional[2]. Por el contrario, es un concepto que se deriva de dos palabras griegas (“auto” –self– y “nomo” –governance-) y que posee dos sentidos propios: por un lado “self-sufficiency” (autosuficiencia), referido a la capacidad de cuidarse a sí mismo, o lo que es igual, a la condición o estado de quien se basta a sí mismo[3]. Por otro está “self-directedness” (autodirección), entendido como el atributo de estar libre de todo control externo.

A través de ese enfoque bidimensional se entiende que la independencia de un control externo no implica per se la autosuficiencia de una máquina. Asimismo, la programación de sus funciones autónomas tampoco garantiza que pueda operar de manera autodirigida. Ergo, es crucial que exista un balance apropiado entre autosuficiencia y autodirección a la hora de diseñar una máquina autónoma, máxime cuando sus funciones y capacidades van conectadas con la responsabilidad derivada de sus resultados y la delegación de autoridad dada por los humanos. Nótese que sólo las personas que hayan delegado su propia autoridad en un “autómata” serán quienes responderán de los errores cometidos por este[4].

En esa dirección, aunque con ciertos matices, expertos militares han propuesto algunos conceptos[5]. La mayoría definen los sistemas de armas letales autónomos como aquellos que pueden llevar a cabo una misión con intervención humana limitada o sin ella, siendo capaces de lograr su auto-propulsión, procesar la información obtenida de su entorno o incluso dar respuesta a este de manera independiente.

Son armas que pueden pasar de semiautónomas a completamente autónomas dependiendo del grado de implicación de la actividad humana en el circuito de operación de la máquina. Su carácter de letalidad varía en función de la misión, por lo que algunas pueden ser autónomas y operar de manera no letal (como sucede, por ejemplo, en las plataformas de vigilancia o de reconocimiento)[6].

Una definición bastante similar ha sido planteada por los Estados Unidos de Norteamérica (EEUU). Según el Departamento de Defensa estadounidense, dicha tecnología debe ser entendida como un sistema de armas que, una vez activado, puede seleccionar y atacar objetivos sin necesidad de intervención por parte de un operador humano. Esto incluye aquellos sistemas de armas autónomas que son supervisados por humanos y que están diseñados para permitir que los operadores puedan anular su acción, aún y cuando tengan la habilidad de seleccionar y atacar objetivos sin intervención humana luego de su activación[7].

Por su parte, el Reino Unido los define como un grupo especial de tecnologías emergentes cuyo nivel de operatividad es “completamente autónomo[8]. Tales sistemas tendrían la capacidad de entender, interpretar y aplicar al más alto nivel el efecto global del uso de la fuerza, y para ello se deberían basar en la comprensión precisa de aquello que un comandante tenga la intención de hacer, y más aún de las razones que soportan dicho propósito. Desde ese conocimiento, y partiendo de una percepción sofisticada de su entorno y del contexto en el que estuvieran operando, el sistema podría ser capaz de tomar -o reversar-, sin supervisión humana, todas las acciones destinadas para lograr un fin.

Suiza sugiere una “definición de trabajo” menos extensa, pero con una estructura muy bien justificada. Entiende que estos sistemas de armas serían capaces de llevar a cabo tareas bajo el gobierno del DIH, en reemplazo parcial o total de un humano en el uso de la fuerza, y muy particularmente durante el ciclo de determinación de un objetivo[9]. Ergo, reconoce que la “autonomía” debe ser entendida como un amplio espectro tecnológico[10] que va desde las limitadas funciones autónomas de los sistemas ya existentes a aquellas que son propias de los sistemas autónomos del futuro cuyo nivel de sofisticación será mucho mayor.

Autoridades y expertos del gobierno canadiense apoyan esta perspectiva[11]. En su opinión resulta más útil pensar a la autonomía como un “espectro” que está ligado estrechamente a la tecnología y a las capacidades de un sistema, al entorno operativo y a la tarea elegida. En ese sentido, la definen como la evaluación subjetiva de las capacidades de una máquina en razón de las exigencias de la misión, del medio ambiente y del sistema mecánico: cuanto menos ayuda necesite el sistema, más autónomo ha de parecer.

Francia[12], por su lado, precisa que las armas autónomas son un tipo de tecnología armamentística que podría ser capaz de moverse libremente, adaptarse a su ambiente y llevar a cabo la selección de objetivos y el lanzamiento de efectores letales bajo la autoridad total de la inteligencia artificial. Dichos sistemas sólo podrían llegar operarse (es decir, adaptarse y optimizar su comportamiento) en aquél universo que hubiera sido modelado previamente por sus diseñadores/programadores.

Instituciones como Human Rights Watch[13] consideran que un sistema de armas con capacidad para ejecutar funciones críticas de selección y de ataque contra objetivos y sin implicación humana, es una alta tecnología de total autonomía cuyo desarrollo contraviene las reglas básicas del DIH y del DIDH.

Al hilo de ello, el Comité Internacional de la Cruz Roja considera que estos sistemas son un tipo de arma que puede seleccionar (es decir, buscar para detectar, identificar, localizar y seleccionar) y atacar (usar la fuerza en contra, neutralizar, dañar o destruir) objetivos sin intervención humana[14]. Ellos tendrían la habilidad de aprender y/o adaptar su funcionamiento en respuesta a las circunstancias cambiantes del entorno en el que se despliegan, por lo que su uso podría reflejar un cambio cualitativo de los paradigmas en la conducción de las hostilidades[15].

Todas estas propuestas terminológicas son una pequeña muestra de la amplitud con la que la comunidad internacional está intentado conceptualizar a los sistemas de armas autónomos letales. En ellas se recogen aspectos compartidos por unos y rechazados por otros, aunque de su contenido podríamos rescatar algunos elementos importantes:

  • Son un tipo de alta tecnología aún inexistente[16].
  • Su desarrollo gira en torno al avance en la investigación de la inteligencia artificial.
  • Para algunos expertos es improbable que lleguen a existir, y para otros sólo se necesitan años, y no décadas, para que puedan ser creados[17].
  • Su diseño les permitiría seleccionar y atacar un objetivo estratégico en razón de la delegación de autoridad que le es haya sido dada por los humanos.
  • La determinación de ese objetivo responderá sólo a los criterios pre-definidos por los humanos.
  • Es un arma que después de activada ejecutará sus funciones sin implicación o intervención humana.
  • Poseería una función de letalidad, por lo que sus zonas de despliegue serán aquellas en las que se desarrollen conflictos armados u hostilidades.
  • Podrían adaptarse a entornos complejos sobre la base de la información que obtengan del ambiente que les rodea.
  • Y sus reglas de conducta serían determinadas únicamente por el diseñador/programador humano, por lo que la máquina no tendría niveles de autoaprendizaje y auto-elaboración que les permita por sí mismas cambiar dicha circunstancia.

CONCLUSIÓN

Un futuro lleno de riesgos e incertidumbres

La falta de unanimidad internacional para acordar un concepto generalmente aceptado sobre este tipo de sistemas es consecuencia de una realidad previamente advertida: los elementos de la discusión responden a perspectivas meramente prospectivas basadas en hipótesis y cálculos de probabilidades acerca de armas que aún no existen. Su estudio ha levantado dudas y cuestionamientos sin responder, que seguirán siendo parte de futuros debates internacionales.

Así, por ejemplo, cabría hoy preguntarse: ¿hasta qué punto se pueden medir los riesgos de algo que aún no se sabe si podrá crearse?; ¿será posible que algún día existan niveles de “superinteligencia artificial” aplicables a las máquinas?; y sin llegar muy lejos, ¿cómo podría un humano programar a un sistema autónomo para que logre diferencia a un civil de un combatiente?; ¿qué formulas se pueden aplicar para programar en el arma un estándar de proporcionalidad en el uso de la fuerza letal en zonas de guerra que por definición son bastante imprevisibles?; si existiere un error de diseño y de programación ¿quién debería rendir cuentas acerca del daño que produzca la máquina?, ¿el comandante de la misión, el operador humano que la activó, el programador?; pero sobre todo ¿en qué situación se encontraría la dignidad de humana de una persona que llegue a sentir terror, pánico, desolación o impotencia al verse afectada por un daño cometido en su contra por una máquina y producto de un error técnico?.

Según los avances tecnológicos conocidos al día de hoy, un robot autónomo letal, por muy bien diseñado y programado que esté, probablemente no podría cumplir a rajatabla con los principios básicos del DIH (especialmente el de distinción[18], proporcionalidad[19] y precaución), ya que en razón de las complejidades que involucra una misión militar es difícil que la máquina pueda contar con una base de datos suficiente que le permita evaluar todo el contexto, lo cual incrementa el riesgo de que se produzcan daños no previstos e indiscriminados en contra inocentes.

No hay que olvidar que los principios rectores del DIH, del DIDH y el DCA implican en definitiva “…una capacidad de discernimiento propia del ser humano. Las interpretaciones jurídicas imperantes de la norma se basan explícitamente en conceptos como ‘sentido común’, ‘buena fe’ y la ‘norma del jefe militar razonable’. Queda por determinar en qué medida esos conceptos pueden traducirse en programas informáticos actualmente o en el futuro…[20].

Ciertamente las nuevas tecnologías y las potencialidades que se asocian a su desarrollo representan un incentivo lógico que anima realizar proyectos de I+D militar como el de los sistemas autónomos. Sin embargo, son ventajas que no pueden obviar el rechazo de miembros de la comunidad internacional acerca de este tipo de tecnología, máxime cuando parte de la industria armamentística se encuentra dispuesta a indagar más en su desarrollo plenamente operativo dentro de niveles de autonomía inimaginables[21].

Así, debemos tener muy en cuenta que el constante y gradual cambio tecnológico puede generar zonas grises, situaciones en las que se atente en contra los valores humanos fundamentales y ponga en peligro el sistema de la seguridad global. Por ello, la comunidad internacional, junto a expertos y académicos, debemos seguir realizando un balance del contexto actual, para luego establecer un proceso responsable y coherente de debate en el que se afronte la situación y se regule la tecnología a medida que se va desarrollando[22].

 

Foto del usuario de Flickr dullhunk

 

[1] Lethal autonomous weapons systems.

[2] Vid. BRADSHAW, Jeffrey, HOFFMAN, Robert, JOHNSON, Matthew y WOODS, David, “The Seven Deadly Myths of ‘Autonomous Systems’”, The Institute for Human & Machine Cognition, Florida, mayo/junio de 2013, [en línea] disponible en: http://www.jeffreymbradshaw.net/publications/IS-28-03-HCC_1.pdf, fecha de la consulta 31.05.2016.

[3] Concepto de “autosuficiencia” según la Real Academia Española. Vid. http://dle.rae.es/?id=4VBSiPq, fecha de la consulta 31.05.2016.

[4] Vid. infra el apartado 24 de este artículo, pp. 3.

[5] GUETLEIN, Michael, “Lethal autonomous weapons – ethical and doctrinal implications”, Departamento Conjunto de Operaciones Militares de la Escuela Naval de EEUU, febrero de 2005, [en línea] disponible en: file:///C:/Users/rimej_000/Downloads/ADA464896.pdf, fecha de la consulta 31.05.2016.

[6] Sobre el atributo de letalidad, el Relator Especial Heyns considera que los “sistemas de armas autónomas” debe ser entendido como un término genérico, por lo que sólo se le podría adherir el adjetivo “letal” cuando su uso se limite a los conflictos armados. Sin embargo, advierte que con el tiempo será cada vez más común observar que este tipo de tecnología pueda ser utilizadas por las fuerzas y cuerpos de seguridad de los Estados, aunque la intención normalmente sea para evitar la muerte. Vid. HEYNS, Christof, “Autonomous Weapon Systems: Human rights and ethical issues”, CCW, Ginebra, 2016, [en línea], disponible en: http://www.reachingcriticalwill.org/images/documents/Disarmament-fora/ccw/2016/meeting-experts-laws/statements/heyns.pdf, fecha de la consulta 31.05.2016.

[7] Vid. Departamento de Defensa de EEUU, “Autonomy in Weapons Systems”, Directiva Nº 30009.09, 21 de noviembre 2012, pp. 13 [en línea], disponible en: http://www.dtic.mil/whs/directives/corres/pdf/300009p.pdf, fecha de la consulta 31.05.2016.

[8] Vid. Gobierno del Reino Unido “Statement to the Informal Meeting of Experts on Lethal Autonomous Weapons Systems”, CCW, Ginebra, 2016, [en línea] disponible en: http://www.unog.ch/80256EDD006B8954/(httpAssets)/44E4700A0A8CED0EC1257F940053FE3B/$file/2016_LAWS+MX_Towardaworkingdefinition_Statements_United+Kindgom.pdf, fecha de la consulta 31.05.2016.

[9] Vid. Gobierno de Suiza, “A purpose-oriented working definition for autonomous weapons systems”, CCW, Ginebra, 2016, [en línea] disponible en: http://www.unog.ch/80256EDD006B8954/(httpAssets)/A204A142AD3E3E29C1257F9B004FB74B/$file/2016.04.12+LAWS+Definitions_as+read.pdf, fecha de la consulta 31.05.2016.

[10] Vid. Instituto de las Naciones Unidas para la Investigación del Desarme, “Framing Discussions on the Weaponization of Increasingly Autonomous Technologies”, 2014, Ginebra, [en línea], disponible en: http://www.unidir.org/files/publications/pdfs/framing-discussions-on-the-weaponization-of-increasingly-autonomous-technologies-en-606.pdf, fecha de la consulta 31.05.2016.

[11] Vid. Gobierno de Canadá, “Canadian Food for Thought Paper: Mapping Autonomy”, CCW, Ginebra, 2016, [en línea] disponible en: http://www.unog.ch/80256EDD006B8954/(httpAssets)/C3EFCE5F7BA8613BC1257F8500439B9F/$file/2016_LAWS+MX_CountryPaper+Canada+FFTP1.pdf, fecha de la consulta 31.05.2016.

[12] Vid. Gobierno de Francia, “Cartographie des developpements techniques”, CCW, Ginebra, 2016, [en línea] disponible en: http://www.unog.ch/80256EDD006B8954/(httpAssets)/FAC3FC270C9E918EC1257F8F003FF520/$file/2016_LAWSMX_CountryPaper_France+MappingofTechnicalDevelopments.pdf, fecha de la consulta 31.05.2016.

[13] Vid. Human Rights Watch, “Mind the gap: the lack of accountability for killer robots”, abril de 2015, [en línea] disponible en: https://www.hrw.org/sites/default/files/reports/arms0415_ForUpload_0.pdf, fecha de la consulta 31.05.2016.

[14] Vid. CICR,Views of the International Committee of the Red Cross on autonomous weapon system”, CCW, Ginebra, 2016, [en línea], disponible en: http://www.unog.ch/80256EDD006B8954/(httpAssets)/B3834B2C62344053C1257F9400491826/$file/2016_LAWS+MX_CountryPaper_ICRC.pdf, fecha de la consulta 31.05.2016.

[15] Vid. CICR, “31st International Conference of the Red Cross and Red Crescent: International humanitarian law and the challenges of contemporary armed conflicts”, Ginebra, diciembre de 2011, [en línea], disponible en: https://app.icrc.org/e-briefing/new-tech-modern-battlefield/media/documents/4-international-humanitarian-law-and-the-challenges-of-contemporary-armed-conflicts.pdf, fecha de la consulta 31.05.2016.

[16] En la tercera (3ª) reunión informal de expertos sobre los sistemas de armas letales autónomos de abril del 2016, las delegaciones de los países de Alemania, Costa Rica, España, Estados Unidos, Francia, Israel, Japón, Países Bajos, Reino Unido, Suiza y Turquía fueron tajantes en señalar que actualmente no existen este tipo de tecnología. Por su parte, España, Japón y Reino Unido agregaron además que no tienen planes en desarrollarlos. Vid. infra apartado 11 de este artículo.

[17] Para más información véase “Future of Life Institute, Autonomous Weapons: an open letter from IA & robotics researches”, 28 de julio de 2015, [en línea] disponible en: http://futureoflife.org/open-letter-autonomous-weapons/, fecha de la consulta 31.05.2016.

[18] Vid. Protocolo I adicional a los Convenios de Ginebra de 1949 (1977) relativo a la protección de las víctimas de los conflictos armados internacionales, art. 51 y 57, [en línea] disponible en: https://www.icrc.org/spa/resources/documents/misc/protocolo-i.htm#8, fecha de la consulta 31.05.2016.

[19] Ibid. art. 51 5) b).

[20] Vid. infra apartado 16 de este trabajo, pp. 15.

[21] Vid. RAMIREZ, David, “cuando la decisión de atacar es resultado de un algoritmo”, documento de análisis 54, IEEE, Madrid, 2014, [en línea] disponible en: http://www.ieee.es/Galerias/fichero/docs_analisis/2014/DIEEEA56-2014_DecisionAtacar_ResultadoAlgoritmo_DRM.pdf, fecha de la consulta 31.05.2016.

[22] Ibid. pp. 10.

Entradas relacionadas
Dejar una respuesta