IMAGE: ACLULos problemas de Amazon con su tecnología de reconocimiento facial, Rekognition, comenzaron el pasado mes de junio, cuando trascendió que la compañía estaba vendiendo esa tecnología a algunas agencias gubernamentales, entre ellas ese polémico Servicio de Inmigración y Control de Aduanas de los Estados Unidos (ICE) responsable de las barbaridades cometidas en la frontera separando a niños de sus familias. En aquel momento, la compañía tuvo que hacer frente a protestas de sus empleados demandando que interrumpiesen su colaboración con la agencia, exigiendo a la compañía en la que trabajaban que respondiese a unos principios éticos que consideraban esenciales.

En realidad, los problemas se habían iniciado algo más de un mes antes: la American Civil Liberties Union (ACLU), una de las asociaciones en defensa de los derechos civiles más activas y eficientes del país, comenzó una campaña de denuncia en las que, a raíz de una entrada en el blog de Amazon AWS en la que mencionaba como un ejemplo más que su tecnología Rekognition estaba siendo utilizada por la oficina del Sherif del Condado de Washington, hablaba del potencial peligro que suponía el uso de esa tecnología por parte de las autoridades, no solo por las posibilidades que ofrecía, sino también por el riesgo de errores en la identificación.

Como parte de esa campaña de denuncia, ACLU decidió llevar su protesta al Congreso de los Estados Unidos, y lo hizo de una inteligente manera que le ha permitido no solo escalar la visibilidad del tema, sino además, garantizarse una respuesta de varios de los parlamentarios: aplicaron la tecnología a la fotografías oficiales de los parlamentarios, y demostraron no solo que se equivocaba en 28 de los 535 miembros del Congreso, sino que además, los identificaba como criminales en una base de datos de personas arrestadas, de acceso público y compuesta por unas 25,000 fotografías. Los parlamentarios falsamente asociados con la base de datos de criminales incluían tanto republicanos como demócratas, hombres y mujeres de todo el país y de distintas edades, pero además, como algunos estudios han demostrado anteriormente, cometían llamativamente más errores con personas de color: un 40% de las identificaciones erróneas correspondían a este caso, a pesar de que en el Congreso hay tan solo un 20% de personas de esa raza.

La idea que subyace tras el experimento de ACLU es brillante: demostrar a los propios parlamentarios que ellos mismos podrían ser falsamente identificados como criminales si Rekognition se estuviese utilizando rutinariamente por parte de las autoridades. Lógicamente, los parlamentarios no están en absoluto contentos con ello, y solicitan respuestas a la compañía. Un “Jeff, tenemos que hablar” que indudablemente provocará cambios en el proceso de adopción de este tipo de tecnologías por parte de las autoridades, y que podría convertirse en el inicio de un muy necesario proceso de reflexión sobre el tema.

Amazon ha defendido su tecnología y ha achacado los decepcionantes resultados a una mala calibración de su algoritmo. Sin embargo, para hacer las pruebas, ACLU utilizó el algoritmo a través de AWS tal y como Amazon lo ofrece, y de hecho, incurrió en un coste total de 12.33 dólares. Según la compañía, el nivel de confianza recomendado para el uso del algoritmo en el caso de utilizarlo para identificación facial es del 95%, mientras que ACLU utilizó un nivel del 80%, según ellos más adecuado para identificar objetos. De una manera o de otra, el efecto de demostración ha funcionando, y el escrutinio sobre el uso de Rekognition o de otras tecnologías similares será seguramente mayor a partir de ahora, o incluso servirá para que otras compañías, como Microsoft, afirmen ser superiores en ese sentido.

Sin duda, un verdadero punto para ACLU a la hora de demostrar la importancia de que la sociedad cuente con asociaciones que defiendan adecuadamente los derechos civiles. La reflexión sobre el uso de tecnologías como la de reconocimiento facial es sumamente importante, y define, en muchos sentidos, el tipo de sociedad en el que queremos vivir. La decisión, obviamente, no es tan sencilla como “adopción o no adopción”: toda tecnología que se considere madura no puede ser sencillamente ignorada o relegada sin más, y menos aún en el caso de una tecnología que tiende, dado su funcionamiento, a mejorar en función del uso, a medida que sus algoritmos se enfrentan a más y más casos. Podemos considerar que la tecnología no está aún madura para su uso por parte de autoridades públicas y que, en caso de ser utilizada, podría generar desigualdades y errores potencialmente discriminatorios, pero esa discusión no es siquiera la que de verdad vale la pena, porque existen pocas dudas acerca del potencial de la tecnología para funcionar bien o hacerlo dentro de unos límites de confianza razonables. La verdadera discusión interesante viene después, cuando la tecnología ya funcione: ¿para qué la vamos a utilizar? ¿En qué circunstancias? y sobre todo… ¿a qué tipo de sociedad nos aboca?

 

IMAGE: Peter Lomas - CC0 Creative CommonsCon la rápida mejora de la tecnología de cámaras, del ancho de banda disponible para la transmisión y, sobre todo, de los algoritmos de reconocimiento de imágenes, la presencia de cámaras en todos los rincones de las ciudades se está normalizando cada vez más: combinada con los satélites y con las señales de los smartphones que llevamos en todo momento en el bolsillo, convierten el entorno en que vivimos en un escenario de vigilancia permanente.

Lo que inicialmente fue un modo de vigilar lugares concretos en los que podía cometerse delitos de manera recurrente, como bancos, hoy ha evolucionado para convertirse en enormes redes de vigilancia coordinada capaces de controlar la totalidad de nuestro recorrido por la ciudad, incluyendo cámaras en fachadas de domicilios particulares dotadas de algoritmos capaces de diferenciar personas de animales o cosas, o identificar caras concretas.

La tendencia, sin duda, puede observarse en su plenitud en muchas ciudades en China, convertida en el auténtico estado de la vigilancia total: más de 170 millones de cámaras exteriores están ya en uso, y se calcula que 400 millones más van a ser instaladas a lo largo de los próximos tres años, unidas a sistemas de cámaras portátiles en gafas utilizadas por la policía capaces de identificar a las personas que tengan delante. Obviamente, el control de semejante cantidad de cámaras no puede ser llevado a cabo manualmente, sino utilizando algoritmos capaces de reconocer personas y practicar seguimientos en función de criterios establecidos, algoritmos que se desarrollan para todo tipo de funciones como el control de las operaciones de una tienda, pero que terminan siendo ofrecidos a la policía.

¿Nos asusta la popularización y difusión de perspectivas como la de China? La evolución de China no termina en sus calles: la vigilancia se está adentrando ya en las escuelas, en las que las cámaras vigilan la actitud de los estudiantes, su nivel de atención o sus movimientos durante las clases, y llega incluso, en algunos casos como los militares, las cadenas de montaje o los conductores de trenes, a la monitorización de su actividad cerebral. La vigilancia constante, completamente normalizada y convertida en una característica de la vida de los ciudadanos, obligados a aceptar que están siendo observados en cada uno de los momentos de sus vidas, por algoritmos que capturan no solo sus desplazamientos, sino las personas con las que hablan o con las que se ven habitualmente. Algoritmos capaces de reconocer una pelea, un abrazo, un gesto, que unidos a los sistemas de calificación social, dan lugar a un sistema capaz de clasificar a los ciudadanos en función de su afinidad política, o incluso capaz de aislar a potenciales disidentes haciendo que el crédito social de aquellas personas con las que hablan descienda por el hecho de relacionarse con ellas.

Pero esa China convertida en escaparate de tendencias no es el único escenario de la vigilancia: en Newark, las cámaras instaladas en toda la ciudad ya no solo son utilizadas por la policía, sino que ha sido abiertas a cualquiera con una conexión a la red. Cualquiera puede conectarse y utilizar esas cámaras para controlar una zona, a una persona, o simplemente para curiosear, ver el tráfico o el ambiente. Un movimiento planteado para incrementar la transparencia, pero que ha generado alarmas por su posible uso por parte de acosadores o incluso ladrones, capaces ahora de controlar la actividad en una vivienda determinada desde la comodidad de sus casas. Países democráticos como el Reino Unido manifiestan también tendencias hacia el control total y dictan leyes de vigilancia extrema con la oposición de Naciones Unidas, de grupos de defensa de los derechos ciudadanos y activistas de la privacidad y de empresas tecnológicas, leyes que son posteriormente declaradas parcialmente ilegales, pero que claramente marcan una tendencia. En Barcelona, un movimiento encabezado desde el ayuntamiento pretende tomar control de los datos generados por las infraestructuras de la ciudad y pasar “de un modelo de capitalismo de vigilancia, donde los datos son opacos y no transparentes, a otro en el que los propios ciudadanos puedan tomar posesión de sus datos”, algo que afecta a la explotación de los datos de consumos, contaminación, ruido, etc., pero excluye el uso por motivos de seguridad o vigilancia.

Otro modelo relacionado con el uso de los datos es el de compañías privadas como la Palantir de Peter Thiel, capaces de acceder a enormes cantidades de datos y construir detalladísimos perfiles a partir de comportamientos tanto online como offline, o sospechosos habitualmente mencionados como Facebook, sobre cuyas actividades se han escrito infinidad de artículos. Frente a modelos distópicos como el de China o enfocados en la vigilancia obsesiva, como los que están surgiendo en países como Suecia derivados de las posibles amenazas terroristas, surgen grupos de asociaciones activistas generalmente norteamericanas como ACLU o la EFF, con campañas que intentan concienciar a la población sobre los excesos de una vigilancia o trazar estrategias para desmantelarla, o para convencer a una ciudadanía preocupada por su seguridad de que la vigilancia masiva no funciona ni funcionará nunca como arma para combatir el terrorismo.  Simplemente unas pocas asociaciones civiles, que obtienen sus fondos a través de campañas de donaciones públicas, contra una tendencia masiva a nivel internacional que llena de cámaras nuestras ciudades y utiliza algoritmos para reconocernos, seguir nuestros hábitos, ver por dónde nos movemos y qué hacemos habitualmente en nuestro día a día. Entender que la idea de “si no tengo nada que ocultar, no tengo nada que temer” es errónea, y debe ser sustituida en el imaginario colectivo por ideas más progresistas, más lógicas y que toleren el activismo, la voluntad de cambio o la protesta pacífica.

¿Es la transición hacia una sociedad en permanente vigilancia una transición inevitable? ¿Nos dirigimos indefectiblemente hacia un modelo orwelliano, hacia escenarios distópicos en los que todo lo que hacemos, todas nuestras actividades están permanentemente monitorizadas? ¿Dependemos únicamente de unas pocas asociaciones civiles para intentar detener esta evolución? ¿Estamos obligados a imaginar la sociedad del futuro como un escenario en el que todo lo que hagamos sea constante objeto de vigilancia? ¿Hay alternativas?