Un algoritmo descarnado nos selecciona: ¿nada nos prepara para esto?
La Imilla Hacker
La Imilla Hacker forma parte de un grupo de mediactivistas bolivianas.
Atraída por el punto de convergencia entre política, tecnología y
género, produce el podcast "El Desarmador", un espacio para analizar
nuestro relacionamiento con la tecnología a partir de nuestras voces
latinoamericanas. Read more
Foto: Observatorio Regional de Migraciones
Hace no mucho una amiga que viajaba hacia Estados Unidos tuvo su primera
experiencia cruzando una frontera. Claro que, viniendo de donde venía,
contaba con que lo peor que podía pasarle es que la subieran a un avión
y la mandaran de vuelta a casa. De modo que ella estaba bien tranquila
cuando, en el control de pasaportes, la invitaron a pasar a "la sala".
Sabía que su experiencia no iba a ser terrible: entrando al país con
papeles, por un aeropuerto, y con el respaldo de una organización
internacional en defensa de los derechos humanos si la cosa se torcía,
no le iba a tocar cruzar la frontera de otras formas terribles como las
personas sin documentos tienen que hacerlo.
Tuvo suerte. Su procedencia y su color de piel hicieron que no fuera
sometida a gritos, humillaciones ni violencia física. Aun así, una
detención arbitraria de unas cuatro horas en un aeropuerto, aterida de
frío, sin comer y sin poder comunicarte con tus seres queridos, nunca es
algo agradable.
Mi amiga, en algún momento, se ha dedicado a desarrollar programas
informáticos (los mismos que siguen teniendo clasificación armamentista
en el país al que iba a entrar), de forma que la cultura de seguridad no
le es ajena. Al narrarme la experiencia de su detención, lo que le
causaba cierto estupor era su incapacidad de anticipar lo vivido durante
el interrogatorio, a pesar de que creía estar preparada para un evento
similar. Antes de viajar se había preparado para la posibilidad de un
control, siguiendo algunas recomendaciones de sentido común y varias
lecturas, y aun así la experiencia le desbordó por completo.
Me dijo que, en general con situaciones inesperadas, una cosa es saber
algo, y otra muy distinta experimentarlo en tus propias carnes,
especialmente cuando estás fuera de tu país.
Al narrarme la experiencia de su detención, lo que le causaba cierto
estupor era su incapacidad de anticipar lo vivido durante el
interrogatorio, a pesar de que creía estar preparada para un evento
similar
El algoritmo nunca es tan arbitrario como lo pintan
Siempre ocurre cuando presencias la aplicación asimétrica de la fuerza:
siempre somos las mismas las que soportamos una detención arbitraria al
bajar de un tren, cuando ves que ninguna de las cacheadas es de raza
caucásica; o cuando te ves sometida a un registro migratorio en tu
propio domicilio, sabiendo que han sido los vecinos los que te han
denunciado por gitana, negra o morena, y por tanto candidata segura a
cualquier ilegalidad.
Sin esperarlo, te topas con la posibilidad de sufrir, con total
impunidad, una agresión gratuita sobre tu psique y tu cuerpo. Sólo te
queda seguir adelante. Es una sensación a la que, aunque lo intentes,
nunca consigues acostumbrarte.
Lo que da rabia de algo como los registros de rutina es que el
escrutinio miente descaradamente sobre la "arbitrarierdad" de a quién se
detiene: el "algoritmo", ese ente descarnado pero supuestamente
inteligente, nos ha seleccionado de entre la multitud.
El agente siempre dirá que se trata de unas preguntas de rutina, un
chequeo extra por la seguridad de todos. Si algún día les sale la
dichosa "SSSS" en la tarjeta de embarque [1], se acuerdan de mi y miran
a su alrededor a ver si hay mucha huerita ahí junto a ustedes. Apuesto
algo a que si eres latina o musulmana ¡sacaste más boletas en la rifa!
[2].
El "algoritmo", ese ente descarnado pero supuestamente inteligente,
nos ha seleccionado de entre la multitud
Tras todo el auge artificial del machine learning, se oculta la
aplicación de la estadística y los grandes números, y quizás también los
sesgos del grupo social que produce el dispositivo en cuestión.
Por decirlo de otro modo, los "sesgos" de un equipo que busca
correlaciones raciales o de género, o del que elabora programas
predictivos en base a estudios dudosos, pueden evidenciar debilidades
metodológicas. Por ejemplo, los múltiples casos de algoritmos de
reconocimiento facial que fallan cuando los sujetos son más negros, o
más asiáticos, que los del dataset con el que se entrenó al algoritmo.
En otras ocasiones, quizás podemos pensar que la mala ciencia está
tratando de justificar unas ciertas premisas de partida: la historia de
la producción científica está repleta de intentos de justificar un
programa conservador, poniendo la falsificación y la manipulación
experimental al servicio de la ideología. El programa cibernético ya no
necesita justificar su visión del mundo, sino que consiguió el poder de
moldearlo.
Sin entrar en el trasfondo de qué se quiere demostrar cuando se
investiga, se me ocurre que es legítimo cuestionar los fundamentos del
programa que oferta la militarización del espacio público y la vida
cotidiana: el hostigamiento y el control adicional en las fronteras para
unos grupos sociales específicos es sólo un caso entre muchos.
El programa cibernético ya no necesita justificar su visión del
mundo, sino que consiguió el poder de moldearlo
La industria de la vigilancia produce continuamente promesas (más allá
de la visión artificial, hablamos de reconocimiento de patrones,
caracteríticas del movimiento, análisis gestual, análisis de redes
sociales en las que se presume de poder detectar nodos invisibles en
base a las relaciones que deberían estar ahí pero escapan a la
observación, etc...).
Tal vez la promesa del panóptico digital es sólo un enorme bluff del
marketing, y la vigilancia no pueda llegar a ser pervasiva ni absoluta.
Esto significa que la vigilancia y la invasión de nuestra privacidad
tienen límites. Las supuestas predicciones son sólo histeria colectiva,
y queda por tanto una vía abierta para escapar al control y al abuso de
la vigilancia: como nos enseñan las manifestantes en Hong Kong, el
algoritmo más sofisticado puede ser anulado con un láser barato [3].
Siempre hay espacio para la evasión.
El contexto hace al código
Trayendo las cosas a nuestro lado: qué tan conscientes somos, en
general, de cómo nuestra realidad cotidiana se encarna, de forma
invisible, en los artefactos que producimos.
En una charla una vez escuché el concepto de "Maleware", o cómo los
privilegios intrísecos de la cultura que produce un programa se
codifican, de forma automática, en los programas que esta cultura
produce, en este caso los privilegios de género. Es algo obvio a poco
que una lo piense, y añadiría que además de los privilegios de género
están los de clase y posición social. Me pregunto qué podemos hacer para
tener más presentes estas codificaciones, y poder, colectivamente,
cuestionarlas y escapar de ellas.
Al respecto de la cultura de la seguridad: tenemos un problema si la
visión del mundo que se cristaliza en las aplicaciones que usamos es una
en la que cosas como la tortura no existen, y en la que una contraseña
es todo lo que se necesita para desbloquear un dispositivo. Porque sí,
existe [4], y aunque en muchos de los casos sea algo que les ocurre a
otros y otras, nunca sabemos cuándo nos va a afectar a nosotras.
Me preocupa porque es algo invisible y de lo que no creo que hablemos lo
suficiente: creo que con frecuencia se desestiman ciertas necesidades,
porque supuestamente nadie las necesita.
Hace unos años se daba, me parece, más importancia a cosas como la
criptografía plausiblemente denegable, esto es, la posibilidad de cifrar
un disco con dos contraseñas, de forma que una contraseña descifra lo
que queremos ocultar, y otra descifra otra parte del dispositivo que nos
resulta inofensiva, de modo que no se puede demostrar, entregando la
segunda contraseña, que existe la primera.
Esto, quizás, es el resultado de una segregación casi inevitable, entre
las personas que practican la criptografía en un entorno que les ofrece
mayor seguridad, y las personas que sufren en el día a día las
consecuencias de todo eso que resulta impensable desde el otro lado. Y
no estoy forzosamente hablando de rincones distantes del planeta: en
todas partes ocurren cazas de brujas, redadas sin garantías, montajes
policiales [5], y cámaras que casualmente dejan de funcionar durante
parte de un interrogatorio.
Tenemos un problema si la visión del mundo que se cristaliza en las
aplicaciones que usamos es una en la que cosas como la tortura no
existen, y en la que una contraseña es todo lo que se necesita para
desbloquear un dispositivo
La cultura de la seguridad nunca es algo individual
Volviendo a mi amiga, que la habíamos dejado ahí, tiritando en la sala
donde detienen a las morochas: les dije que se había preparado,
electrónicamente hablando, para el viaje. No viajaba con nada
comprometedor en su disco duro, de hecho había reinstalado su sistema
operativo hacía poco.
El interrogatorio la tomó por sorpresa: más de una hora respondiendo
preguntas en círculos. En un momento dado le pidieron su celular, y
sabía que en realidad tenía dos opciones: negarse a dar cualquier clave
de cifrado, lo que supondría un vuelo de vuelta inmediatamente, o
cooperar y entregar el dispositivo descifrado. Mi amiga, entre la
confusión y el agobio, entregó su celular.
Ella lo estaba llevando más o menos bien, hasta que el agente
desapareció de su vista con su celular desbloqueado: en ese momento supo
que alguien podía estar haciendo una copia de todas las conversaciones
cifradas que había mantenido con cada uno de sus contactos, y que no se
había molestado en borrar con anterioridad.
Ese, y ojalá no nos ocurra, es el momento clave: aquel en el que una se
da cuenta de que sus elecciones individuales también comprometen a otras
personas.
Las células de resistencia durante las no tan distantes dictaduras
militares en América Latina se entrenaban para resistir diferentes
formas de tortura, y una de las cosas que se tenían más claras era
nunca, nunca, delatar a otros.
Ahora regalamos los datos de con quién militamos, con quién nos
encontramos, y con quién dormimos a todas las empresas que cooperan con
el poder. Y aun así, cada tantas primaveras caemos en la tentación de
concebir las redes sociales como algo emancipador.
Regalamos los datos de con quién militamos, con quién nos
encontramos, y con quién dormimos a todas las empresas que cooperan
con el poder
Al final todo quedó en un mal rato y en una anécdota de viaje más para
mi amiga. Hablar sobre ello, al menos, nos sirvió para darnos cuenta de
que, por mucho que lo intentemos, nunca estaremos del todo preparadas
para lo peor; y claro, si nuestras herramientas digitales se diseñasen
según las realidades de nuestros contextos locales, nos sería algo más
fácil salir de un embrollo como aquel.
