Category Archives: Justice

Auto Added by WPeMatico

Justicia robótica

IMAGE: Kittipong Jirasukhanont - 123RF

Durante las últimas semanas, he estado utilizando un artículo de Wired, titulado Courts are using AI to sentence criminals. That must stop now, para generar discusiones interesantes en algunas de mis clases y conferencias: el uso de algoritmos en procesos judiciales en los Estados Unidos para determinar, por ejemplo, la probabilidad de reincidencia de un acusado, y su uso para administrar una sentencia más o menos dura dependiendo de ello.

Ayer, el New York Times comentó el tema al hilo del mismo caso que el descrito en Wired, el de Eric Loomis, un criminal enviado a prisión el pasado marzo por un juez que utilizó a instancias del fiscal el resultado de COMPAS, un algoritmo creado por Equivant, e hizo constar en el sumario que

“you’re identified, through the COMPAS assessment, as an individual who is a high risk to the community.”

(“usted ha sido identificado, mediante la evaluación COMPAS, como un individuo que representa un alto riesgo para la comunidad.”)

La defensa de Loomis ha alegado que el uso del informe generado por el algoritmo vulnera los derechos del acusado, por ser un algoritmo secreto que no puede ser inspeccionado ni estudiado, lo que impide que sea discutido o cuestionado de manera efectiva. En efecto, no se trata únicamente de que el algoritmo sea secreto debido al interés de su creador, sino que, como comentábamos hace algún tiempo, los procesos de machine learning generan cajas negras que una inteligencia humana no puede monitorizar, que solo pueden ser valorados en función de la calidad de su output, lo que genera un inmediato problema de transparencia.

El proceso es claro: un banco, por ejemplo, podría fácilmente comenzar a alimentar un algoritmo de machine learning con todo su archivo de préstamos e hipotecas a lo largo de la historia y sus resultados en cuando a pago o impago, y muy posiblemente se encontraría con que, al cabo del tiempo, los resultados del algoritmo podrían mejorar las decisiones de un comité de riesgos integrado por personas con amplia experiencia en banca. Si efectivamente es así, el banco podría optar por eliminar a su comité de riesgos y sustituirlo por el proceso automatizado, en aras no solo de una reducción de costes, sino también de un resultado económicamente mejor. Sin embargo, esa decisión, que llevaría a que los clientes del banco viesen cómo la decisión de si les conceden o no una hipoteca pasa a depender de un algoritmo, podría tener dos problemas:

  • Falta de transparencia: de acuerdo, no me concedes la hipoteca… pero, ¿qué debería hacer si quiero llegara obtenerla? ¿Cuáles han sido las variables que han hecho que no me la concedas, y cómo debería trabajar para mejorar mi elegibilidad a la hora de obtener esa hipoteca más adelante? ¿Cómo me explicas una decision que ni tú mismo entiendes, y de la que solo sabes que maximiza tus posibilidades de obtener la devolución del préstamo?
  • Sesgos: contrariamente a lo que algunos podrían pensar, el uso de un algoritmo no garantiza una mayor objetividad, sino un reflejo de los sesgos que pudiese haber en los datos originales. Si los datos con los que el banco alimentó a su algoritmo, por ejemplo, reflejasen algún tipo de tendencia histórica en la que se tendía a rechazar, por ejemplo, a los solicitantes de un grupo determinado en función de criterios como sexo, etnia, religión, etc., esos sesgos podrían consolidarse en el algoritmo obtenido a partir de ellos, pero ser difíciles de identificar por parte de una inteligencia humana.

En la justicia norteamericana, son cada vez más los procesos que están siendo colonizados por algoritmos: muchos abogados comienzan a utilizar algoritmos como Ross, basado el el Watson de IBM, no solo para determinar qué jurisprudencia es más relevante para el caso que están preparando, sino incluso para examinar los posibles sesgos del juez que tienen asignado basándose en todas sus decisiones anteriores en posibles casos similares, con todo lo que ello conlleva de cara a optimizar los argumentos utilizados. A medida que ese tipo de metodologías de trabajo se consolidan, los procesos de machine learning que los soportan van convirtiéndose en cajas negras dotadas cada vez de una mayor complejidad, con procesos que un humano es cada vez más incapaz de replicar o entender.

La robotización o algoritmización de la justicia podría, por un lado, convertirse en un posible recurso para muchos de los problemas generados por la saturación de los tribunales: todo caso suficientemente claro, sencillo o evidente podría dejar de ocupar valiosos recursos de un juez o tribunal humanos, y pasar a ser determinado por un algoritmo automatizado, como ocurre ya de hecho con muchas infracciones de tráfico, en las que el algoritmo, en realidad, tiene una necesidad de inteligencia muy baja: basta con que un requisito determinado se cumpla, para que se genere un resultado. A medida que la complejidad de los casos se incrementa, podemos encontrarnos con casos como el descrito, que pueden generar una indefensión: ¿cómo defenderme de un veredicto basado en una caja negra que simplemente valora una serie de variables de entrada y devuelve un resultado? ¿Debemos integrar la posibilidad de explicar el veredicto en los propios algoritmos, exigiendo una determinación de los pesos empleados o de los cálculos utilizados de manera que un humano pueda llegar a seguirlos?

Hace pocos días, en Netexplo, tuve ocasión de entrevistar en el escenario a la fundadora de una compañía de diagnóstico médico mediante imagen, Qure.ai. La conversación que mantuve me generó cuestiones muy interesantes: a lo largo del tiempo, una vez que los médicos adoptan el uso de su tecnología para determinar si una radiografía, un escáner o una tomografía muestran un tumor, la habilidad de un médico para examinar manualmente una imagen podría llegar a perderse por falta de práctica, y aunque la máquina, a medida que mejora su algoritmo, pase a ofrecer resultados mucho mejores que los médicos humanos, estaríamos ante una situación de pérdida de una habilidad que los humanos habíamos desarrollado como tal. Es el mismo tipo de argumento que el empleado por Nicholas Carr en “Superficiales” cuando pensamos, por ejemplo, que antes de los teléfonos móviles éramos capaces de recordar más números de teléfono de memoria: internet nos vuelve estúpidos, porque sustituye habilidades que antes teníamos y las convierte en innecesarias. O también , por supuesto, contra-argumentado de la misma manera: nadie sería capaz, hoy en día, de escribir sobre una piedra, porque nuevas tecnologías y soportes lo han convertido en innecesario… y no pasa nada, simplemente aceptamos que el contexto, y en este caso, la inteligencia artificial, redefine la inteligencia humana. Pero ¿qué ocurre cuando esa pérdida de la habilidad humana se convierte en decisiones “subcontratadas” a una caja negra que no podemos interpretar?

 

Powered by WPeMatico

Entornos digitales y legislación

IMAGEN: Thomas Reichhart - 123RFMi columna de El Español de esta semana se titula “Convenio de Ginebra digital“, y reflexiona sobre la idea introducida por el presidente de Microsoft, Brad Smith, de crear una nueva versión del conocido Convenio de Ginebra para el derecho internacional humanitario, revisado y ampliado ya en tres ocasiones tras su primera versión, para intentar detener la escalada en el creciente uso del state-sponsored hacking, el uso de la red para tratar de espiar a las administraciones de otros países o de atacar y dañar sus infraestructuras críticas

Siempre he sido muy crítico con la tendencia a la hiperlegislación, el intento de reescribir las leyes para supuestamente adaptarlas al nuevo contexto que supone internet. Internet no requiere nuevas leyes ni leyes especiales, requiere simplemente que los jueces tengan la flexibilidad suficiente como para interpretar lo que es delito o no lo es en un entorno diferente. La mejor manera de analizar cualquier acción presuntamente punible en internet es retirar internet del escenario y plantearse cómo la juzgaríamos si se hubiese producido fuera de internet. Un robo es un robo, sea en internet o fuera de él, una difamación es una difamación en la red o en la calle, y un ataque a un país lo es independientemente de que se produzca a través de internet o mediante un espía con gabardina y gafas oscuras. Por eso, la idea de no promover leyes como tales, sino foros de discusión en los que se llame a las cosas por su nombre y se aíslen los problemas me resulta sensiblemente más atractiva que la idea de dictar nuevas leyes a diestro y siniestro cuando las que existían ya eran claramente suficientes y respondían a un consenso social obtenido a lo largo de mucho tiempo.

Uno de los principales problemas de internet es el hecho de que en toda innovación surgen, de manera generalmente muy rápida, un conjunto de aprovechados, malintencionados o directamente delincuentes que intentan extraer un provecho ilícito de las características del nuevo entorno. Habitualmente, la respuesta de la ley en este sentido es lenta e ineficiente, y suele serlo mucho más en los países que provienen de la civil law frente a las que tienen su base en la common law, que se apoya en los casos precedentes y que, por tanto, tiende a tener una flexibilidad y adaptabilidad muy superior. Cuando la actuación de personas que retuercen el nuevo entorno para obtener un beneficio ilícito, llámense dialers, spammers, scammers, phishersladrones de identidad, domainers o lo que sea, se convierte en un desincentivo a la difusión de la innovación, la ley tiene que actuar de manera rápida y decisiva, y poner coto a esos abusos de manera inmediata sin que el hecho de que el delito se produzca en internet tenga ningún tipo de influencia sobre su condición de delito. El hecho de que estemos viviendo auténticos episodios de guerra entre países por el espionaje y los ciberataques a través de la red y la comunidad internacional no esté haciendo nada por tipificar y definir este tipo de cuestiones, deslindando claramente lo que son y separándolos de las posibles zonas grises, tiene mucho que ver con lo que ocurre en ese otro ámbito, en el de la definición de los delitos de otros tipos.

¿Necesitamos reeditar el Convenio de Ginebra para adaptarlo al entorno digital? No lo sé. El contexto de las relaciones internacionales tiene una regulación muy compleja e indudablemente enrevesada, pero tener determinadas definiciones por escrito en un documento que provenga de un consenso general y que pueda ser invocado, o utilizado eventualmente como herramienta sancionadora, posiblemente no viniese nada mal. Y de paso, repensar la lentitud con la que la justicia, en general, tiende a adaptarse a los nuevos entornos definidos por la tecnología, y lo que nos termina costando que eso sea así.

 

Powered by WPeMatico

El problema de los jueces cavernícolas e irresponsables

IMAGE: Anton Brand - 123RFUn juez brasileño ordena a los proveedores de telecomunicaciones del país interrumpir el servicio de WhatsApp, utilizado por más de cien millones de personas, y deniega posteriormente la apelación de la compañía ante lo evidentemente desproporcionado de la medida. ¿Las razones para el bloqueo? La negativa de la compañía a facilitar datos sobre conversaciones de usuarios presuntamente implicados en delitos de tráfico de drogas. ¿El problema? Que desde la puesta en marcha del cifrado de extremo a extremo de sus conversaciones, la compañía simplemente no puede suministrar detalles de esas conversaciones, porque sencillamente no es capaz de acceder a ellas: no solo están cifrados, sino que ni siquiera son almacenados en los servidores de la compañía

La medida proviene del mismo juez, Marcel Maia Montalvão, que el pasado día 1 de marzo ordenó el arresto del máximo ejecutivo de Facebook, propietario de WhatsApp, por la misma causa: no facilitar datos de cuentas investigadas por delitos relacionados con tráfico de drogas. Todo indica que la actual prohibición del uso de WhatsApp sería parte de este mismo caso. Obviamente, el juez manifiesta no solo una obsesión enfermiza con la compañía que afecta gravemente a su capacidad para impartir justicia, sino que además exhibe una desmesura, una irresponsabilidad y una incapacidad para entender el funcionamiento de las herramientas que debería claramente llevarle a ser retirado de sus funciones.

El caso es, claramente, una muestra del problema que suponen los jueces “de gatillo fácil” cuando se pronuncian sobre casos relacionados con entornos tecnológicos complejos. La incapacidad para entender los detalles del funcionamiento una tecnología pueden hacer que un juez crea que, en efecto, una compañía se está escudando en un argumento débil para evitar colaborar con la justicia, y dispare desde la cintura cuando, en realidad, lo único que está manifestando es, como en este caso, la incapacidad de la compañía para suministrar unos datos que no posee. En estos casos resulta patente la necesidad de asesorar al juez, pero ¿y si este se niega a dejarse asesorar, y prefiere actuar de una manera tan contundente como impidiendo el derecho a comunicarse de cien millones de personas? ¿A alguien se le ocurre pensar qué ocurriría si un juez decretase la prohibición de utilizar el teléfono en un país? Dado el estado de difusión y el nivel de uso de WhatsApp en este momento en un país como Brasil, prohibir su uso e impedirlo por la vía de los hechos amenazando a las operadoras con una multa de $142,000 al día supone prácticamente lo mismo, eliminar un canal de comunicación ampliamente utilizado por una gran parte de la población del país.

Mantener a los jueces razonablemente educados con respecto a los cambios del entorno es cada día una responsabilidad más acuciante del poder judicial. Para un juez, “venirse arriba” ordenando un bloqueo a nivel nacional de una herramienta popular tendría que entenderse no como una medida de presión a la compañía ni como una manifestación de su autoridad, sino como un problema grave en su raciocinio, un problema de desfase con los tiempos en los que vive, un anacronismo absurdo más digno de un mal chiste que de una situación real. Se supone que la sociedad confía a sus jueces la capacidad de administrar justicia a la hora de resolver una controversia o decidir el destino de un imputado, tomando en cuenta las evidencias o pruebas presentadas en un juicio. ¿Puede llevarse a cabo esa importantísima responsabilidad cuando se evidencia una total y absoluta ignorancia sobre el mundo en que vivimos, o una profunda animadversión hacia una persona o compañía determinada? ¿No deberían interpretarse este tipo de actitudes tan profundamente desmesuradas como prueba de una evidente incapacidad para impartir justicia en el entorno actual, y actuarse en consecuencia mediante un procedimiento de revisión rápida y proporcionando al juez en cuestión la oportunidad de reciclarse asistiendo a los cursos adecuados? ¿Qué nos hace pensar que la formación continua y el reciclaje de los jueces es menos importante que el de otros actores sociales que sí lo llevan a cabo? 

Cien millones de personas privadas de su canal de comunicación favorito, porque un juez quiere obligar a una compañía a hacer algo que técnicamente es incapaz de hacer. ¿Qué hacer cuando la justicia deja de ser justicia y se convierte en un mal chiste?

 

Powered by WPeMatico

Schadenfreude

 

Schadenfreude definitionSin duda, es una bonita palabra: dentro de la peculiar sonoridad del idioma alemán, se diría hasta que suena “armoniosa, como el trabajo en una fragua a martillazos sobre el yunque”.

Hoy es el día en el que José Ramón Julio Márquez Martínez, más conocido como Ramoncín, se sienta en el banquillo ante la Audiencia Nacional para responder por una trama de corrupción presuntamente desarrollada durante muchos años en el seno de la Sociedad General de Autores y Editores (SGAE), por la que ya ha habido otras diligencias previas que afectaron a directivos de la misma tan notorios como Eduardo “Teddy” Bautista. Y unos cuántos más que deberían caer dentro de esa misma industria y de las empresas relacionadas con ella.

Schadenfreude aparte, lo importante es que no olvidemos. Que tengamos muy claro en nuestra cabeza que la sociedad que de manera exclusiva y designada por el gobierno tenía una función tan importante como la de recaudar la parte correspondiente a los autores del dinero generado por otras actividades mediante una explotación directa de sus obras se dedicó, durante muchos años, a robar. Así, directamente y sin eufemismos: a ROBAR. A robar a los autores y a robar a toda la sociedad, mientras por otro lado se dedicaban a recriminar a esa misma sociedad otra serie de cuestiones que simplemente respondían a un desajuste de mercado, a una clamorosa falta de oferta. Nos descargamos obras cuando quien debería ofrecérnoslas renuncia a hacerlo en una manera que nos ofrezca un nivel de conveniencia adecuado a un precio que estimemos razonable, como de hecho se ha demostrado con el tiempo a medida que aquellos países en los que se desarrolla la oferta regular va disminuyendo el nivel de acceso a esos productos culturales mediante canales irregulares. Las descargas eran simplemente un mecanismo de mercado, sin más importancia que la meramente coyuntural. Lo suyo no era eso: era (presuntamente) un ROBO, eran personas llevándoselo crudo, diseñando mecanismos para repartirse lo que no les correspondía, estableciendo sistemas abusivos para poder beneficiar a sus amigos con prebendas de todo tipo. Una caterva de delincuentes organizados con un entramado societario pensado no para optimizar el reparto a los autores, sino para extraer dinero irregularmente. Todo ello mientras, con la anuencia del gobierno de turno, se dedicaban a insultar a los ciudadanos y a reclamar un endurecimiento de las leyes para poder criminalizar actos que no eran en absoluto criminales (y mucho menos comparados con los suyos).

A ver si alguien se decide a reformar todo esto como debe ser. A implantar la necesaria transparencia en un mecanismo importantísimo – los autores deben ser compensados por todo uso lucrativo que un tercero haga de sus obras, salvo cuando expresamente renuncien a ello – pero que ha sido pervertido hasta la extenuación. Mientras tanto, disfrutemos de la schadenfreude como disfrutamos aquel mítico 1 de julio de 2011. Y que no haya paz para los malvados – pero para los malvados de verdad.

 

Powered by WPeMatico

Bloquear la publicidad es una opción lícita

Ad blockerUno de los casos pendientes que despertaba más atención en el mundo de la publicidad, la denuncia de dos editores alemanes, Zeit Online y Handelsblatt, presentada en el tribunal regional de Hamburgo contra AdBlock Plus,  acaba de caer del lado del demandado: el tribunal da la razón a AdBlock Plus y afirma que el bloqueo de anuncios es perfectamente legal, que los usuarios tienen la libertad de bloquear anuncios molestos, de proteger su privacidad y, por extensión, ser capaces de determinar su experiencia en la web.

El veredicto se sustenta en un lógico derecho inalienable de autodeterminación de los usuarios de la red, y supone un varapalo para las compañías que afirmaban estar sufriendo un importante perjuicio económico derivado del uso del software que la compañía ofrece. La conclusión es muy clara: si no quieres ser perjudicado, respeta a tus usuarios en lugar de atacarlos con formatos intrusivos y molestos.

Lógicamente, este veredicto, que ha tardado cuatro meses, es tan solo el principio. Además de que muy probablemente será apelado, no es el único caso al que se enfrenta la compañía: algunas compañias de publicidad la han denunciado también en un tribunal de Munich , y se enfrenta también a otro posible juicio en Francia por parte de los editores. La batalla promete ser larga: AdBlock Plus es no solo el principal proveedor de software para el bloqueo de anuncios en páginas web, sino también decididamente el que más ha desarrollado el modelo de negocio asociado con ello, lo que le ha valido acusaciones de chantaje por parte de algunas compañías. La compañía mantiene un registro de anunciantes y páginas web que llevan a cabo lo que considera “publicidad aceptable“, y solicita dinero a las compañías con el fin de eliminarlas de su lista de bloqueo si aceptan utilizar solo esos formatos, un dinero que cubre los gastos de supervisión de esa publicidad pero que también constituye la principal fuente de financiación de la compañía – otros proveedores, como AdBlock, se financian únicamente mediante donaciones de sus usuarios. Si la compañía accede, esos anuncios pasan el filtro y son expuestos a los usuarios, que en cualquier caso pueden optar por bloquear esos anuncios si específicamente deciden hacerlo.

Pero más allá de las decisiones judiciales, está la lógica: incluso aunque las empresas editoras o las de marketing consiguiesen triunfar en los tribunales, el software de AdBlock Plus es de código abierto, lo que lleva a que se pueda acceder a él incluso aunque la compañía desaparezca o se establezcan medidas que la impidan seguir con su actividad. El hipotético escenario de gestión de ese tipo de software sin una compañía detrás resulta caótico: llevados por el ruido mediático, más usuarios instalarían ese software en sus navegadores, y optarían por gestionar sus listas de bloqueo ellos mismos, dando lugar a un esquema no centralizado y posiblemente peor en términos de grados de libertad para una hipotética gestión. Como en otras ocasiones, la del bloqueo de publicidad es una batalla que no se puede ganar: lo único que se puede hacer a medio plazo es dar la razón a los usuarios y optar por modelos publicitarios que no resulten agresivos o molestos. Todo lo demás, empeñarse en llevar el tema a los tribunales, fantasear con la posibilidad de bloquear el software a otros niveles o pensar en perseguir a los usuarios son soluciones que nunca van a funcionar. Sin embargo, seguiremos viendo intentos por judicializar el tema y por empeñarse en no seguir la lógica de la red.

Al menos el de hoy es un paso en el sentido correcto. Veremos lo que dura.

Powered by WPeMatico