Category Archives: artificial intelligence

Auto Added by WPeMatico

Medicina: ¿sustituyendo o asistiendo?

IMAGE: Natalia Merzlyakova - 123RFUn artículo de CNN titulado What happens when automation comes for highly paid doctors comenta el reciente crecimiento de la tendencia hacia el desarrollo y utilización de sistemas de diagnóstico de imagen – radiografías, tomografías, resonancias magnéticas, ultrasonidos, etc. tradicionalmente interpretados por un médico, un especialista o un radiólogo – para su interpretación mediante sistemas que procesan el diagnóstico mediante visión computerizada y algoritmos de machine learning, entrenados a partir del extenso archivo recopilado a lo largo de muchos años de práctica.

El uso de herramientas de diagnóstico mediante imagen ha ido creciendo a lo largo del tiempo, y además de ser profusamente utilizado, supone un elemento muy importante del coste: donde antes un médico tenía que procesar manualmente unas pocas imágenes, ahora es perfectamente habitual que en una sola prueba se obtengan cientos o incluso miles de imágenes en finas capas, en procesos que pueden llegar a ser profundamente aburridos y que incrementan la probabilidad de error debido al cansancio o la pérdida de atención.

¿Puede un algoritmo ser capaz de reconocer en una imagen elementos de diagnóstico? Sin duda. ¿Puede, además, llegar a hacerlo mejor que un profesional especialmente entrenado para ello? Todo indica que, a medida que esos algoritmos son entrenados con más y más imágenes y sus posteriores resultados diagnósticos, esa posibilidad se convierte en una realidad, y que muy probablemente estemos ante mecanismos en los que la probabilidad de pasar por alto un indicio con trascendencia diagnóstica en una imagen sea significativamente menor que en el caso de que ese diagnóstico sea llevado a cabo por un humano.

Precisamente sobre este tema estuve hablando en el pasado Netexplo con Pooja Rao, co-fundadora de la startup india Qure.ai, que fue una de las compañías que obtuvieron galardón y la que me pidieron que entrevistase en el escenario. Pooja contaba con la experiencia perfecta para comentar el tema: además de ser médico de formación, había co-fundado una compañía dedicada al diagnóstico de imagen mediante machine learning, y trabajaba precisamente con médicos a los que trataba de convencer para que contribuyesen al entrenamiento de los algoritmos ofrecidos por su compañía, con un argumento claro: la posibilidad de poder obtener mejores diagnósticos, más seguros, más consistentes y con menos posibilidades de pasar por alto elementos clave.

Una imagen de diagnóstico médico es un fichero digitalizable o, cada vez más, directamente digital. Convertir esas secuencias de píxeles en elementos capaces de ser procesados algorítmicamente es algo que cae perfectamente dentro de las posibilidades del machine learning, en un ámbito, el de la imagen, en el que ya se han obtenido numerosos progresos. Que lleguemos a un momento en el que el análisis de una imagen se lleve a cabo directamente tras su obtención, o incluso durante la misma – para permitir un muestreo más exhaustivo de determinadas áreas – o, incluso, a un momento en el que los médicos directamente pierdan la capacidad de utilizar ese método diagnóstico por falta de práctica es algo que, a día de hoy, cabe perfectamente dentro de los escenarios posibles. En este momento, un algoritmo es capaz de procesar e interpretar una resonancia magnética de corazón, por ejemplo, en unos quince segundos, un examen que puede necesitar unos 45 minutos cuando lo lleva a cabo un cardiólogo o radiólogo.

En ese caso, ¿qué papel pasa a tener el médico especialista? Sencillamente, el de encargar la prueba diagnóstica e interpretar el análisis de la misma llevado a cabo no por sí mismo o por un radiólogo, sino por un algoritmo. El propio radiólogo pasaría a ser un interpretador avanzado de esos diagnósticos, un gestor de un instrumento que sigue los indicios marcados por un algoritmo y trata de ofrecerle elementos adicionales de diagnóstico, o tal vez, el que lleva a cabo un segundo análisis manual basado en los indicios encontrados por el algoritmo. ¿Realmente vemos ese proceso como una sustitución, o más bien como una asistencia especializada que mejora las capacidades del facultativo? ¿Perderían los radiólogos su trabajo, o simplemente deberían reciclarse para aprender a aprovechar una herramienta diagnóstica mucho más potente, capaz de ver lo que un ojo clínico bien entrenado anteriormente no veía? ¿Llegaremos a un momento en el que el diagnóstico mediante imagen sea algo que debe necesariamente ser llevado a cabo por un algoritmo, porque mejore sensiblemente el número de ocasiones en las que un indicio se pasa por alto o se dé lugar a un número menor de falsos positivos? ¿Llevará el hecho de que sea un algoritmo el que procesa las imágenes a que se puedan obtener muchas más, dada la mayor facilidad de procesamiento derivada de que que no sea un médico quien deba revisarlas todas una por una, y por tanto, termine redundando en mejores diagnósticos? ¿Alguien podría llegar a ver un proceso así como negativo?

 

 

 

This post is also available in English in my Medium page, “Medicine and machine learning: replacing or assisting?” 

 

Powered by WPeMatico

Me, myself & AI: en el foro de la OCDE

Me, myself and AI - OECD ForumAyer tuve la oportunidad de participar como discussion leader en la sesión titulada Me, myself & AI encuadrada dentro del Forum de la Organización para la Cooperación y el Desarrollo Económico (OCDE): tres horas de interesantísima discusión en un formato intensamente participativo, en el que tratamos la evolución y el futuro de una escenario definido cada vez más por algoritmos de machine learning aplicados a todo tipo de ámbitos.

Europa Press recogió algunos de mis posicionamientos durante el foro, en una noticia que han titulado “Dans (IE) insta a las empresas a reorganizar su actividad en torno a los datos para ser competitivas” y que hoy aparecen reflejados en diversos medios: la necesidad de orientar la actividad de las compañías a la obtención de datos, con el fin de poder alimentar algoritmos que nos doten de capacidad de gestión eficiente, rápida y diferencial. Estamos aún muy lejos del desarrollo de una inteligencia artificial de propósito general como tal, pero los algoritmos de machine learning van posicionándose cada vez más como soluciones óptimas para un número creciente de tareas, y además, han disminuido enormemente sus barreras de entrada. La aparición de plataformas de Machine Learning as a Service (MLaaS) y los movimientos de las grandes compañías tecnológicas para posicionarse en ese ámbito mediante la adquisición de startups con actividad en ese área están determinando un escenario que cada vez tiene más influencia a la hora de definir la competitividad de las compañías: los algoritmos de machine learning definen qué productos son ofrecidos a qué clientes potenciales, políticas de pricing, prevención del abandono o churn, detección de posible actividad fraudulenta, opciones en la determinación del marketing mix, y cada vez más cosas.

Pero más allá de este tipo de cuestiones, con indudable influencia en la actividad de las compañías a día de hoy, y sin caer en el hype y la desinformación que supone pensar que ya vivimos rodeados de inteligencia artificial, la oportunidad de participar en un foro como el de ayer, con especialistas de diversas compañías, personas que llevan años desarrollando algoritmos en aspectos como procesamiento del lenguaje o visión computerizada, o con políticos que están tomando decisiones que condicionan las posibilidades de actuación de las compañías resulta verdaderamente interesante. Entre las cuestiones que discutimos en el foro estuvieron, entre otras, como estructurar las variables dependientes que un algoritmo debe optimizar (y qué supone optimizarlas), la necesidad de pensar el la articulación de un nuevo sistema operativo en el que se desarrollarán muchas partes significativas de la actividad humana, o la interacción entre algoritmos y personas. En mi intervención, intenté plantear ese tipo de cuestiones como si fueran un lenguaje de programación: cuáles serían las variables a definir y cómo se definen, cómo se estructuran los condicionales, y cómo generamos bucles que ofrezcan un control de la actividad resultante, además de tocar las necesidades de preparación de las personas y las habilidades que vamos a tener que desarrollar de cara a ese entorno, en una entrevista que publicaré en cuanto esté disponible. También surgieron interesantes discusiones en torno a temas éticos, a posibles conflictos entre las decisiones de un algoritmo y las de una persona, al dilema de la caja negra o a los posibles sesgos que se pueden generar y a su posible supervisión.

Este tipo de foros de la OCDE tienen una gran importancia de cara al desarrollo de líneas de pensamiento que influencian el entorno legislativo y las decisiones de actores de muy diversos tipos en empresas, gobiernos y organismos de todo tipo. Agradezco enormemente a la OCDE la oportunidad de participar. En cuanto tenga disponible más materiales sobre la jornada, los iré añadiendo a la entrada.

 

 

This post is also available in English in my Medium page, “Me, myself & AI: in the OECD forum

 

Powered by WPeMatico

Justicia robótica

IMAGE: Kittipong Jirasukhanont - 123RF

Durante las últimas semanas, he estado utilizando un artículo de Wired, titulado Courts are using AI to sentence criminals. That must stop now, para generar discusiones interesantes en algunas de mis clases y conferencias: el uso de algoritmos en procesos judiciales en los Estados Unidos para determinar, por ejemplo, la probabilidad de reincidencia de un acusado, y su uso para administrar una sentencia más o menos dura dependiendo de ello.

Ayer, el New York Times comentó el tema al hilo del mismo caso que el descrito en Wired, el de Eric Loomis, un criminal enviado a prisión el pasado marzo por un juez que utilizó a instancias del fiscal el resultado de COMPAS, un algoritmo creado por Equivant, e hizo constar en el sumario que

“you’re identified, through the COMPAS assessment, as an individual who is a high risk to the community.”

(“usted ha sido identificado, mediante la evaluación COMPAS, como un individuo que representa un alto riesgo para la comunidad.”)

La defensa de Loomis ha alegado que el uso del informe generado por el algoritmo vulnera los derechos del acusado, por ser un algoritmo secreto que no puede ser inspeccionado ni estudiado, lo que impide que sea discutido o cuestionado de manera efectiva. En efecto, no se trata únicamente de que el algoritmo sea secreto debido al interés de su creador, sino que, como comentábamos hace algún tiempo, los procesos de machine learning generan cajas negras que una inteligencia humana no puede monitorizar, que solo pueden ser valorados en función de la calidad de su output, lo que genera un inmediato problema de transparencia.

El proceso es claro: un banco, por ejemplo, podría fácilmente comenzar a alimentar un algoritmo de machine learning con todo su archivo de préstamos e hipotecas a lo largo de la historia y sus resultados en cuando a pago o impago, y muy posiblemente se encontraría con que, al cabo del tiempo, los resultados del algoritmo podrían mejorar las decisiones de un comité de riesgos integrado por personas con amplia experiencia en banca. Si efectivamente es así, el banco podría optar por eliminar a su comité de riesgos y sustituirlo por el proceso automatizado, en aras no solo de una reducción de costes, sino también de un resultado económicamente mejor. Sin embargo, esa decisión, que llevaría a que los clientes del banco viesen cómo la decisión de si les conceden o no una hipoteca pasa a depender de un algoritmo, podría tener dos problemas:

  • Falta de transparencia: de acuerdo, no me concedes la hipoteca… pero, ¿qué debería hacer si quiero llegara obtenerla? ¿Cuáles han sido las variables que han hecho que no me la concedas, y cómo debería trabajar para mejorar mi elegibilidad a la hora de obtener esa hipoteca más adelante? ¿Cómo me explicas una decision que ni tú mismo entiendes, y de la que solo sabes que maximiza tus posibilidades de obtener la devolución del préstamo?
  • Sesgos: contrariamente a lo que algunos podrían pensar, el uso de un algoritmo no garantiza una mayor objetividad, sino un reflejo de los sesgos que pudiese haber en los datos originales. Si los datos con los que el banco alimentó a su algoritmo, por ejemplo, reflejasen algún tipo de tendencia histórica en la que se tendía a rechazar, por ejemplo, a los solicitantes de un grupo determinado en función de criterios como sexo, etnia, religión, etc., esos sesgos podrían consolidarse en el algoritmo obtenido a partir de ellos, pero ser difíciles de identificar por parte de una inteligencia humana.

En la justicia norteamericana, son cada vez más los procesos que están siendo colonizados por algoritmos: muchos abogados comienzan a utilizar algoritmos como Ross, basado el el Watson de IBM, no solo para determinar qué jurisprudencia es más relevante para el caso que están preparando, sino incluso para examinar los posibles sesgos del juez que tienen asignado basándose en todas sus decisiones anteriores en posibles casos similares, con todo lo que ello conlleva de cara a optimizar los argumentos utilizados. A medida que ese tipo de metodologías de trabajo se consolidan, los procesos de machine learning que los soportan van convirtiéndose en cajas negras dotadas cada vez de una mayor complejidad, con procesos que un humano es cada vez más incapaz de replicar o entender.

La robotización o algoritmización de la justicia podría, por un lado, convertirse en un posible recurso para muchos de los problemas generados por la saturación de los tribunales: todo caso suficientemente claro, sencillo o evidente podría dejar de ocupar valiosos recursos de un juez o tribunal humanos, y pasar a ser determinado por un algoritmo automatizado, como ocurre ya de hecho con muchas infracciones de tráfico, en las que el algoritmo, en realidad, tiene una necesidad de inteligencia muy baja: basta con que un requisito determinado se cumpla, para que se genere un resultado. A medida que la complejidad de los casos se incrementa, podemos encontrarnos con casos como el descrito, que pueden generar una indefensión: ¿cómo defenderme de un veredicto basado en una caja negra que simplemente valora una serie de variables de entrada y devuelve un resultado? ¿Debemos integrar la posibilidad de explicar el veredicto en los propios algoritmos, exigiendo una determinación de los pesos empleados o de los cálculos utilizados de manera que un humano pueda llegar a seguirlos?

Hace pocos días, en Netexplo, tuve ocasión de entrevistar en el escenario a la fundadora de una compañía de diagnóstico médico mediante imagen, Qure.ai. La conversación que mantuve me generó cuestiones muy interesantes: a lo largo del tiempo, una vez que los médicos adoptan el uso de su tecnología para determinar si una radiografía, un escáner o una tomografía muestran un tumor, la habilidad de un médico para examinar manualmente una imagen podría llegar a perderse por falta de práctica, y aunque la máquina, a medida que mejora su algoritmo, pase a ofrecer resultados mucho mejores que los médicos humanos, estaríamos ante una situación de pérdida de una habilidad que los humanos habíamos desarrollado como tal. Es el mismo tipo de argumento que el empleado por Nicholas Carr en “Superficiales” cuando pensamos, por ejemplo, que antes de los teléfonos móviles éramos capaces de recordar más números de teléfono de memoria: internet nos vuelve estúpidos, porque sustituye habilidades que antes teníamos y las convierte en innecesarias. O también , por supuesto, contra-argumentado de la misma manera: nadie sería capaz, hoy en día, de escribir sobre una piedra, porque nuevas tecnologías y soportes lo han convertido en innecesario… y no pasa nada, simplemente aceptamos que el contexto, y en este caso, la inteligencia artificial, redefine la inteligencia humana. Pero ¿qué ocurre cuando esa pérdida de la habilidad humana se convierte en decisiones “subcontratadas” a una caja negra que no podemos interpretar?

 

Powered by WPeMatico

Identificando patrones de difusión viral

IMAGE: Johan2011 - 123RF

Facebook, en su cruzada contra las noticias falsas, anuncia un sistema del que ya habíamos hablado en entradas anteriores, pero que aún no se había concretado y que a mí me parece claramente el más prometedor: tratar de identificar mediante machine learning los patrones de difusión de noticias que resultan sospechosos, bien debido al uso de cuentas específicas identificadas como sospechosas de participar en esos esquemas, o por la forma en que se produce esa difusión.

¿Es la identificación de rumores y noticias falsas una tarea adecuada para el machine learning? Todo parece indicar que su uso resulta sumamente prometedor: por un lado, la red social cuenta con un repositorio de datos históricos importantes que han podido ser sujetos a comprobación, repositorio que además crece de manera cada vez más rápida debido a la cada vez mayor actividad de las páginas dedicadas al fact-checking. Por otro, se trata de un fenómeno con patrones identificables, en el que los actores implicados – que pueden ser partidos políticos, gobiernos u otras entidades con un interés en el tema – utilizan habitualmente sistemas conocidos, como cuentas falsas a las que recurren de manera repetitiva, o bots que generan una actividad elevada.

Un sistema similar es el utilizado por Twitter para la eliminación de cuentas creadas de manera automática, actividad en la que ya posee una amplia experiencia, pero que se ha convertido en un verdadero problema a la hora de evaluar la actividad en su red. Al principio, las cuentas falsas eran completamente obvias: cuentas que se creaban para venderlas como followers falsos que inflaban las estadísticas de quien pagaba por ello, pero que permanecían inactivas, y que a partir de un cierto tiempo como tales, eran identificadas como falsas. De ahí, se pasó a cuentas que llevaban a cabo una actividad determinada, tal como seguir algunas cuentas o hacer algunos retweets o likes que también podían ser susceptibles de comercialización, pero respondiendo a patrones generalmente identificables. La carrera continúa cuando esos patrones se someten a sistemas aleatorios para evitar su detección, en lo que empieza a parecerse al argumento de una novela de Philip K. Dick: robots diseñados para no ser identificados como tales, que luchan contra otros robots pensados para hacerlo, y pruebas diagnósticas que evalúan si lo son o no.

En el caso de Facebook y las noticias falsas, estamos aún al principio de esta carrera, pero la carrera armamentística comienza indudablemente más fuerte: los algoritmos de machine learning empleados tratarán de ir empleando metodologías cada vez más sofisticadas, en un intento de identificar los progresos de quienes tratan de esconder esos patrones, y también, por supuesto, de reducir el número de falsos positivos, de noticias reales que se vean sometidas a algún tipo de “cuarentena” por recibir una atención muy elevada de manera muy rápida pero genuina. Identificar los patrones de difusión viral real y separarlos de los artificiales creados en función de unos intereses determinados parece, en efecto, una tarea adecuada para un algoritmo de machine learning, pero también nos lleva a un cierto conflicto de intereses si Facebook pretende comercializar ese tipo de patrones de difusión viral a sus anunciantes, una tentación que ya ha esbozado anteriormente. Pronto empezaremos a ver los resultados.

 

Powered by WPeMatico

La sustitución del hombre por la máquina y la carrera hacia el abismo

IMAGE: David Crockett - 123RF

Un artículo con predicciones de Stephen Hawking compartido en el World Economic Forum con sus perspectivas sobre la sustitución del hombre por la progresiva automatización y el uso de inteligencia artificial me lleva a reflexionar un poco sobre las circunstancias en las que se desenvuelven ese tipo de procesos.

El artículo considera las profesiones relacionadas con la conducción, como taxista o chófer, como una de las más susceptibles de sufrir el impacto de la automatización, con una probabilidad del 89%. La promesa de Mercedes Benz de poner en el mercado taxis completamente autónomos en un plazo de tan solo tres años, unida a las inyecciones económicas de algunos gobiernos en ese tipo de proyectos y a la entrada progresiva de nuevos competidores significativos como Apple o Cadillac parecen estar configurando una hoja de ruta en conducción autónoma cada vez más clara y decidida.

En este contexto, los modelos económicos que rodean el fenómeno parecen ir definiendo de una manera cada vez más clara un escenario de carrera hacia el abismo, en el que la dinámica competitiva en un escenario desregulado lleva a una caída cada vez más fuerte de los ingresos que termina por asfixiar a los competidores tradicionales, dejando espacio únicamente para los entrantes que son capaces de aprovechar mejor las ventajas tecnológicas.

Una startup californiana creada en torno al concepto de taxis autónomos, Voyage, anuncia sus intenciones de ofrecer en el futuro transporte completamente gratuito, posiblemente financiado mediante publicidad. La idea resulta profundamente provocativa, y enlaza con algunas de las interesantes reuniones que mantuve en las oficinas de Daimler en Stuttgart hace algún tiempo, en las que algunos de sus directivos de innovación afirmaban estar trabajando de cara al futuro con modelos en los que el transporte dentro de las ciudades evolucionaba hacia esquemas completamente gratuitos para el usuario, y planteados siempre en modo servicio en lugar de en términos de posesión de un activo utilizado de manera subóptima. La idea de sistemas de transporte completamente gratuitos en función de una exposición a publicidad o mediante modelos de esponsorización no resulta extraña cuando hablamos de ciudades como Londres, en las que por tan solo dos euros, una persona tiene acceso al uso ilimitado de una bicicleta pintada con el rojo característico del logotipo del Santander, durante veinticuatro horas.

En San Francisco, la compañía de taxis más grande de la ciudad, Yellow Cab Co-Op, ha sido vendida a un competidor por un total de ¢810,000, menos de lo que cuesta una casa en la ciudad. Los culpables de tan brutal depreciación no son únicamente Uber, Lyft y compañías similares que operan en la ciudad, sino la coincidencia de varias demandas por accidentes que resultaron en indemnizaciones multimillonarias, y dejaron a la compañía en bancarrota. En un escenario en el que la siniestralidad inherente a la conducción humana se convierte en una variable capaz de hundir compañías, la conducción autónoma, sujeta a un número dramáticamente inferior de accidentes, se perfila claramente como la alternativa triunfadora.

¿Puede pensarse en evitar la transición de una actividad configurada como tradicionalmente humana, como la conducción, hacia su automatización total, en un escenario en el que la dinámica competitiva se configura de esta manera? No, los procesos como tales son total y absolutamente inevitables, y aquellos que intenten negarlos se verán inmersos en la obsolescencia y en la pérdida de competitividad. La única solución es anticipar ese tipo de procesos y optar por sistemas que mejoren la cobertura social y las alternativas de los cada vez más afectados, en lugar de permitir una espiral descendente que termine generando un problema social irresoluble.

 

Powered by WPeMatico

Entendiendo conceptos en Machine Learning

IMAGE: Ilya Akinshin - 123RF

Llevaba algunos días encontrándome artículos interesantes que pensé que podían ayudar a entender algunos temas relacionados con el machine learning y sobre los que me parecía que podía escribir, pero se me han ido acumulando, de manera que creo que lo mejor puede ser reseñar varios de ellos en una sola entrada con algunos comentarios al respecto.

El primero de ellos, The dark secret at the heart of AI, lleva a cabo un muy buen trabajo a la hora de explicar la “teoría de la caja negra“, que hemos comentado aquí en varias ocasiones: a medida que los algoritmos de machine learning se hacen más y más sofisticados, la posibilidad de que una mente humana entienda los procedimientos que utiliza para llegar a un resultado determinado se hacen menores, lo que nos lleva, en último término, a tener una caja negra que genera resultados que podemos poner a prueba únicamente en función de su calidad, sin entender cómo se llega a ellos. Si entrenamos un algoritmo con todo el historial de créditos concedidos y denegados por una entidad, por ejemplo, con el fin de que tome decisiones en el futuro que hoy tomaría un comité de riesgos, terminaremos por tener una caja negra de la que salen decisiones que podremos contrastar en función de la calidad de los resultados (si reduce el número de créditos concedidos y no devueltos, la daremos por válida), pero seremos muy probablemente incapaces de entender cómo llega la máquina a cada decisión: su funcionamiento será una caja negra en cuyos resultados confiamos en función de sus resultados.

Esto nos lleva otra cuestión: dado que cuando alimentamos un algoritmo, lo hacemos con todos los datos que tenemos disponibles y que, según nuestro razonamiento humano, contribuyen al resultado, lo que nos encontramos es que los progresos del machine learning redefinen el concepto que tenemos de inteligencia humana, y alteran nuestras percepciones de lo que podemos o no podemos hacer. El punto de partida para la máquina es lo que como humanos somos capaces de entender, a partir de ahí, todo es terreno inexplorado y métodos que requieren una potencia de cálculo de la que nuestro cerebro, sencillamente, carece. Así, cosas que hoy nos parece normal que haga un humano, las iremos viendo como absurdas a medida que sea una máquina la que las hace, y cosas que una máquina es capaz de hacer nos irán pareciendo cada vez menos sorprendentes y más normales. Muy pronto, el chatbot se habrá convertido en el estándar para el servicio postventa y para muchas cosas más como “explicarnos” las noticias, y la primera época de desencanto y decepciones dará paso a un momento en el que realmente, como les ocurre a las generaciones más jóvenes, preferiremos hablar con robots a hablar con personas, porque no solo nos darán un mejor servicio, sino que además nos eliminarán la sensación de estar “molestando a alguien” al otro lado (del mismo modo que un enlace no “se queja” ni “nos contesta mal” si hacemos clic en él diez veces). Simplemente, que sea un algoritmo conversacional el que te atiende cuando tienes cuestiones relacionadas con el producto o servicio de una compañía pasará a ser “lo normal”, y veremos como “del siglo pasado” cuando había personas dedicadas a hacer ese servicio.

Del mismo modo, habrá actividades que serán pronto algo del pasado, sean programar semáforos para evitar atascos, llevar a cabo decisiones de inversión o diagnosticarnos una enfermedad, y nos parecerá “raro” o “primitivo” pensar que esas actividades eran antes llevadas a cabo por una persona. Lo de sustituir a los conductores de taxi o de camión será visto como algo tan obvio, que nos parecerá increíble – y peligrosísimo – que esa actividad fuese desarrollada antiguamente de manera manual. ¿Significará eso que muchas personas que hacían ese trabajo se vayan directas al paro? Posiblemente, pero la solución no estará en poner impuestos a esos robots que han pasado a desempeñar esas actividades, sino formar y entrenar a las personas para que sean capaces de llevar a cabo otras actividades relacionadas. Y en ese sentido, recortar las prestaciones sociales, como parece la tendencia en países como los Estados Unidos, solo puede llevar a que el problema sea peor.

Esto no quiere decir, lógicamente, que no tengamos que buscar metodologías que, de alguna manera, permitan incrementar la trazabilidad de las decisiones tomadas por las máquinas. El artículo que describe el escenario de pesadilla imaginado por Tim Berners-Lee en el que las decisiones en el mundo financiero son tomadas por máquinas que crean y gestionan compañías, completamente al margen de nociones típicamente humanas (y de difícil explicación para una máquina), como el impacto social o el bien común es, sin duda, digno de una lectura, y cita la frase de esa reciente entrevista de Vanity Fair con Elon Musk en la que hablaba del mismo tipo de peligros, de la optimización automática y de lo que podría pasar con un algoritmo que optimizase la producción de fresas:

“Let’s say you create a self-improving AI to pick strawberries and it gets better and better at picking strawberries and picks more and more and it is self-improving, so all it really wants to do is pick strawberries. So then it would have all the world be strawberry fields. Strawberry fields forever.”

¿Deberíamos, llevados por este tipo de miedos, detener el desarrollo de este tipo de tecnología? Claramente no. Detener la tecnología es completamente imposible, lo único que podemos hacer es avanzar el conocimiento relacionado con su desarrollo para intentar poner coto a escenarios con ese tipo de consecuencias. Siempre, en algún garaje o en algún país con incentivos suficientes para ello, surgiría alguien dispuesto a poner a prueba esa tecnología, probablemente con más ganas aún si de alguna manera artificial se pretendiese detener esa tecnología.

¿Te gusta dibujar? ¿Se te da bien? Pues prueba a dibujar cuando un algoritmo intenta averiguar qué quisiste expresar con tu trazo, y te propone formas de representarlo. Piensa en lo que ese algoritmo hace, ponlo a prueba, y plantéate que lo que estás viendo es solo el principio, cuando acaba de empezar a aprender a hacer esa tarea. Imagínatelo dentro de un tiempo, cuando no solo muchas más personas hayan experimentado con él, sino que además, cuente con muchas más representaciones alternativas propuestas por más artistas, en distintos estilos y con diferentes posibilidades. Y solo hablamos de un algoritmo relativamente sencillo de reconocimiento de patrones. ¿Lo vas entendiendo?

 

Powered by WPeMatico

Cartas al CEO: Machine Learning

Letters to the CEO - Enrique DansDesde Thinkers50 me pidieron una contribución para un libro en el que están trabajando, titulado Dear CEO, que será publicado en torno al verano y en el que van a colaborar también con sus cartas autores como Tom PetersAlex Osterwalder, Roger Martin, Whitney JohnsonHenry Mintzberg, Erica Dhawan, Richard D’Aveni, Costas Markides, Dave UlrichMarshall Goldsmith o Don Tapscott, entre otros. 

Mi carta ha sido una de las escogidas para ser publicadas en abierto como “aperitivo” del libro, y ayer fue publicada en la página de Kromann Reumert, una compañía de asesoría legal y empresarial danesa que colabora con Thinkers50, bajo el título Changing the way we understand technology así que me ha parecido que podría ser interesante compartir aquí una versión en castellano. Mi carta es un intento de explicar a un hipotético CEO la importancia de entender el cambio de papel de la tecnología, cómo ha ido pasando de ser una simple herramienta de automatización, a ir tomando progresivamente un papel completamente diferente, el de una herramienta con una capacidad de análisis de datos brutal y que es capaz de aprender de esos datos mediante diversos métodos para llegar a procesos de deep learning o reinforcement learning que van a cambiar el mundo tal y como lo conocemos.

Que una máquina sea capaz de ganar a los mejores jugadores humanos de ajedrez, de Jeopardy, de Go o de poker no es como tal importante en sí mismo por el hecho, sino por lo que demuestra: respectivamente, que una máquina posee una fuerza bruta computacional capaz de superar a cualquier cerebro humano, que además es capaz de entender y procesar el lenguaje natural mejor que muchos humanos, que puede incluso idear e inventarse estrategias nuevas originales compitiendo contra sí misma de una manera que ningún humano había sido capaz de hacer, y finalmente, que es capaz de estudiar entornos con información incierta o desconocida y tomar mejores decisiones que cualquier humano entrenado para ello. La carta, en realidad, es un intento de poner en perspectiva algo que muchos aún no alcanzan a comprender y que no son capaces por tanto de entender en su verdadera dimensión, pero que va a representar el cambio más importante que hemos vivido en la historia de la humanidad.

Agradezco enormemente a mis amigos de BigML, compañía de la que soy asesor estratégico, la oportunidad que desde ya hace algún tiempo me proporcionan para aprender y entender las tecnologías implicadas en el machine learning. Sin esa obligación fundamental que me plantean de mantenerme actualizado para poder estar a la altura, habría sido infinitamente más difícil llegar a entender su verdadero alcance y dimensión.

A continuación, el texto en castellano de mi carta (versión original en inglés aquí):

 

Querido jefe: 

En muy pocos años, la idea que tenemos de los ordenadores y de la computación en general ha cambiado de manera drástica, aunque la percepción que tiene toda una generación de directivos no lo ha hecho. Cambiar esa percepción y ser capaz de reinterpretar lo que la tecnología puede hacer por nuestro negocio es una necesidad cada día más acuciante. 

Durante muchos años, entendimos los ordenadores como una forma de automatización. Cualquier tarea que tuviese componentes repetitivos, intensivos o tediosos podía ser susceptible de ser automatizada mediante un ordenador con el programa adecuado. La llegada de los ordenadores a los entornos corporativos se produjo así, escogiendo aquellas áreas caracterizadas por rutinas tediosas, como el cálculo y el pago de nóminas, la contabilidad, etc., o aquellas en las que existía un requisito legal de preservación de la información. 

La idea que teníamos de un ordenador era la de una máquina que podía hacer lo mismo que hacía una persona, pero más rápido, más barato y con menos errores. Esa idea de computación como automatización ha sido una constante en el planteamiento de las inversiones en tecnología desde el inicio de la historia de la informática corporativa. 

Desde hace algún tiempo, este planteamiento ha cambiado radicalmente. Cuando vemos en las noticias que un ordenador ha sido capaz de vencer al ajedrez nada menos que al campeón mundial Garry Kasparov, que ha derrotado por amplio margen al Jeopardy a los mejores jugadores de la historia del programa, o que ha pulverizado en el juego del Go a los jugadores más reconocidos del mundo, ya no hablamos de la misma computación que conocíamos hasta ahora: para llevar a cabo esas proezas no basta con tener más potencia de calculo o con hacer las mismas operaciones que un hombre pero a más velocidad. No es únicamente cuestión de fuerza bruta: es otra manera de plantear las cosas. 

La nueva frontera se llama machine learning, y va a provocar un cambio tan brutal en el entorno que llegará hasta el punto de minimizar lo que fue en su momento el impacto de internet. Un auténtico cambio dimensional que definirá qué compañías prevalecen y cuales, sencillamente, desaparecen. Va a cambiar lo que entendemos por trabajo, y alterar la sociedad en su conjunto. Y todo ello, en un plazo de unos cinco años. En este momento, la esencia de la verdadera ventaja competitiva consiste en ser capaces de dotarse de los datos suficientes como para alimentar algoritmos de machine learning que sean mejores, más eficientes y más competitivos que los de nuestros competidores. No hay más. 

Cuando un ordenador vence a Lee Sedol o a Fan Hui, los dos mejores jugadores de Go del mundo, no se limita a calcular muy rápido. Para lograrlo, Google no solo tuvo que hacerse con los registros de todas las partidas de Go jugadas en la historia de las que existían datos y comprobar que su máquina, AlphaGo, era infinitamente mejor aprovechando la experiencia, sino que además, tuvo que aplicar y combinar técnicas de deep learning y reinforcement learning: poner a la máquina a competir contra sí misma, a inventarse movimientos que no habían sido puestos en práctica antes por ningún jugador humano, y a derivar nuevas jugadas a partir de esos movimientos originales, jugadas que posteriormente eran realimentadas en el sistema. Algunos de los movimientos jugados por AlphaGo han sido definidos no solo como intrínsecamente “bellos”, sino que, además, definían jugadas que tendrían únicamente una entre diez mil posibilidades de ser llevados a cabo por un jugador humano, movimientos que ningún humano podría comprender – y mucho menos anticipar. Es lo mismo que ocurre cuando cada vehículo autónomo que circula un metro por cualquier carretera contribuye automáticamente con su experiencia al aprendizaje de todos los vehículos autónomos que circulan en el mundo propiedad de una compañía determinada. La forma en que se definen y parametrizan las ventajas competitivas cambia radicalmente. 

Subirnos a esta ola es absolutamente crucial, un auténtico ser o no ser. Y la mentalidad no es necesariamente ganar, sino mejorar los niveles de cooperación entre humanos y máquinas, utilizar esa combinación para intentar resolver algunas de las cuestiones y problemas más difíciles del mundo. Pronto tendremos inteligencias autónomas que tomarán decisiones empresariales estudiando todo lo que sucede en el entorno de manera mucho más completa, exhaustiva y rigurosa que como puede hacerlo un equipo de personas, otros que fijarán los tipos de interés del Banco Central Europeo, que determinarán la presión impositiva o el importe de las pensiones. Estamos ante el cambio más radical que hemos vivido en la historia de la humanidad. 

Entenderlo lo antes posible y prepararse para ello con la altura de miras adecuada es absolutamente crucial para nuestra compañía. Y sin duda, la decisión más importante de toda tu vida como directivo. 

Agradeciendo tu atención, atentamente, 

Enrique Dans

Powered by WPeMatico

Sobre hombres y robots

IMAGE: Buchachon Petthanya - 123RF

Los planteamientos sobre la relación entre hombres y robots, tomando la definición de robot de la manera más amplia posible, tienden a resultar en muchos sentidos tremendistas: los robots que “roban nuestros trabajos” y nos condenan supuestamente a una sociedad disfuncional con tasas de desempleo elevadas, la sustitución de trabajos manuales de escaso valor añadido o de las tres D que va dando paso a la eliminación de otros trabajos cada vez más sofisticados, y, en general, a una visión caracterizada por el temor y la negatividad.

¿Estamos realmente en un proceso de sustitución de personas por robots? Por supuesto. Cualquier planteamiento de duda al respecto resulta completamente absurda o ridículamente ingenua. En realidad, hace ya muchos años que los robots están quitando el trabajo a las personas.

Frame-breakers, or Luddites, smashing a loom (Source: Wikipedia)

El proceso comenzó seguramente, por buscarle un origen y lugar concreto, en las fábricas textiles de Nottingham en el siglo XIX, y dio origen al movimiento ludita y a los ataques a telares y a máquinas herramientas de la época que podían, con su sola instalación y uso, dejar sin trabajo a decenas de trabajadores que antes llevaban a cabo labores de tejido e hilatura de manera completamente manual, brindando a los propietarios de las fábricas la oportunidad de escalar su producción y dar origen al sistema capitalista moderno que hoy conocemos.

El recurso a los luditas y la comparación con aquella actitud de destrucción de unas máquinas que, eventualmente, terminaron por generar una era de muchísimo mayor bienestar, generación de riqueza excedente y condiciones de vida sensiblemente mejores para una amplísima mayoría de la sociedad es ya muy habitual y manida. Presentar esa comparación como prueba clave es, en realidad, poco útil, porque han sido muy pocas las ocasiones históricas en las que los trabajadores – o los economistas – han aprendido de la experiencia en cabeza ajena.

Henry Ford is killing jobs (IMAGE: Juan Carlos Arce - Twitter)

Ya en el siglo XX, la línea de montaje de Henry Ford y su capacidad de producir grandes cantidades de vehículos a velocidades inimaginables en la época fue objeto de fuertes criticas por las asociaciones de trabajadores y por los conductores de carruajes, que veían a la nueva máquina convertida ya en algo popular, al alcance de casi cualquiera, con un crecimiento espectacular que amenazaba sus puestos de trabajo. La idea de que la sustitución de personas por máquinas es mala se repite, a pesar de las evidencias que apuntan a que seguir manteniendo esquemas como la fabricación manual en modo taller o el transporte mediante carruajes, renunciando a las ventajas y a la ganancia de eficiencia que supuso el desarrollo de la línea de montaje sería profundamente anacrónico, o directamente ridículo.

Si leemos a Erik Brynjolfsson y Andrew McAfee en su Race against the machine, la conclusión, sin embargo, parece clara: esta vez es diferente, porque la capacidad de las máquinas va a llegar hasta el punto de sustituir ventajosamente cada vez más de las tareas que las personas pueden hacer, lo que conlleva que, de una manera u otra, terminarán eliminando más puestos de los que son capaces de crear. Los robots ya conducen camiones y sustituirán a los camioneros en los próximos diez años, los drones autónomos ya vuelan solos de manera legal en Israel y trasladan muestras de laboratorio entre hospitales en Suiza, los empleados de servicio al cliente van siendo progresivamente sustituidos por chatbots cada vez más realistas, y las pizzas y hamburguesas van a ser pronto pedidas, elaboradas y enviadas a través de robots.

Pero a medida que vamos explorando la marcha de la automatización, y constatando que unos trabajos, o incluso unos países, tienen peores perspectivas en la carrera de la sustitución que otros, otras evidencias parecen ir emergiendo: la primera, que antes de la sustitución completa, todo indica que pasaremos por una fase en la que trabajadores cada vez mas preparados y sofisticados irán aprendiendo a trabajar cada vez más con robots. ¿Cómo prepararnos para un futuro en el que el machine learning y la inteligencia artificial van a ir incorporándose de manera progresiva a cada vez más trabajos?

Todo indica que las ideas de Donald Trump, preservar a toda costa unos pocos trabajos en la extracción de carbón a cambio de la salud de todo el planeta, son profundamente absurdas y equivocadas. En su lugar, lo que parece imponerse es la idea de que determinados trabajos están mucho mejor siendo sustituidos, y que a los países les irá mucho mejor siguiendo un modelo en el que se centren en inversiones en infraestructura que permitan incorporar tecnologías como la internet de las cosas, el machine learning y la inteligencia artificial para mejorar el rendimiento de los trabajadores y mantener la competitividad. La tecnología elimina determinados trabajos, pero solo la tecnología es capaz de salvar los trabajos del futuro. Un modelo que parece interiorizar mucho más un país como China, ya claramente destinado al liderazgo mundial, que unos Estados Unidos que a todas luces caminan hacia atrás.

¿Van los robots a quitarnos el trabajo? Sí, en un número elevado de casos. Pero intentar evitarlo solo generaría situaciones anacrónicas absurdas, como lo hubiera hecho el empeñarse en mantener a toda costa a los conductores de carruajes. En realidad, lo que los robots van a hacer es hacer sitio para trabajos que realmente tengan sentido, para tareas que una máquina no haga igual de bien, para la redefinición de cosas que un hombre pueda hacer mejor gracias a la colaboración con máquinas. Nadie puede parar la automatización, porque intentar hacerlo solo incrementa el incentivo a que alguien, en otro país o en otra compañía, se aproveche de ella para ser mucho más competitivo, para fabricar mejor, con más calidad, más barato, o todo ello a la vez. No, a los trabajadores no los salvará un imbécil decidido a ignorar los cambios en el escenario y empeñado en mantener unos trabajos que ya no van a volver porque ya no existen: los salvará una reforma de la educación y de los planteamientos mas profundos de la sociedad que dote a los trabajadores del futuro de las habilidades suficientes para trabajar en ese escenario redefinido. El futuro es el que es: seguir desarrollando tecnologías cada vez mejores, más eficientes, más inteligentes y más capaces de hacer más cosas, y preparar al hombre para trabajar lo mejor posible con ellas. Y al que no lo entienda así, sin duda, le tocará ponerse en la cola del paro.

 

Powered by WPeMatico

Machine learning para detectar comportamientos nocivos en la red

IMAGE: Redrockerz - 123RFUno de los principales problemas que redes como Twitter han experimentado a lo largo de los años es, como hemos comentado ya en bastantes ocasiones, su gestión del problema del acoso y el insulto.

Desde su fundación, Twitter intentó plantearse como una herramienta que hacía una defensa militante y maximalista de la libertad de expresión, lo que terminó por generar un entorno en el que era precisamente esa supuesta libertad de expresión la que se veía coartada por las reacciones de usuarios con comportamientos nocivos.

A lo largo del tiempo, ese ambiente nocivo le ha costado a Twitter grandes disgustos, desde un crecimiento menor de lo esperado, a un predominio creciente de comportamientos pasivos (lurking) frente a activos, e incluso a comprometer su futuro provocando que otras compañías dejasen de plantearse posibles ofertas de adquisición derivadas de las dinámicas venenosas existentes en la plataforma.

Tras múltiples intentos de corrección de estas dinámicas, muchos de los cuales son en realidad auténticas “tácticas de avestruz”, formas de ocultar el acoso a los ojos del acosado como si eso lo hiciese supuestamente desaparecer, ahora Twitter se plantea algo nuevo: una colaboración con IBM para que sea su sistema de machine learning, Watson, quien detecte, a través del estudio de patrones conversacionales, posibles situaciones de acoso y comportamientos abusivos, incluso antes de que sean denunciados.

¿Es posible que una inteligencia artificial detecte actitudes como el acoso o el abuso verbal? La cuestión no parece sencilla, porque hablamos de situaciones que van desde el insulto directo, que podrían ser detectadas simplemente con el uso de un diccionario, hasta otras mucho más complejas en las que se hace uso de la ironía, de los dobles sentidos, o de elementos no presentes en la conversación a los que se hace referencia de manera velada como insinuaciones, o a veces ni eso. Acosar a alguien puede incluir dinámicas muy complicadas, a veces incluso retorcidas, y utilizar patrones que van desde lo más sencillo a lo más alambicado.

¿A favor de Twitter? Cuenta posiblemente con uno de los mejores archivos online de comportamientos abusivos denunciados como tales. A lo largo de sus ya once años de historia, la compañía se ha visto envuelta en todo tipo de escándalos de elevada visibilidad y en una amplísima variedad de situaciones infinitamente menos conocidas que han afectado a usuarios de todo perfil y condición, con desenlaces conocidos. Para la compañía, resulta perfectamente posible estudiar en su inmenso archivo toda situación en la que determinadas actitudes hayan sido denunciadas como acoso, insulto, bullying, sexismo, incitación al odio, etc. e incluso etiquetar perfiles en función de su inclinación a exhibir ese tipo de comportamientos. Ese tipo de datos son precisamente lo que un algoritmo de machine learning necesita para ser entrenado correctamente, considerando que la semantización y el análisis del lenguaje humano ya son llevados a cabo algorítmicamente de manera más que satisfactoria. Obviamente, esto aún no incluye todo: algunas situaciones, como el uso de imágenes, pueden resultar algo más difíciles de procesar, pero en modo alguno representan algo que, a día de hoy, esté fuera de las capacidades de una inteligencia artificial, o en ultimo término, algo que puede recibir ayuda puntual de evaluadores humanos a la hora de determinar si efectivamente se trataba de una situación de ese tipo.

¿Puede Watson convertirse en el juez que determina si el comportamiento de un usuario debe ser considerado nocivo? Como afectado en algunos momentos por comportamientos de ese tipo que vio, además, cómo Twitter se lavaba las manos e incluso contribuía a empeorar aquella situación considerada por muchos como algo “simpático” y digno incluso de ser premiado, creo que sí, que el machine learning puede aportar un sistema que permita, cuando menos, etiquetar ese tipo de comportamientos, tipificarlos y permitir una gestión adecuada de los mismos, como también es muy posible que pueda colaborar en la detección de otro patrón habitual: la gestión de múltiples identidades y la apertura inmediata de otra cuenta para proseguir con el comportamiento nocivo cuando la primera cuenta es eliminada.

¿Existe algún tipo de conflicto entre un sistema así y la libertad de expresión? Todo depende de cómo queramos definir la libertad de expresión. Si consideramos que una red social debería servir para que todos podamos decir todo lo que se nos pase por la cabeza sin ningún tipo de freno o cortapisa, sí. Pero el ser humano vive en sociedad, la vida en sociedad se regula mediante determinadas reglas que van desde leyes a protocolos más o menos explícitos, y creo que a estas alturas, todos deberíamos asumir que el adjetivo “social” aplicado al sustantivo “red” debería implicar algo más que lo que actualmente implica. Al menos, en el caso de Twitter…

 

Powered by WPeMatico

Machine learning y reconocimiento de vídeo: una frontera importante

Image recognition in video (Google)Google anuncia durante su conferencia Google’s Next Cloud que ha desarrollado la capacidad de buscar y localizar objetos en un vídeo, y que la ofrece ahora en forma de una API de Cloud Video Intelligence disponible para desarrolladores, como ha hecho con el resto de sus APIs de machine learning. Junto con el anuncio de la adquisición de la comunidad de desarrollo de competiciones de modelos predictivos y analíticos Kaggle, también por parte de Google, son sin duda las noticias sobre el tema más importantes de la semana.

El anuncio y demostración del reconocimiento de objetos en vídeo, llevado a cabo por la profesora de Stanford y directora de machine learning y AI de Google Cloud, Fei-Fei Li, podría parecer relativamente trivial considerando que ya hace cierto tiempo que nos hemos acostumbrado a buscar por palabras clave en una colección de fotos y obtener resultados que no provengan directamente del etiquetado manual, sino del reconocimiento de los objetos existentes en las imágenes, pero la complejidad implicada en construir esa misma función para vídeo es muy superior, y las posibilidades que abre, para la compañía que posee el mayor repositorios de vídeo del mundo, también lo son.

¿Qué ocurre cuando un algoritmo puede visualizar un vídeo, entenderlo y reconocer los objetos que hay en él? Hasta ahora, un vídeo era un contenedor prácticamente cerrado, en el que las únicas formas que teníamos de localizar algo era mediante su título o etiquetándolo con palabras clave. Desde hace muchos años, esa situación nos parece “lo normal”, lo que la tecnología da de sí, una limitación tan asumida, que eran pocas las ocasiones en las que pensábamos en la posibilidad de algo así. El vídeo es uno de los componentes de la web sujeto a un índice de crecimiento mayor, pero por el momento, la capacidad de hacerlo indexable resultaba bastante limitada. ¿Qué ocurre cuando los algoritmos de machine learning son capaces, por un lado, de reconocer las palabras pronunciadas en un vídeo, pasarlas a texto y hacer que podamos buscar en él, y además, otros algoritmos se encargan de entender el contenido y permitir que podamos buscar imágenes? Pedir a un buscador que nos localice menciones o apariciones de algo – un objeto, una marca, un logotipo, una persona, etc. – en un repositorio de vídeo, y obtener una página de resultados en la que se nos indiquen los vídeos que lo contienen, y el lugar del vídeo en el que se encuentra… ¿Cuántas nuevas posibilidades y avenidas para la innovación se pueden abrir gracias a algo así?

Para Google, como para otros competidores en el entorno cloud computing, la forma de competir no es simplemente tratando de ofrecer más prestaciones por menos precio – lo que supondría especializarse en la clásica estrategia de liderazgo en costes – sino ser capaz de ofrecer prestaciones más sofisticadas para sus usuarios. La oferta de una función como esta hace que, de manera automática, la nube de Google, que hasta el momento se percibe como por detrás de otros competidores como Amazon o Microsoft, se convierta en una opción más interesante para aquellos competidores en los que el vídeo juega un papel fundamental, que ahora pueden plantearse mucho más servicios asociados a la puesta en valor de sus repositorios. Pero además, posibilita también el desarrollo de nuevos servicios planteados por otros competidores, que podrían permitir la adopción de modelos de plataforma para aquellos que consideran el vídeo como el centro de su negocio. Hablamos de dinamizar y convertir en indexables muchísimos millones de horas de vídeo, con contenidos de todo tipo, que se abren a la posibilidad de ser tratados de maneras muchísimo más ricas.

Ahora, una máquina puede ver un vídeo de un tigre, entender que es un tigre lo que hay en el vídeo, y encontrarte vídeos en los que aparezcan tigres. Todo ello, sin que nadie haya etiquetado o titulado ese vídeo como conteniendo un tigre. Lo mejor de estudiar el machine learning y la inteligencia artificial es que nunca dejas de sorprenderte.

 

Powered by WPeMatico