Category Archives: machine learning

Auto Added by WPeMatico

¿Y si la clave de los modelos freemium estuviese en el machine learning?

IMAGE: Venimo - 123RFEs un tema al que llevo cierto tiempo dando vueltas, y que me está llevando incluso al desarrollo de un intento de taxonomía, de clasificación de algunos modelos de negocio en función de su potencial de cara a la explotación de sus datos mediante el machine learning… ¿y si la clave de muchos de los modelos de negocio freemium – basados en la combinación de una oferta gratuita unida a la de una oferta premium a cambio de un pago determinado –  estuviese en el desarrollo de esa oferta de servicios mediante la analítica y el machine learning?

Imaginemos, por ejemplo, un medio de comunicación: ¿podría ser posible que ofreciese sus noticias en abierto a todos los usuarios de manera gratuita, pero generase además una oferta adicional de servicios a cambio de un pago a aquellos usuarios que perciben un valor en ellas? ¿Cuántos usuarios estarían dispuestos a pagar, por ejemplo, por un sistema de alertas realmente basado en sus intereses, en función de todo lo que leen habitualmente, o incluso que les descubriese esos intereses aunque no fueran especialmente conscientes de ellos? ¿Cuál sería la clave para que ese medio de comunicación pudiese llevar a cabo esas alertas con una gran exactitud y certeza de que lo que está siendo recomendado es realmente lo que al usuario le interesa? Ni más ni menos que en la generación y  análisis masivo de datos, precisamente lo que un modelo gratuito debería ser capaz de ofrecer. ¿En qué momento las recomendaciones de libros de Amazon dejan de ser percibidas como una incitación a la compra compulsiva, y empiezan a ser un servicio valioso o incluso fundamental para un experto en un tema determinado?

¿Pagaríamos por un sistema que, en el caso de un servicio de música, fuese capaz de construirnos listas en función de una ocasión o un momento determinado, con una gran precisión y asegurándonos que las canciones elegidas responden adecuadamente a nuestros gustos? ¿Estaríamos dispuestos a rascarnos el bolsillo por una Twitter que nos separase las señales que nos interesan del inmenso ruido circundante, o incluso que hiciese las adecuadas comprobaciones y nos previniese su vamos a twittear o retwittear una estupidez? Si contamos con una base de datos adecuada, no cabe duda que eso es algo que un buen algoritmo de machine learning sería capaz de hacer bien. ¿Cuántas apps serían susceptibles de mejorar su propuesta de valor al usuario si llevasen a cabo un procesamiento adecuado de los datos? Hoy, algunas de esas apps, de hecho, ante la supuesta dificultad de los procedimientos analíticos implicados, ceden sus datos a cambio de dinero a terceros susceptibles de explotarlos, pero esa situación podría cambiar a partir del desarrollo progresivo de aplicaciones MLaaS, Machine Learning as a Service, servicios en la nube que permiten una gestión infinitamente más sencilla y sin necesidad de llenar la plantilla con decenas de científicos de datos para plantear y llevar a cabo los correspondientes análisis.

¿En cuántos de los servicios gratuitos que utilizamos hoy en día podría tener sentido incorporar un tramo de pago con productos construidos a partir de la analítica? Obviamente, no en todos ni para todo el mundo, pero ¿sería un planteamiento así razonable para endulzar la parte premium de algunos de esos servicios? ¿Hasta qué punto podría un modelo de negocio basado en el freemium beneficiarse de un conocimiento adecuado de las posibilidades que la analítica y el machine learning ofrecen a partir de sus datos?

 

Powered by WPeMatico

Justicia robótica

IMAGE: Kittipong Jirasukhanont - 123RF

Durante las últimas semanas, he estado utilizando un artículo de Wired, titulado Courts are using AI to sentence criminals. That must stop now, para generar discusiones interesantes en algunas de mis clases y conferencias: el uso de algoritmos en procesos judiciales en los Estados Unidos para determinar, por ejemplo, la probabilidad de reincidencia de un acusado, y su uso para administrar una sentencia más o menos dura dependiendo de ello.

Ayer, el New York Times comentó el tema al hilo del mismo caso que el descrito en Wired, el de Eric Loomis, un criminal enviado a prisión el pasado marzo por un juez que utilizó a instancias del fiscal el resultado de COMPAS, un algoritmo creado por Equivant, e hizo constar en el sumario que

“you’re identified, through the COMPAS assessment, as an individual who is a high risk to the community.”

(“usted ha sido identificado, mediante la evaluación COMPAS, como un individuo que representa un alto riesgo para la comunidad.”)

La defensa de Loomis ha alegado que el uso del informe generado por el algoritmo vulnera los derechos del acusado, por ser un algoritmo secreto que no puede ser inspeccionado ni estudiado, lo que impide que sea discutido o cuestionado de manera efectiva. En efecto, no se trata únicamente de que el algoritmo sea secreto debido al interés de su creador, sino que, como comentábamos hace algún tiempo, los procesos de machine learning generan cajas negras que una inteligencia humana no puede monitorizar, que solo pueden ser valorados en función de la calidad de su output, lo que genera un inmediato problema de transparencia.

El proceso es claro: un banco, por ejemplo, podría fácilmente comenzar a alimentar un algoritmo de machine learning con todo su archivo de préstamos e hipotecas a lo largo de la historia y sus resultados en cuando a pago o impago, y muy posiblemente se encontraría con que, al cabo del tiempo, los resultados del algoritmo podrían mejorar las decisiones de un comité de riesgos integrado por personas con amplia experiencia en banca. Si efectivamente es así, el banco podría optar por eliminar a su comité de riesgos y sustituirlo por el proceso automatizado, en aras no solo de una reducción de costes, sino también de un resultado económicamente mejor. Sin embargo, esa decisión, que llevaría a que los clientes del banco viesen cómo la decisión de si les conceden o no una hipoteca pasa a depender de un algoritmo, podría tener dos problemas:

  • Falta de transparencia: de acuerdo, no me concedes la hipoteca… pero, ¿qué debería hacer si quiero llegara obtenerla? ¿Cuáles han sido las variables que han hecho que no me la concedas, y cómo debería trabajar para mejorar mi elegibilidad a la hora de obtener esa hipoteca más adelante? ¿Cómo me explicas una decision que ni tú mismo entiendes, y de la que solo sabes que maximiza tus posibilidades de obtener la devolución del préstamo?
  • Sesgos: contrariamente a lo que algunos podrían pensar, el uso de un algoritmo no garantiza una mayor objetividad, sino un reflejo de los sesgos que pudiese haber en los datos originales. Si los datos con los que el banco alimentó a su algoritmo, por ejemplo, reflejasen algún tipo de tendencia histórica en la que se tendía a rechazar, por ejemplo, a los solicitantes de un grupo determinado en función de criterios como sexo, etnia, religión, etc., esos sesgos podrían consolidarse en el algoritmo obtenido a partir de ellos, pero ser difíciles de identificar por parte de una inteligencia humana.

En la justicia norteamericana, son cada vez más los procesos que están siendo colonizados por algoritmos: muchos abogados comienzan a utilizar algoritmos como Ross, basado el el Watson de IBM, no solo para determinar qué jurisprudencia es más relevante para el caso que están preparando, sino incluso para examinar los posibles sesgos del juez que tienen asignado basándose en todas sus decisiones anteriores en posibles casos similares, con todo lo que ello conlleva de cara a optimizar los argumentos utilizados. A medida que ese tipo de metodologías de trabajo se consolidan, los procesos de machine learning que los soportan van convirtiéndose en cajas negras dotadas cada vez de una mayor complejidad, con procesos que un humano es cada vez más incapaz de replicar o entender.

La robotización o algoritmización de la justicia podría, por un lado, convertirse en un posible recurso para muchos de los problemas generados por la saturación de los tribunales: todo caso suficientemente claro, sencillo o evidente podría dejar de ocupar valiosos recursos de un juez o tribunal humanos, y pasar a ser determinado por un algoritmo automatizado, como ocurre ya de hecho con muchas infracciones de tráfico, en las que el algoritmo, en realidad, tiene una necesidad de inteligencia muy baja: basta con que un requisito determinado se cumpla, para que se genere un resultado. A medida que la complejidad de los casos se incrementa, podemos encontrarnos con casos como el descrito, que pueden generar una indefensión: ¿cómo defenderme de un veredicto basado en una caja negra que simplemente valora una serie de variables de entrada y devuelve un resultado? ¿Debemos integrar la posibilidad de explicar el veredicto en los propios algoritmos, exigiendo una determinación de los pesos empleados o de los cálculos utilizados de manera que un humano pueda llegar a seguirlos?

Hace pocos días, en Netexplo, tuve ocasión de entrevistar en el escenario a la fundadora de una compañía de diagnóstico médico mediante imagen, Qure.ai. La conversación que mantuve me generó cuestiones muy interesantes: a lo largo del tiempo, una vez que los médicos adoptan el uso de su tecnología para determinar si una radiografía, un escáner o una tomografía muestran un tumor, la habilidad de un médico para examinar manualmente una imagen podría llegar a perderse por falta de práctica, y aunque la máquina, a medida que mejora su algoritmo, pase a ofrecer resultados mucho mejores que los médicos humanos, estaríamos ante una situación de pérdida de una habilidad que los humanos habíamos desarrollado como tal. Es el mismo tipo de argumento que el empleado por Nicholas Carr en “Superficiales” cuando pensamos, por ejemplo, que antes de los teléfonos móviles éramos capaces de recordar más números de teléfono de memoria: internet nos vuelve estúpidos, porque sustituye habilidades que antes teníamos y las convierte en innecesarias. O también , por supuesto, contra-argumentado de la misma manera: nadie sería capaz, hoy en día, de escribir sobre una piedra, porque nuevas tecnologías y soportes lo han convertido en innecesario… y no pasa nada, simplemente aceptamos que el contexto, y en este caso, la inteligencia artificial, redefine la inteligencia humana. Pero ¿qué ocurre cuando esa pérdida de la habilidad humana se convierte en decisiones “subcontratadas” a una caja negra que no podemos interpretar?

 

Powered by WPeMatico

Identificando patrones de difusión viral

IMAGE: Johan2011 - 123RF

Facebook, en su cruzada contra las noticias falsas, anuncia un sistema del que ya habíamos hablado en entradas anteriores, pero que aún no se había concretado y que a mí me parece claramente el más prometedor: tratar de identificar mediante machine learning los patrones de difusión de noticias que resultan sospechosos, bien debido al uso de cuentas específicas identificadas como sospechosas de participar en esos esquemas, o por la forma en que se produce esa difusión.

¿Es la identificación de rumores y noticias falsas una tarea adecuada para el machine learning? Todo parece indicar que su uso resulta sumamente prometedor: por un lado, la red social cuenta con un repositorio de datos históricos importantes que han podido ser sujetos a comprobación, repositorio que además crece de manera cada vez más rápida debido a la cada vez mayor actividad de las páginas dedicadas al fact-checking. Por otro, se trata de un fenómeno con patrones identificables, en el que los actores implicados – que pueden ser partidos políticos, gobiernos u otras entidades con un interés en el tema – utilizan habitualmente sistemas conocidos, como cuentas falsas a las que recurren de manera repetitiva, o bots que generan una actividad elevada.

Un sistema similar es el utilizado por Twitter para la eliminación de cuentas creadas de manera automática, actividad en la que ya posee una amplia experiencia, pero que se ha convertido en un verdadero problema a la hora de evaluar la actividad en su red. Al principio, las cuentas falsas eran completamente obvias: cuentas que se creaban para venderlas como followers falsos que inflaban las estadísticas de quien pagaba por ello, pero que permanecían inactivas, y que a partir de un cierto tiempo como tales, eran identificadas como falsas. De ahí, se pasó a cuentas que llevaban a cabo una actividad determinada, tal como seguir algunas cuentas o hacer algunos retweets o likes que también podían ser susceptibles de comercialización, pero respondiendo a patrones generalmente identificables. La carrera continúa cuando esos patrones se someten a sistemas aleatorios para evitar su detección, en lo que empieza a parecerse al argumento de una novela de Philip K. Dick: robots diseñados para no ser identificados como tales, que luchan contra otros robots pensados para hacerlo, y pruebas diagnósticas que evalúan si lo son o no.

En el caso de Facebook y las noticias falsas, estamos aún al principio de esta carrera, pero la carrera armamentística comienza indudablemente más fuerte: los algoritmos de machine learning empleados tratarán de ir empleando metodologías cada vez más sofisticadas, en un intento de identificar los progresos de quienes tratan de esconder esos patrones, y también, por supuesto, de reducir el número de falsos positivos, de noticias reales que se vean sometidas a algún tipo de “cuarentena” por recibir una atención muy elevada de manera muy rápida pero genuina. Identificar los patrones de difusión viral real y separarlos de los artificiales creados en función de unos intereses determinados parece, en efecto, una tarea adecuada para un algoritmo de machine learning, pero también nos lleva a un cierto conflicto de intereses si Facebook pretende comercializar ese tipo de patrones de difusión viral a sus anunciantes, una tentación que ya ha esbozado anteriormente. Pronto empezaremos a ver los resultados.

 

Powered by WPeMatico

La sustitución del hombre por la máquina y la carrera hacia el abismo

IMAGE: David Crockett - 123RF

Un artículo con predicciones de Stephen Hawking compartido en el World Economic Forum con sus perspectivas sobre la sustitución del hombre por la progresiva automatización y el uso de inteligencia artificial me lleva a reflexionar un poco sobre las circunstancias en las que se desenvuelven ese tipo de procesos.

El artículo considera las profesiones relacionadas con la conducción, como taxista o chófer, como una de las más susceptibles de sufrir el impacto de la automatización, con una probabilidad del 89%. La promesa de Mercedes Benz de poner en el mercado taxis completamente autónomos en un plazo de tan solo tres años, unida a las inyecciones económicas de algunos gobiernos en ese tipo de proyectos y a la entrada progresiva de nuevos competidores significativos como Apple o Cadillac parecen estar configurando una hoja de ruta en conducción autónoma cada vez más clara y decidida.

En este contexto, los modelos económicos que rodean el fenómeno parecen ir definiendo de una manera cada vez más clara un escenario de carrera hacia el abismo, en el que la dinámica competitiva en un escenario desregulado lleva a una caída cada vez más fuerte de los ingresos que termina por asfixiar a los competidores tradicionales, dejando espacio únicamente para los entrantes que son capaces de aprovechar mejor las ventajas tecnológicas.

Una startup californiana creada en torno al concepto de taxis autónomos, Voyage, anuncia sus intenciones de ofrecer en el futuro transporte completamente gratuito, posiblemente financiado mediante publicidad. La idea resulta profundamente provocativa, y enlaza con algunas de las interesantes reuniones que mantuve en las oficinas de Daimler en Stuttgart hace algún tiempo, en las que algunos de sus directivos de innovación afirmaban estar trabajando de cara al futuro con modelos en los que el transporte dentro de las ciudades evolucionaba hacia esquemas completamente gratuitos para el usuario, y planteados siempre en modo servicio en lugar de en términos de posesión de un activo utilizado de manera subóptima. La idea de sistemas de transporte completamente gratuitos en función de una exposición a publicidad o mediante modelos de esponsorización no resulta extraña cuando hablamos de ciudades como Londres, en las que por tan solo dos euros, una persona tiene acceso al uso ilimitado de una bicicleta pintada con el rojo característico del logotipo del Santander, durante veinticuatro horas.

En San Francisco, la compañía de taxis más grande de la ciudad, Yellow Cab Co-Op, ha sido vendida a un competidor por un total de ¢810,000, menos de lo que cuesta una casa en la ciudad. Los culpables de tan brutal depreciación no son únicamente Uber, Lyft y compañías similares que operan en la ciudad, sino la coincidencia de varias demandas por accidentes que resultaron en indemnizaciones multimillonarias, y dejaron a la compañía en bancarrota. En un escenario en el que la siniestralidad inherente a la conducción humana se convierte en una variable capaz de hundir compañías, la conducción autónoma, sujeta a un número dramáticamente inferior de accidentes, se perfila claramente como la alternativa triunfadora.

¿Puede pensarse en evitar la transición de una actividad configurada como tradicionalmente humana, como la conducción, hacia su automatización total, en un escenario en el que la dinámica competitiva se configura de esta manera? No, los procesos como tales son total y absolutamente inevitables, y aquellos que intenten negarlos se verán inmersos en la obsolescencia y en la pérdida de competitividad. La única solución es anticipar ese tipo de procesos y optar por sistemas que mejoren la cobertura social y las alternativas de los cada vez más afectados, en lugar de permitir una espiral descendente que termine generando un problema social irresoluble.

 

Powered by WPeMatico

Entendiendo conceptos en Machine Learning

IMAGE: Ilya Akinshin - 123RF

Llevaba algunos días encontrándome artículos interesantes que pensé que podían ayudar a entender algunos temas relacionados con el machine learning y sobre los que me parecía que podía escribir, pero se me han ido acumulando, de manera que creo que lo mejor puede ser reseñar varios de ellos en una sola entrada con algunos comentarios al respecto.

El primero de ellos, The dark secret at the heart of AI, lleva a cabo un muy buen trabajo a la hora de explicar la “teoría de la caja negra“, que hemos comentado aquí en varias ocasiones: a medida que los algoritmos de machine learning se hacen más y más sofisticados, la posibilidad de que una mente humana entienda los procedimientos que utiliza para llegar a un resultado determinado se hacen menores, lo que nos lleva, en último término, a tener una caja negra que genera resultados que podemos poner a prueba únicamente en función de su calidad, sin entender cómo se llega a ellos. Si entrenamos un algoritmo con todo el historial de créditos concedidos y denegados por una entidad, por ejemplo, con el fin de que tome decisiones en el futuro que hoy tomaría un comité de riesgos, terminaremos por tener una caja negra de la que salen decisiones que podremos contrastar en función de la calidad de los resultados (si reduce el número de créditos concedidos y no devueltos, la daremos por válida), pero seremos muy probablemente incapaces de entender cómo llega la máquina a cada decisión: su funcionamiento será una caja negra en cuyos resultados confiamos en función de sus resultados.

Esto nos lleva otra cuestión: dado que cuando alimentamos un algoritmo, lo hacemos con todos los datos que tenemos disponibles y que, según nuestro razonamiento humano, contribuyen al resultado, lo que nos encontramos es que los progresos del machine learning redefinen el concepto que tenemos de inteligencia humana, y alteran nuestras percepciones de lo que podemos o no podemos hacer. El punto de partida para la máquina es lo que como humanos somos capaces de entender, a partir de ahí, todo es terreno inexplorado y métodos que requieren una potencia de cálculo de la que nuestro cerebro, sencillamente, carece. Así, cosas que hoy nos parece normal que haga un humano, las iremos viendo como absurdas a medida que sea una máquina la que las hace, y cosas que una máquina es capaz de hacer nos irán pareciendo cada vez menos sorprendentes y más normales. Muy pronto, el chatbot se habrá convertido en el estándar para el servicio postventa y para muchas cosas más como “explicarnos” las noticias, y la primera época de desencanto y decepciones dará paso a un momento en el que realmente, como les ocurre a las generaciones más jóvenes, preferiremos hablar con robots a hablar con personas, porque no solo nos darán un mejor servicio, sino que además nos eliminarán la sensación de estar “molestando a alguien” al otro lado (del mismo modo que un enlace no “se queja” ni “nos contesta mal” si hacemos clic en él diez veces). Simplemente, que sea un algoritmo conversacional el que te atiende cuando tienes cuestiones relacionadas con el producto o servicio de una compañía pasará a ser “lo normal”, y veremos como “del siglo pasado” cuando había personas dedicadas a hacer ese servicio.

Del mismo modo, habrá actividades que serán pronto algo del pasado, sean programar semáforos para evitar atascos, llevar a cabo decisiones de inversión o diagnosticarnos una enfermedad, y nos parecerá “raro” o “primitivo” pensar que esas actividades eran antes llevadas a cabo por una persona. Lo de sustituir a los conductores de taxi o de camión será visto como algo tan obvio, que nos parecerá increíble – y peligrosísimo – que esa actividad fuese desarrollada antiguamente de manera manual. ¿Significará eso que muchas personas que hacían ese trabajo se vayan directas al paro? Posiblemente, pero la solución no estará en poner impuestos a esos robots que han pasado a desempeñar esas actividades, sino formar y entrenar a las personas para que sean capaces de llevar a cabo otras actividades relacionadas. Y en ese sentido, recortar las prestaciones sociales, como parece la tendencia en países como los Estados Unidos, solo puede llevar a que el problema sea peor.

Esto no quiere decir, lógicamente, que no tengamos que buscar metodologías que, de alguna manera, permitan incrementar la trazabilidad de las decisiones tomadas por las máquinas. El artículo que describe el escenario de pesadilla imaginado por Tim Berners-Lee en el que las decisiones en el mundo financiero son tomadas por máquinas que crean y gestionan compañías, completamente al margen de nociones típicamente humanas (y de difícil explicación para una máquina), como el impacto social o el bien común es, sin duda, digno de una lectura, y cita la frase de esa reciente entrevista de Vanity Fair con Elon Musk en la que hablaba del mismo tipo de peligros, de la optimización automática y de lo que podría pasar con un algoritmo que optimizase la producción de fresas:

“Let’s say you create a self-improving AI to pick strawberries and it gets better and better at picking strawberries and picks more and more and it is self-improving, so all it really wants to do is pick strawberries. So then it would have all the world be strawberry fields. Strawberry fields forever.”

¿Deberíamos, llevados por este tipo de miedos, detener el desarrollo de este tipo de tecnología? Claramente no. Detener la tecnología es completamente imposible, lo único que podemos hacer es avanzar el conocimiento relacionado con su desarrollo para intentar poner coto a escenarios con ese tipo de consecuencias. Siempre, en algún garaje o en algún país con incentivos suficientes para ello, surgiría alguien dispuesto a poner a prueba esa tecnología, probablemente con más ganas aún si de alguna manera artificial se pretendiese detener esa tecnología.

¿Te gusta dibujar? ¿Se te da bien? Pues prueba a dibujar cuando un algoritmo intenta averiguar qué quisiste expresar con tu trazo, y te propone formas de representarlo. Piensa en lo que ese algoritmo hace, ponlo a prueba, y plantéate que lo que estás viendo es solo el principio, cuando acaba de empezar a aprender a hacer esa tarea. Imagínatelo dentro de un tiempo, cuando no solo muchas más personas hayan experimentado con él, sino que además, cuente con muchas más representaciones alternativas propuestas por más artistas, en distintos estilos y con diferentes posibilidades. Y solo hablamos de un algoritmo relativamente sencillo de reconocimiento de patrones. ¿Lo vas entendiendo?

 

Powered by WPeMatico

Cartas al CEO: Machine Learning

Letters to the CEO - Enrique DansDesde Thinkers50 me pidieron una contribución para un libro en el que están trabajando, titulado Dear CEO, que será publicado en torno al verano y en el que van a colaborar también con sus cartas autores como Tom PetersAlex Osterwalder, Roger Martin, Whitney JohnsonHenry Mintzberg, Erica Dhawan, Richard D’Aveni, Costas Markides, Dave UlrichMarshall Goldsmith o Don Tapscott, entre otros. 

Mi carta ha sido una de las escogidas para ser publicadas en abierto como “aperitivo” del libro, y ayer fue publicada en la página de Kromann Reumert, una compañía de asesoría legal y empresarial danesa que colabora con Thinkers50, bajo el título Changing the way we understand technology así que me ha parecido que podría ser interesante compartir aquí una versión en castellano. Mi carta es un intento de explicar a un hipotético CEO la importancia de entender el cambio de papel de la tecnología, cómo ha ido pasando de ser una simple herramienta de automatización, a ir tomando progresivamente un papel completamente diferente, el de una herramienta con una capacidad de análisis de datos brutal y que es capaz de aprender de esos datos mediante diversos métodos para llegar a procesos de deep learning o reinforcement learning que van a cambiar el mundo tal y como lo conocemos.

Que una máquina sea capaz de ganar a los mejores jugadores humanos de ajedrez, de Jeopardy, de Go o de poker no es como tal importante en sí mismo por el hecho, sino por lo que demuestra: respectivamente, que una máquina posee una fuerza bruta computacional capaz de superar a cualquier cerebro humano, que además es capaz de entender y procesar el lenguaje natural mejor que muchos humanos, que puede incluso idear e inventarse estrategias nuevas originales compitiendo contra sí misma de una manera que ningún humano había sido capaz de hacer, y finalmente, que es capaz de estudiar entornos con información incierta o desconocida y tomar mejores decisiones que cualquier humano entrenado para ello. La carta, en realidad, es un intento de poner en perspectiva algo que muchos aún no alcanzan a comprender y que no son capaces por tanto de entender en su verdadera dimensión, pero que va a representar el cambio más importante que hemos vivido en la historia de la humanidad.

Agradezco enormemente a mis amigos de BigML, compañía de la que soy asesor estratégico, la oportunidad que desde ya hace algún tiempo me proporcionan para aprender y entender las tecnologías implicadas en el machine learning. Sin esa obligación fundamental que me plantean de mantenerme actualizado para poder estar a la altura, habría sido infinitamente más difícil llegar a entender su verdadero alcance y dimensión.

A continuación, el texto en castellano de mi carta (versión original en inglés aquí):

 

Querido jefe: 

En muy pocos años, la idea que tenemos de los ordenadores y de la computación en general ha cambiado de manera drástica, aunque la percepción que tiene toda una generación de directivos no lo ha hecho. Cambiar esa percepción y ser capaz de reinterpretar lo que la tecnología puede hacer por nuestro negocio es una necesidad cada día más acuciante. 

Durante muchos años, entendimos los ordenadores como una forma de automatización. Cualquier tarea que tuviese componentes repetitivos, intensivos o tediosos podía ser susceptible de ser automatizada mediante un ordenador con el programa adecuado. La llegada de los ordenadores a los entornos corporativos se produjo así, escogiendo aquellas áreas caracterizadas por rutinas tediosas, como el cálculo y el pago de nóminas, la contabilidad, etc., o aquellas en las que existía un requisito legal de preservación de la información. 

La idea que teníamos de un ordenador era la de una máquina que podía hacer lo mismo que hacía una persona, pero más rápido, más barato y con menos errores. Esa idea de computación como automatización ha sido una constante en el planteamiento de las inversiones en tecnología desde el inicio de la historia de la informática corporativa. 

Desde hace algún tiempo, este planteamiento ha cambiado radicalmente. Cuando vemos en las noticias que un ordenador ha sido capaz de vencer al ajedrez nada menos que al campeón mundial Garry Kasparov, que ha derrotado por amplio margen al Jeopardy a los mejores jugadores de la historia del programa, o que ha pulverizado en el juego del Go a los jugadores más reconocidos del mundo, ya no hablamos de la misma computación que conocíamos hasta ahora: para llevar a cabo esas proezas no basta con tener más potencia de calculo o con hacer las mismas operaciones que un hombre pero a más velocidad. No es únicamente cuestión de fuerza bruta: es otra manera de plantear las cosas. 

La nueva frontera se llama machine learning, y va a provocar un cambio tan brutal en el entorno que llegará hasta el punto de minimizar lo que fue en su momento el impacto de internet. Un auténtico cambio dimensional que definirá qué compañías prevalecen y cuales, sencillamente, desaparecen. Va a cambiar lo que entendemos por trabajo, y alterar la sociedad en su conjunto. Y todo ello, en un plazo de unos cinco años. En este momento, la esencia de la verdadera ventaja competitiva consiste en ser capaces de dotarse de los datos suficientes como para alimentar algoritmos de machine learning que sean mejores, más eficientes y más competitivos que los de nuestros competidores. No hay más. 

Cuando un ordenador vence a Lee Sedol o a Fan Hui, los dos mejores jugadores de Go del mundo, no se limita a calcular muy rápido. Para lograrlo, Google no solo tuvo que hacerse con los registros de todas las partidas de Go jugadas en la historia de las que existían datos y comprobar que su máquina, AlphaGo, era infinitamente mejor aprovechando la experiencia, sino que además, tuvo que aplicar y combinar técnicas de deep learning y reinforcement learning: poner a la máquina a competir contra sí misma, a inventarse movimientos que no habían sido puestos en práctica antes por ningún jugador humano, y a derivar nuevas jugadas a partir de esos movimientos originales, jugadas que posteriormente eran realimentadas en el sistema. Algunos de los movimientos jugados por AlphaGo han sido definidos no solo como intrínsecamente “bellos”, sino que, además, definían jugadas que tendrían únicamente una entre diez mil posibilidades de ser llevados a cabo por un jugador humano, movimientos que ningún humano podría comprender – y mucho menos anticipar. Es lo mismo que ocurre cuando cada vehículo autónomo que circula un metro por cualquier carretera contribuye automáticamente con su experiencia al aprendizaje de todos los vehículos autónomos que circulan en el mundo propiedad de una compañía determinada. La forma en que se definen y parametrizan las ventajas competitivas cambia radicalmente. 

Subirnos a esta ola es absolutamente crucial, un auténtico ser o no ser. Y la mentalidad no es necesariamente ganar, sino mejorar los niveles de cooperación entre humanos y máquinas, utilizar esa combinación para intentar resolver algunas de las cuestiones y problemas más difíciles del mundo. Pronto tendremos inteligencias autónomas que tomarán decisiones empresariales estudiando todo lo que sucede en el entorno de manera mucho más completa, exhaustiva y rigurosa que como puede hacerlo un equipo de personas, otros que fijarán los tipos de interés del Banco Central Europeo, que determinarán la presión impositiva o el importe de las pensiones. Estamos ante el cambio más radical que hemos vivido en la historia de la humanidad. 

Entenderlo lo antes posible y prepararse para ello con la altura de miras adecuada es absolutamente crucial para nuestra compañía. Y sin duda, la decisión más importante de toda tu vida como directivo. 

Agradeciendo tu atención, atentamente, 

Enrique Dans

Powered by WPeMatico

Sobre hombres y robots

IMAGE: Buchachon Petthanya - 123RF

Los planteamientos sobre la relación entre hombres y robots, tomando la definición de robot de la manera más amplia posible, tienden a resultar en muchos sentidos tremendistas: los robots que “roban nuestros trabajos” y nos condenan supuestamente a una sociedad disfuncional con tasas de desempleo elevadas, la sustitución de trabajos manuales de escaso valor añadido o de las tres D que va dando paso a la eliminación de otros trabajos cada vez más sofisticados, y, en general, a una visión caracterizada por el temor y la negatividad.

¿Estamos realmente en un proceso de sustitución de personas por robots? Por supuesto. Cualquier planteamiento de duda al respecto resulta completamente absurda o ridículamente ingenua. En realidad, hace ya muchos años que los robots están quitando el trabajo a las personas.

Frame-breakers, or Luddites, smashing a loom (Source: Wikipedia)

El proceso comenzó seguramente, por buscarle un origen y lugar concreto, en las fábricas textiles de Nottingham en el siglo XIX, y dio origen al movimiento ludita y a los ataques a telares y a máquinas herramientas de la época que podían, con su sola instalación y uso, dejar sin trabajo a decenas de trabajadores que antes llevaban a cabo labores de tejido e hilatura de manera completamente manual, brindando a los propietarios de las fábricas la oportunidad de escalar su producción y dar origen al sistema capitalista moderno que hoy conocemos.

El recurso a los luditas y la comparación con aquella actitud de destrucción de unas máquinas que, eventualmente, terminaron por generar una era de muchísimo mayor bienestar, generación de riqueza excedente y condiciones de vida sensiblemente mejores para una amplísima mayoría de la sociedad es ya muy habitual y manida. Presentar esa comparación como prueba clave es, en realidad, poco útil, porque han sido muy pocas las ocasiones históricas en las que los trabajadores – o los economistas – han aprendido de la experiencia en cabeza ajena.

Henry Ford is killing jobs (IMAGE: Juan Carlos Arce - Twitter)

Ya en el siglo XX, la línea de montaje de Henry Ford y su capacidad de producir grandes cantidades de vehículos a velocidades inimaginables en la época fue objeto de fuertes criticas por las asociaciones de trabajadores y por los conductores de carruajes, que veían a la nueva máquina convertida ya en algo popular, al alcance de casi cualquiera, con un crecimiento espectacular que amenazaba sus puestos de trabajo. La idea de que la sustitución de personas por máquinas es mala se repite, a pesar de las evidencias que apuntan a que seguir manteniendo esquemas como la fabricación manual en modo taller o el transporte mediante carruajes, renunciando a las ventajas y a la ganancia de eficiencia que supuso el desarrollo de la línea de montaje sería profundamente anacrónico, o directamente ridículo.

Si leemos a Erik Brynjolfsson y Andrew McAfee en su Race against the machine, la conclusión, sin embargo, parece clara: esta vez es diferente, porque la capacidad de las máquinas va a llegar hasta el punto de sustituir ventajosamente cada vez más de las tareas que las personas pueden hacer, lo que conlleva que, de una manera u otra, terminarán eliminando más puestos de los que son capaces de crear. Los robots ya conducen camiones y sustituirán a los camioneros en los próximos diez años, los drones autónomos ya vuelan solos de manera legal en Israel y trasladan muestras de laboratorio entre hospitales en Suiza, los empleados de servicio al cliente van siendo progresivamente sustituidos por chatbots cada vez más realistas, y las pizzas y hamburguesas van a ser pronto pedidas, elaboradas y enviadas a través de robots.

Pero a medida que vamos explorando la marcha de la automatización, y constatando que unos trabajos, o incluso unos países, tienen peores perspectivas en la carrera de la sustitución que otros, otras evidencias parecen ir emergiendo: la primera, que antes de la sustitución completa, todo indica que pasaremos por una fase en la que trabajadores cada vez mas preparados y sofisticados irán aprendiendo a trabajar cada vez más con robots. ¿Cómo prepararnos para un futuro en el que el machine learning y la inteligencia artificial van a ir incorporándose de manera progresiva a cada vez más trabajos?

Todo indica que las ideas de Donald Trump, preservar a toda costa unos pocos trabajos en la extracción de carbón a cambio de la salud de todo el planeta, son profundamente absurdas y equivocadas. En su lugar, lo que parece imponerse es la idea de que determinados trabajos están mucho mejor siendo sustituidos, y que a los países les irá mucho mejor siguiendo un modelo en el que se centren en inversiones en infraestructura que permitan incorporar tecnologías como la internet de las cosas, el machine learning y la inteligencia artificial para mejorar el rendimiento de los trabajadores y mantener la competitividad. La tecnología elimina determinados trabajos, pero solo la tecnología es capaz de salvar los trabajos del futuro. Un modelo que parece interiorizar mucho más un país como China, ya claramente destinado al liderazgo mundial, que unos Estados Unidos que a todas luces caminan hacia atrás.

¿Van los robots a quitarnos el trabajo? Sí, en un número elevado de casos. Pero intentar evitarlo solo generaría situaciones anacrónicas absurdas, como lo hubiera hecho el empeñarse en mantener a toda costa a los conductores de carruajes. En realidad, lo que los robots van a hacer es hacer sitio para trabajos que realmente tengan sentido, para tareas que una máquina no haga igual de bien, para la redefinición de cosas que un hombre pueda hacer mejor gracias a la colaboración con máquinas. Nadie puede parar la automatización, porque intentar hacerlo solo incrementa el incentivo a que alguien, en otro país o en otra compañía, se aproveche de ella para ser mucho más competitivo, para fabricar mejor, con más calidad, más barato, o todo ello a la vez. No, a los trabajadores no los salvará un imbécil decidido a ignorar los cambios en el escenario y empeñado en mantener unos trabajos que ya no van a volver porque ya no existen: los salvará una reforma de la educación y de los planteamientos mas profundos de la sociedad que dote a los trabajadores del futuro de las habilidades suficientes para trabajar en ese escenario redefinido. El futuro es el que es: seguir desarrollando tecnologías cada vez mejores, más eficientes, más inteligentes y más capaces de hacer más cosas, y preparar al hombre para trabajar lo mejor posible con ellas. Y al que no lo entienda así, sin duda, le tocará ponerse en la cola del paro.

 

Powered by WPeMatico

Machine learning para detectar comportamientos nocivos en la red

IMAGE: Redrockerz - 123RFUno de los principales problemas que redes como Twitter han experimentado a lo largo de los años es, como hemos comentado ya en bastantes ocasiones, su gestión del problema del acoso y el insulto.

Desde su fundación, Twitter intentó plantearse como una herramienta que hacía una defensa militante y maximalista de la libertad de expresión, lo que terminó por generar un entorno en el que era precisamente esa supuesta libertad de expresión la que se veía coartada por las reacciones de usuarios con comportamientos nocivos.

A lo largo del tiempo, ese ambiente nocivo le ha costado a Twitter grandes disgustos, desde un crecimiento menor de lo esperado, a un predominio creciente de comportamientos pasivos (lurking) frente a activos, e incluso a comprometer su futuro provocando que otras compañías dejasen de plantearse posibles ofertas de adquisición derivadas de las dinámicas venenosas existentes en la plataforma.

Tras múltiples intentos de corrección de estas dinámicas, muchos de los cuales son en realidad auténticas “tácticas de avestruz”, formas de ocultar el acoso a los ojos del acosado como si eso lo hiciese supuestamente desaparecer, ahora Twitter se plantea algo nuevo: una colaboración con IBM para que sea su sistema de machine learning, Watson, quien detecte, a través del estudio de patrones conversacionales, posibles situaciones de acoso y comportamientos abusivos, incluso antes de que sean denunciados.

¿Es posible que una inteligencia artificial detecte actitudes como el acoso o el abuso verbal? La cuestión no parece sencilla, porque hablamos de situaciones que van desde el insulto directo, que podrían ser detectadas simplemente con el uso de un diccionario, hasta otras mucho más complejas en las que se hace uso de la ironía, de los dobles sentidos, o de elementos no presentes en la conversación a los que se hace referencia de manera velada como insinuaciones, o a veces ni eso. Acosar a alguien puede incluir dinámicas muy complicadas, a veces incluso retorcidas, y utilizar patrones que van desde lo más sencillo a lo más alambicado.

¿A favor de Twitter? Cuenta posiblemente con uno de los mejores archivos online de comportamientos abusivos denunciados como tales. A lo largo de sus ya once años de historia, la compañía se ha visto envuelta en todo tipo de escándalos de elevada visibilidad y en una amplísima variedad de situaciones infinitamente menos conocidas que han afectado a usuarios de todo perfil y condición, con desenlaces conocidos. Para la compañía, resulta perfectamente posible estudiar en su inmenso archivo toda situación en la que determinadas actitudes hayan sido denunciadas como acoso, insulto, bullying, sexismo, incitación al odio, etc. e incluso etiquetar perfiles en función de su inclinación a exhibir ese tipo de comportamientos. Ese tipo de datos son precisamente lo que un algoritmo de machine learning necesita para ser entrenado correctamente, considerando que la semantización y el análisis del lenguaje humano ya son llevados a cabo algorítmicamente de manera más que satisfactoria. Obviamente, esto aún no incluye todo: algunas situaciones, como el uso de imágenes, pueden resultar algo más difíciles de procesar, pero en modo alguno representan algo que, a día de hoy, esté fuera de las capacidades de una inteligencia artificial, o en ultimo término, algo que puede recibir ayuda puntual de evaluadores humanos a la hora de determinar si efectivamente se trataba de una situación de ese tipo.

¿Puede Watson convertirse en el juez que determina si el comportamiento de un usuario debe ser considerado nocivo? Como afectado en algunos momentos por comportamientos de ese tipo que vio, además, cómo Twitter se lavaba las manos e incluso contribuía a empeorar aquella situación considerada por muchos como algo “simpático” y digno incluso de ser premiado, creo que sí, que el machine learning puede aportar un sistema que permita, cuando menos, etiquetar ese tipo de comportamientos, tipificarlos y permitir una gestión adecuada de los mismos, como también es muy posible que pueda colaborar en la detección de otro patrón habitual: la gestión de múltiples identidades y la apertura inmediata de otra cuenta para proseguir con el comportamiento nocivo cuando la primera cuenta es eliminada.

¿Existe algún tipo de conflicto entre un sistema así y la libertad de expresión? Todo depende de cómo queramos definir la libertad de expresión. Si consideramos que una red social debería servir para que todos podamos decir todo lo que se nos pase por la cabeza sin ningún tipo de freno o cortapisa, sí. Pero el ser humano vive en sociedad, la vida en sociedad se regula mediante determinadas reglas que van desde leyes a protocolos más o menos explícitos, y creo que a estas alturas, todos deberíamos asumir que el adjetivo “social” aplicado al sustantivo “red” debería implicar algo más que lo que actualmente implica. Al menos, en el caso de Twitter…

 

Powered by WPeMatico

Noticias, algoritmos y reajustes necesarios

IMAGE: Greyjj - 123RFMi columna en El Español de esta semana se titula “Rediseñando algoritmos“, y habla de la manera en que compañías como Facebook o Google están intentando responder al problema de las noticias e informaciones ofensivas o factualmente incorrectas permite ver claramente el desarrollo de sus estrategias y la forma en que afrontan los problemas en el funcionamiento de sus algoritmos de relevancia.

En ambos casos hablamos de compañías con una necesidad evidente de plantearse soluciones: Facebook lleva ya varios meses, desde la llegada de Trump a la Casa Blanca, recibiendo acusaciones con respecto a su papel como difusor de noticias falsas durante la campaña que pudieron llegar a alterar significativamente el voto de muchos norteamericanos, mientras Google se ha encontrado también últimamente en el ojo del huracán por las noticias absurdas, conspiranoicas, partidistas o procedentes de fuentes carentes de toda credibilidad que recomienda en sus snippets o a través de Google Home.

¿Cómo rediseñar un algoritmo para evitar el ascenso en popularidad o la recomendación de noticias de ese tipo, respetando el hecho de que hay personas que quieren conscientemente consumirlas (el sensacionalismo y la información sesgada tienen indudablemente su público), pero evitando la viralización de información calificable como factualmente incorrecta?

Las posibilidades que se apuntan, por el momento, son cuatro, y en ambos casos pasan por introducir nuevos datos en la ecuación. ¿De dónde extraer esos nuevos datos que pretenden cualificar las noticias?

  1. Otras fuentes consideradas autorizadas, de páginas dedicadas a esa actividad cada vez considerada más importante, el fact-checking: sitios como Snopes, Politifact u otros que cumplan unos principios básicos de funcionamiento y que dedican personas cualificadas a comprobar las noticias y emiten un veredicto sobre las mismas. Este es el camino escogido por Facebook en una iniciativa ya puesta en marcha, que adjudica a las noticias la calificación de “disputada” en función del juicio emitido por este tipo de páginas, y por Google en Francia a través de  CrossCheck, una herramienta desarrollada por Google News Lab junto con First Draft dentro de la iniciativa de trabajo con medios europeos. En esta categoría se encuadra, también en Francia y con carácter experimental, la introducción en los algoritmos de bases de datos como las desarrolladas por Le Monde, seiscientas páginas web directamente identificadas como no fiables; o por Libération, en la que se compilan noticias positivamente identificadas como falsas.
  2. Opinión de los usuarios: el uso de sistemas de peer-rating y la evaluación de patrones derivados de su uso. Ante la difusión rápida de una noticia con carácter claramente partidista, sectario u ofensivo, cabe esperar no solo una viralización rápida entre aquellos que sintonizan con el tono o el contenido de la noticia, sino también un uso de herramientas de calificación por parte de aquellos que consideren esa noticia como factualmente incorrecta o inaceptable. El estudio de los patrones de generación de esas evaluaciones negativas de los usuarios puede ser, unida al análisis de esos usuarios, un elemento más que puede introducirse en el algoritmo.
  3. Patrones de difusión: el análisis de las curvas de difusión de las noticias en sí. Curvas muy rápidas, muy bruscas o que crecen fundamentalmente a expensas de personas identificadas como de una tendencias determinada, en grupos muy homogéneos o con patrones claramente identificables y atribuibles, deberían como mínimo ser objeto de algún tipo de supervisión.
  4. Uso de evaluadores independientes: disponer de un número significativo de personas en diversos países y con un nivel de diversidad elevado dedicadas a la evaluación de esas noticias. Es el caso de la iniciativa recién presentada por Google: diez mil personas contratadas específicamente para esa tarea, que no pueden influir directamente sobre el posicionamiento de las noticias en las páginas de resultados, pero sí generan datos cualificados sobre su nivel de credibilidad y etiquetan noticias como “upsetting – offensive” en función de un exhaustivo documento directriz de 160 páginas para que esa calificación sea utilizada como una variable de entrada adicional (un documento que supone un intento de definición del problema que en muchos de sus apartados debería ser objeto de estudio, crítica y enriquecimiento por parte de muchos periodistas, o incluso llegar a ser utilizado en las facultades de Periodismo).

Es conveniente recordar que en todos los casos hablamos de variables de entrada, no de salida: es decir, no se trata de que un patrón determinado, la opinión de un evaluador o la de una fuente secundaria “descalifiquen” o “eliminen” de manera automática una noticia, sino de que esa información es utilizada para alimentar un algoritmo de machine learning que trata, a lo largo del tiempo, de desarrollar patrones derivados de esa información.

¿Por qué es preciso rediseñar los algoritmos? Sencillamente, porque el entorno al que responden también cambia. Toda herramienta es susceptible de ser pervertida a partir del momento en que los incentivos para hacerlo son suficientes, y eso genera la necesidad de esas herramientas de protegerse contra ese tipo de usos. La mayor parte de los algoritmos que conocemos son, como tales, trabajos en curso que tratan de evolucionar con las características del entorno o con los patrones de uso que generan. El caso de las noticias falsas, como el de los sucesivos intentos de corrección del peso del sensacionalismo llevados a cabo anteriormente por Google, no son más que pruebas en ese sentido.

Como tal, una evolución muy necesaria. Pero además, desde un punto de vista de investigación, completamente fascinante.

 

Powered by WPeMatico

Machine learning y reconocimiento de vídeo: una frontera importante

Image recognition in video (Google)Google anuncia durante su conferencia Google’s Next Cloud que ha desarrollado la capacidad de buscar y localizar objetos en un vídeo, y que la ofrece ahora en forma de una API de Cloud Video Intelligence disponible para desarrolladores, como ha hecho con el resto de sus APIs de machine learning. Junto con el anuncio de la adquisición de la comunidad de desarrollo de competiciones de modelos predictivos y analíticos Kaggle, también por parte de Google, son sin duda las noticias sobre el tema más importantes de la semana.

El anuncio y demostración del reconocimiento de objetos en vídeo, llevado a cabo por la profesora de Stanford y directora de machine learning y AI de Google Cloud, Fei-Fei Li, podría parecer relativamente trivial considerando que ya hace cierto tiempo que nos hemos acostumbrado a buscar por palabras clave en una colección de fotos y obtener resultados que no provengan directamente del etiquetado manual, sino del reconocimiento de los objetos existentes en las imágenes, pero la complejidad implicada en construir esa misma función para vídeo es muy superior, y las posibilidades que abre, para la compañía que posee el mayor repositorios de vídeo del mundo, también lo son.

¿Qué ocurre cuando un algoritmo puede visualizar un vídeo, entenderlo y reconocer los objetos que hay en él? Hasta ahora, un vídeo era un contenedor prácticamente cerrado, en el que las únicas formas que teníamos de localizar algo era mediante su título o etiquetándolo con palabras clave. Desde hace muchos años, esa situación nos parece “lo normal”, lo que la tecnología da de sí, una limitación tan asumida, que eran pocas las ocasiones en las que pensábamos en la posibilidad de algo así. El vídeo es uno de los componentes de la web sujeto a un índice de crecimiento mayor, pero por el momento, la capacidad de hacerlo indexable resultaba bastante limitada. ¿Qué ocurre cuando los algoritmos de machine learning son capaces, por un lado, de reconocer las palabras pronunciadas en un vídeo, pasarlas a texto y hacer que podamos buscar en él, y además, otros algoritmos se encargan de entender el contenido y permitir que podamos buscar imágenes? Pedir a un buscador que nos localice menciones o apariciones de algo – un objeto, una marca, un logotipo, una persona, etc. – en un repositorio de vídeo, y obtener una página de resultados en la que se nos indiquen los vídeos que lo contienen, y el lugar del vídeo en el que se encuentra… ¿Cuántas nuevas posibilidades y avenidas para la innovación se pueden abrir gracias a algo así?

Para Google, como para otros competidores en el entorno cloud computing, la forma de competir no es simplemente tratando de ofrecer más prestaciones por menos precio – lo que supondría especializarse en la clásica estrategia de liderazgo en costes – sino ser capaz de ofrecer prestaciones más sofisticadas para sus usuarios. La oferta de una función como esta hace que, de manera automática, la nube de Google, que hasta el momento se percibe como por detrás de otros competidores como Amazon o Microsoft, se convierta en una opción más interesante para aquellos competidores en los que el vídeo juega un papel fundamental, que ahora pueden plantearse mucho más servicios asociados a la puesta en valor de sus repositorios. Pero además, posibilita también el desarrollo de nuevos servicios planteados por otros competidores, que podrían permitir la adopción de modelos de plataforma para aquellos que consideran el vídeo como el centro de su negocio. Hablamos de dinamizar y convertir en indexables muchísimos millones de horas de vídeo, con contenidos de todo tipo, que se abren a la posibilidad de ser tratados de maneras muchísimo más ricas.

Ahora, una máquina puede ver un vídeo de un tigre, entender que es un tigre lo que hay en el vídeo, y encontrarte vídeos en los que aparezcan tigres. Todo ello, sin que nadie haya etiquetado o titulado ese vídeo como conteniendo un tigre. Lo mejor de estudiar el machine learning y la inteligencia artificial es que nunca dejas de sorprenderte.

 

Powered by WPeMatico