traductor

viernes, 24 de julio de 2020

El modelo de procesamiento de lenguaje natural GPT-3 se ha hecho viral al descubrir sus usuarios que es capaz de programar.

La olvidada tecnología que amenaza miles de empleos: "Ni siquiera sabemos su límite"

El modelo de procesamiento de lenguaje natural GPT-3 se ha hecho viral al descubrir sus usuarios que es capaz de programar. Lo peor: que ni sus creadores sabían que podía hacerlo

Normalmente, si alguien te dice que hay un sistema informático que es capaz de aprender casi lo que quiera y de la manera que quiera sin que ningún humano lo diga, que es capaz de suplantar a ese humano sin que nadie se dé cuenta y que ni siquiera sus creadores saben decirte cuál es su límite, lo más lógico es que creas que habla de una película o una serie mezcla futurista mezcla distopía. Algo así como los villanos de 'Terminator', 'Matrix' o 'Yo, robot'. Bueno, pues está más cerca de lo que imaginas, quizá no para dominar el mundo, pero sí para acabar o al menos modificar, muchos millones de empleos. Empezando por el que firma estas líneas.

Durante los últimos días se está hablando bastante en redes sociales de algo llamado GPT-3, un nuevo modelo informático lanzado en el mes de junio que ha dejado a muchos boquiabiertos porque es capaz de, entre otras cosas, programar código básico como un desarrollador más o traducir textos en inglés común a lenguaje jurídico sin tener que dar pauta alguna más que pedir que lo haga. Pero lo más llamativo es que ni siquiera sus creadores sabían que era capaz de hacer eso ni lo programaron para ello. Este último invento de OpenAI, una 'startup' californiana de inteligencia artificial impulsada por Elon Musk y asociada a Microsoft, ha vuelto a poner el foco de las revoluciones tecnológicas en la IA. Pero ¿qué y cómo hace exactamente todo esto?

Por si es la primera vez que oyes hablar de GPT, que no sería algo demasiado raro, debes saber que se trata de la tercera versión del modelo de procesamiento de lenguaje natural (NLP) de OpenAI, un tipo de inteligencia artificial que se centra, básicamente, en estudiar y aprender lenguaje natural para luego poder crear textos complejos y, como explica el experto, divulgador y 'youtuber' centrado en 'machine learning' Carlos Santana, ser capaz de "adivinar la siguiente palabra". Vale, esta es la definición básica y rápida que podríamos asemejar a lo que hacen los asistentes como Alexa o Siri, pero detrás de este caso hay muchísimo más. "Se trata del modelo más grande de este tipo creado hasta la fecha. Su punto más interesante es que ha sido preentrenado con más de 175.000 millones de parámetros".

A lo que se refiere Santana con esto (y solo tocando de forma superficial las partes más técnicas del detallado proyecto que se cuenta en este 'paper') es que la clave de esta máquina 'mágica' está en que cuenta con 175.000 millones de parámetros conseguidos de una pantagruélica base de datos de textos de internet que ayudan a aprender y desarrollarse a este modelo. Lo hace a tal nivel que ni siquiera se sabe todo lo que es capaz de hacer ni casi cómo lo hace, y son los propios usuarios los que al probar y testar el modelo en una consola lo van descubriendo. Una versión de los citados asistentes o el 'autocompletar' de nuestros móviles, pero a un nivel brutalmente mayor.

"Tú creas estos programas con la idea del lenguaje natural, de que sean capaces de escribir textos como un humano, de conversar con personas de manera natural en 'chatbots' o desarrollar ideas de forma comprensible y compleja aprovechando todo el conocimiento adquirido y analizando los 'imputs' que recibe. Pero lo cierto es que no sabemos lo que está aprendiendo ahora mismo, cómo razona exactamente para elegir un término u otro y ni siquiera conocemos su límite", apunta el experto.

Con la única directriz de tener que adivinar la siguiente palabra procesando lenguaje natural y la incontable cantidad de datos adherida al modelo, se ha comprobado que este programa es capaz de desarrollar en poco tiempo una idea de un tuit en un largo texto de forma original y que el propio autor humano del mensaje dé su aprobación, pero también es capaz de traducir textos, realizar sumas (a pesar de que no debería saber sumar ni está preparado para ello) o aprender parámetros con uno, dos o ningún ejemplo. "Es normal que a la gente le sorprenda porque a los propios expertos nos pasa. Digamos que una explicación rápida a estos descubrimientos es que como el programa sabe que tiene que dar una respuesta a todo lo que se le plantea, busca entre los parámetros hasta encontrarla, aunque no sea una palabra".

Como a Santana, los resultados también sorprenden a Julio Gonzalo, investigador de la UNED especializado en ciencias computacionales y NLP, que, aunque asegura que hay bastante 'hype' entorno a este último desarrollo y que estamos lejos de llegar a los límites de la teórica inteligencia artificial, esto da muestras de hasta dónde puede llegar. "Este es el primer sistema capaz de resolver tareas en las que se dan unos pocos ejemplos, un único ejemplo, o incluso ningún ejemplo, solo una descripción de la tarea. Curiosamente la arquitectura es muy parecida a la de GPT-2, la mayor diferencia está en la escala tiene 10 veces más parámetros que lo que se había probado hasta ahora".

Según Gonzalo, la escala es fundamental en los resultados. "Al evaluarlo con tareas en las que apenas hay datos de ejemplo han comprobado que es a esta escala a la que pueden empezar a abordarse tareas para las que existen cero, uno o muy pocos ejemplos de entrenamiento. De hecho, hay tareas en las que, entrenando con unos pocos ejemplos, son capaces de igualar el rendimiento de sistemas que han sido entrenados con decenas de miles de ejemplos". Y aquí empieza lo que ambos expertos comentan como la gran revolución bajo el GPT-3 y que puede cambiar la sociedad de forma profunda: el 'deep learning'.

La verdadera revolución es el 'deep learning'

Tanto para Santana como para Gonzalo, el GPT-3 es un nuevo ejemplo de una revolución más profunda y compleja que lleva años despuntando, aunque normalmente no se conozca demasiado sobre ella. "Es un paso más en el proceso de aplicación del 'deep learning' al procesamiento del lenguaje natural, que es ciertamente una revolución en nuestro campo. Lo ha cambiado todo: el rendimiento de los sistemas, el enfoque unificado para casi cualquier problema de NLP, que es un paso firme hacia la comprensión del lenguaje, más allá de aprender correlaciones entre palabras y clases de un problema determinado", apunta Gonzalo.

antana, por su lado, señala que lo ocurrido con las posibilidades de realizar cálculos o programar de GPT-3 es lo que se conoce en esta rama de conocimiento como 'one shoot learning'. El razonamiento es que si las redes neuronales son similares al cerebro humano deberían poder, como hace el ser humano, aprender a clasificar un objeto sin verlo miles de veces, incluso cuando lo ve por primera vez, usando la memoria de aprendizaje anterior. El GPT-3 muestra que cuando recibe un 'imput' que no conoce acude a su mastodóntica memoria para encontrar una respuesta acorde, aunque nunca lo hayan programado para ello. Pero ¿es este desarrollo algo definitivo y puede incluso competir con el cerebro humano? Todo apunta a que de momento no.

"Todavía necesita de 'imputs' humanos que dirijan sus acciones y razonamientos por lo que todavía está lejos de algo así, pero está claro que es un ejemplo más del camino que se puede llegar a andar. No sé si por ejemplo nos quitarán empleos en el corto plazo, pero seguro que estos modelos cambiarán nuestra forma de trabajar acabando con ciertos procesos. Quién sabe, lo mismo en unos años un periodista ya no tiene que escribir sus artículos o no completamente, sino que puede pensar una idea, comentársela a la máquina, que esta desarrolle un texto original centrado en los conceptos dados y el redactor solo tenga que pulirlo", reflexiona Santana. Sin embargo, la evolución no para y no se conoce el límite.

Gonzalo es algo más escéptico, aunque no duda de que instaurarán cambios. "No conocemos su límite, pero sí está claro que, por increíbles que sean los resultados en determinadas tareas de GPT, estos sistemas no se están ni acercando al concepto de inteligencia artificial general. Están imitando lo que han visto; es una imitación muy sofisticada, pero no conectan lenguaje y significado ni razonan realmente. GPT-3, por ejemplo, fracasa estrepitosamente en problemas de comprensión de textos. En general los sistemas como GPT son capaces de general textos muy fluidos y naturales, pero al leerlos con detenimiento no suelen tener mucho sentido".

Sea o no así, las grandes corporaciones como Microsoft ya han comenzado a sustituir empleados humanos por IA, como es el caso de los periodistas del portal de Microsoft MSN. La misma compañía que financia GPT con más de 1.000 millones para crear IA 'fuerte' anunciaba hace justo un mes que despediría a 27 de sus redactores y que sus portales de noticias empezarían a llenarse de contenido generado por una IA. Y hay quien incluso habla de que podrían sustituir hasta a consultores o analistas. Un futuro por el que se pelean las grandes tecnológicas y que también genera ciertas dudas por las implicaciones morales y éticas de estos conocimientos.

La última dudosa carrera de las tecnológicas

Como explica Santana, tanto se han disparado estas tecnologías que es muy posible que en unos meses ya sea Facebook o Google (a través de su filial Deepmind) superen las capacidades de GPT-3. Las grandes tecnológicas se han puesto al frente de estos desarrollos y cada año gastan millones en sus mejoras. Esto ayuda al progreso de las mismas, pero también genera dudas en torno a cómo debería evolucionar esta tecnología. "Ahora mismo digamos que la estructura de estos modelos está hecha, o sea todo el mundo puede hacer uno porque además los patrones se han ido liberando, pero lo que diferencia a unos de otros es el dinero que tienes para poder escalarlos con capacidad de computación".

Por ejemplo, según detalla Gonzalo, OpenAI se ha gastado casi 5 millones de dólares en entrenar GPT-3. "Se estima que para optimizar los 175.000 millones de parámetros de GPT-3 hay que gastar en capacidad de cómputo unos 4,6 millones de dólares. Además del coste económico, imagínate la huella ecológica". Porque ese es otro problema, para el desarrollo de estas herramientas se necesita una gran cantidad energía que acaba impactando en el medio ambiente. A nivel general, la consultora McKensey calcula que para el año 2020, el mercado de las tecnologías de la información producirá en torno al 3 o 4% de todas las emisiones de CO2 del mundo.

Personal de Tencent, visitando uno de los centros de datos de la compañía. (Foto: Reuters)

A estas dudas, hay que sumarle todo lo referente a la buena utilización de estas herramientas, que ya ha generado un gran debate en todo el sector. Si es capaz de escribir textos complejos y originales, ¿por qué no se podría hacer pasar por una persona o inventar historias que todo el mundo creyese ciertas? Ya es más que conocido el caso de los 'deepfakes', y los expertos también son reticentes en este caso. Por ejemplo OpenAI anunció en 2019 que no liberaría del todo su GPT-2 por miedo a una mala utilización del modelo en pleno debate sobre las 'fake news', y ahora está siendo muy reticente a la hora de permitir a usuarios que prueben su potencial.

"Es una pregunta muy buena que no tiene una respuesta fácil. En tiempo de GPT-2, la comunidad de NLP reaccionó con enfado y con escepticismo al mensaje, había simplemente que creerse que habían dado un paso de gigante, sin ninguna explicación ni prueba. Pero por otro lado es verdad que si algo hacen bien estos sistemas es crear textos 'fake': en el fondo no tienen sentido ni están contrastados con la realidad, pero parecen escritos por humanos. Y es verdad que tiene cierto peligro que cualquiera pueda usar una herramienta así", argumenta Gonzalo.

  •   https://www.elconfidencial.com/tecnologia/2020-07-21/gpt3-red-neuronal-procesamiento-lenguaje-natural_2685344/

  • https://www.youtube.com/watch?v=cTQiN9dewIg&feature=emb_logo

Por qué GTP-3, la IA de lenguaje más avanzada, sigue siendo estúpida

La nueva inteligencia artificial de OpenAI es capaz de escribir textos convincentes sin más instrucciones que el título, así como acordes y piezas de código informático. Sin embargo, aunque es el modelo más poderoso de su clase, sus creadores intentan rebajar las expectativas sobre su inteligencia

  • por Will Douglas Heaven | traducido por Ana Milutinovic
  • 24 Julio, 2020

"Jugar con GPT-3 es como ver el futuro", tuiteó la semana pasada el desarrollador y artista de San Francisco (EE. UU.) Arram Sabeti. Con esa frase se puede resumir la reacción de la gente en redes sociales al último sistema de inteligencia artificial (IA) de lenguaje de OpenAI.

OpenAI describió por primera vez el modelo GPT-3 en un artículo de investigación publicado en mayo. Pero la semana pasada empezó a ofrecer el software a personas seleccionadas que habían pedido acceso a una versión beta privada. Por ahora, OpenAI quiere que los desarrolladores externos le ayuden a explorar todo lo que GPT-3 es capaz de hacer, pero planea convertir esta herramienta en un producto comercial a finales de este año mediante una suscripción de pago para acceder a la IA a través de la nube.

GPT-3 es el modelo de lenguaje más poderoso de la historia. Su versión anterior, GPT-2, lanzada el año pasado, ya era capaz de crear líneas de texto comprensibles en una variedad de estilos diferentes cuando recibía una frase inicial. Pero GPT-3 supone un gran salto adelante. El nuevo modelo tiene 175.000 millones de parámetros (los valores que una red neuronal intenta optimizar durante el entrenamiento), en comparación con los ya enormes 1.500 millones de GPT-2. Y cuando se trata de los modelos de lenguaje, el tamaño sí importa.

Sabeti vinculó su tuit a una publicación de blog donde presumía de relatos cortos, canciones, comunicados de prensa, instrucciones técnicas y demás texto generadas con la IA. GPT-3 también puede imitar a algunos escritores particulares.  El artista que trabaja con el aprendizaje automático Mario Klingemann compartió un breve relato titulado La importancia de estar en Twitter, escrita al estilo de Jerome K. Jerome. El texto empieza así: "Es un hecho curioso que la última forma restante de la vida social en la que la gente de Londres todavía está interesada es Twitter. Me sorprendió este curioso hecho cuando fui de vacaciones al lado del mar, como suelo practicar periódicamente, y encontré a todos tuiteando como pájaros enjaulados". Klingemann asegura que lo único que le dio a la IA fue el título, el nombre del autor y la palabra inicial. Incluso hay un artículo bastante ilustrativo sobre GPT-3 escrito al completo por GPT-3.

Otros han descubierto que GPT-3 puede generar cualquier tipo de texto, incluidos acordes de guitarra y código informático. Por ejemplo, al ajustar GPT-3 para que produzca HTML en vez de lenguaje natural, el desarrollador web Sharif Shameem demostró que el sistema era capaz de crear diseños de páginas web dándole indicaciones como "un botón que se parece una sandía" o "grande texto en rojo que ponga 'BIENVENIDO A MI BOLETÍN' y un botón azul de 'Suscribirse'". Incluso el conocido programador John Carmack, pionero de los gráficos por ordenador en 3D en los primeros videojuegos como Doom y actual asesor del CTO en Oculus VR, estaba desconcertado: "El reciente descubrimiento, casi accidental, de que GPT-3 puede escribir un código me da un pequeño escalofrío".

Sin embargo, a pesar de sus nuevos trucos, GPT-3 sigue siendo propenso a crear un lenguaje sexista y racista. Los ajustes en el modelo ayudaron a limitar este tipo de resultados en GPT-2.

Tampoco sorprende que muchos hayan comenzado a hablar rápidamente sobre la inteligencia. Pero el rendimiento casi humano de GPT-3 y su sorprendente versatilidad son el resultado de una excelente ingeniería, no de una inteligencia genuina. De hecho, la IA todavía genera algunos comentarios ridículos que revelan una falta total de sentido común. Pero ni siquiera sus éxitos tienen mucha profundidad y más bien parecen trabajos de cortar y pegar que composiciones originales.

No está claro qué es lo que pasa exactamente dentro de GPT-3. Pero parece que se le da bastante bien sintetizar texto encontrado en otras partes de internet, convirtiéndolo en una especie de enorme y ecléctico álbum de recortes creado a base de millones de fragmentos de texto que luego se juntan a demanda de formas extrañas y maravillosas.   

Así que no se debe minimizar el logro de OpenAI. Una herramienta como esta tiene muchos potenciales usos nuevos, tanto buenos (mejores chatbots para ayudar a las personas a codificar) como malos (mejores bots de desinformación y ayuda a los niños a hacer trampa en sus deberes).

Pero, cuando llega un nuevo hito de la IA, muchas veces queda enterrado entre el excesivo bombo mediático. Incluso el cofundador de OpenAI Sam Altman intentó suavizar las cosas: "Hay demasiado bombo sobre GPT-3. Es impresionante (¡gracias por las bonitas felicitaciones!) pero aún tiene serias debilidades y, a veces, comete errores muy tontos. La IA va a cambiar el mundo, pero GPT-3 es solo un primer vistazo. Todavía nos queda mucho por resolver".

Cuando se trata de detectar inteligencia, el nivel está bastante bajo. Si algo parece inteligente, puede hacernos creer fácilmente que realmente la tiene. El mayor truco de la IA fue convencer al mundo de que existía. GPT-3 es un gran avance, pero sigue siendo una herramienta hecha por humanos, con todos los defectos y limitaciones que eso implica.

robots que nos quitarán el trabajo

Antonio Villarreal
No importa lo alta que esté la tasa de paro. En España siempre hay ofertas de trabajo que se quedan sin cubrir, principalmente aquellas no cualificadas:



Publicat per a

No hay comentarios:

Publicar un comentario

Suscribirse a: Enviar comentarios (Atom)