LinuxParty

Durante la última década, se han logrado avances significativos en el campo de la Inteligencia Artificial (IA), la cual se ha vuelto más omnipresente en nuestra vida diaria. Su uso y adopción generalizados se pueden atribuir a múltiples factores, entre ellos el Aprendizaje Profundo (DL), también conocido como redes neuronales artificiales modernas, la disponibilidad de grandes volúmenes de datos y la capacidad de procesamiento para entrenar modelos de DL. Más recientemente, la IA Generativa ha captado la atención del público general gracias a OpenAI y a la creación de Modelos de Lenguaje Grandes (LLM) escalables y de alto rendimiento. La IA Generativa también se ha utilizado para producir texto, imágenes, vídeos, código de programación y música. Existen modelos multimodales que generan imágenes basadas en descripciones de texto (p. ej., DALL·E) y viceversa , y estas innovaciones seguirán creciendo con bastante rapidez.

Avances en IA generativa

Un avance importante en la aplicación de un modelo de aprendizaje automático (AA) se demostró en 2012 [1] para clasificar imágenes en varios grupos diferentes (ImageNet Large Scale Visual Recognition Challenge 2010). A esto le siguió el uso de AA para tareas de clasificación similares en texto y voz, donde los modelos de AA mejoraron significativamente los parámetros establecidos previamente. Estos modelos se entrenaron para tareas especializadas y ofrecieron un rendimiento de vanguardia. El uso de AA para generar una amplia gama de resultados ha atraído a los investigadores de IA. Generative Adversarial Networks [2], el trabajo pionero en este sentido, se llevó a cabo en 2014, donde se generaron imágenes de rostros humanos y números con aspecto real. Esto impulsó la investigación para desarrollar técnicas de IA generativa en otros ámbitos.

El modelado del lenguaje ha sido un reto para la IA. El objetivo de los modelos de lenguaje es predecir la siguiente palabra dada una secuencia de palabras. El uso de aprendizaje automático (AA) para preentrenar LLM se demostró en 2019 [3]. Los transformadores generativos preentrenados (GPT) son la tecnología subyacente que impulsa ChatGPT. Estos modelos se han entrenado con un gran volumen de datos de texto mediante el uso de una enorme potencia de procesamiento en las unidades de procesamiento gráfico (GPU). Los resultados de GPT-3/GPT-4 en tareas como el resumen de texto, la respuesta a preguntas y la generación de código han sido impresionantes.

Desafíos para los modelos de IA generativa

Los modelos de aprendizaje automático (AA) aprenden de los datos de entrenamiento y establecen los parámetros de las redes neuronales artificiales para representar la visión del mundo tal como se presenta en los datos. Estos modelos suelen ser mucho más grandes que los modelos tradicionales de aprendizaje automático (AA). El tamaño de estas redes y modelos puede ser un desafío cuando la cantidad de datos disponibles para el entrenamiento es pequeña. La mayoría de los conjuntos de datos del mundo real presentan desequilibrios en las clases y pueden presentar sesgos inherentes (no evidentes). Se han desarrollado regularmente técnicas para entrenar modelos de AA que superen estos desafíos. De lo contrario, tienden a memorizar los datos de entrenamiento, lo que se conoce como sobreajuste , y los modelos podrían no ser capaces de generalizar para datos no vistos o proporcionar resultados sesgados.

Los modelos de IA generativa también son propensos a los desafíos inherentes a las técnicas de aprendizaje automático (AA). Además, la naturaleza generativa de los modelos puede introducir artefactos en los datos generados. Por ejemplo, los generadores de imágenes de IA tienen dificultades con las manos. Podrían producir imágenes extrañas y difíciles de explicar. Se han propuesto varios enfoques para superar estos desafíos [4]. Esto también aplica a los modelos de aprendizaje automático (LLM), cuya función es predecir la siguiente palabra. Pueden producir errores de completitud o proporcionar respuestas incorrectas, dados los datos con los que se entrenan. Por lo tanto, se debe tener cuidado para garantizar que existan barreras de seguridad, en particular al responder a consultas humanas.

Allanando el camino hacia aplicaciones innovadoras

El éxito inicial del aprendizaje automático (AA) se demostró en tareas específicas, como la clasificación, donde los modelos se entrenaron para ser profundos y específicos. Por el contrario, los modelos de IA generativa tienden a ser amplios y superficiales. Las aplicaciones iniciales del AA se diseñaron para proporcionar la mayor precisión exigida por los requisitos empresariales, y los investigadores de IA se centraron en mejorar estas métricas. La IA generativa ha abierto posibilidades para su uso en campos creativos como el diseño de moda, la escritura creativa y la creación artística. Esto conducirá a un uso más amplio de la IA en áreas que requieren habilidades especializadas y que hasta ahora no han sido abordadas. La investigación futura se basará en cómo estas comunidades sociales se adaptan al uso de la IA, lo que puede impulsar el crecimiento de aplicaciones innovadoras.

Descargo de responsabilidad: Las opiniones reflejadas en este artículo son las del autor y no reflejan necesariamente las opiniones de la organización global EY o sus firmas miembro.

Referencias

1. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton: Clasificación ImageNet con redes neuronales convolucionales profundas. NIPS 2012: 1106-1114.
2. Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville, Yoshua Bengio: redes adversarias generativas. NIPS 2014: 2672-2680.
3. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova: BERT: Preentrenamiento de transformadores bidireccionales profundos para la comprensión del lenguaje. NAACL-HLT (1) 2019: 4171-4186.
4. Makkapati, V., Patro, A. (2017). Mejora de la simetría en imágenes de moda generadas por GAN. En: Bramer, M., Petridis, M. (eds.) Inteligencia Artificial XXXIV. SGAI 2017. Apuntes de las clases de informática, vol. 10630. Springer, Cham.

Vishnu Makkapati es director asociado de EY Global Delivery Services, donde dirige el Centro de Excelencia en IA y Tecnología del Cliente en Bengaluru.