We promote learning and collaboration within the technological and scientific community

Los LLM ( modelos de lenguage grandes) son unos modelos enormes basados en la arquitectura del Transformer introducido en el paper de Vaswani. Tienen mucha mistica y este 2023 explotaron por el uso que se le pudo dar gracias a ChatGPT, DALL-E y allegados. En este taller propongo que, con paciencia, veamos el paso a paso de construir en Keras y con HuggingFace una LLM de 0, vamos a entrenarla y vamos resolver Q&A con contexto, o sea dada una pregunta y un contexto, cual es la respuesta. En el camino vamos a aprender de tokenizacion, batching, finetuning, transfer learning, y mucho mas!