En Vacaciones: Fine-Tuning con CrewAI y Ollama

Hola amigo,

Te escribo desde mi lugar de escapadas de vacaciones, donde estoy disfrutando de unos días de descanso. Mientras me relajo, aprovecho para contarte en qué he estado ocupado últimamente.

Esta semana he culminado la tramitación de varios proyectos. Tengo la suerte de contar con los mejores clientes del mundo, al menos para mí. Pero una vez finalizado este trabajo más administrativo, he tenido tiempo para dedicarme a nuevos proyectos.

El auge de los LLM (Grandes Modelos de Lenguaje)

No digo nada nuevo si digo que la mayor tendencia actual en el mundo de la Inteligencia Artificial, consiste en aprovechar la reciente disponibilidad de los LLM, tanto opensource (Llama2, Mistral, Falcon…) como propietarios (OpenAI (GPT4, GPT3.5), Alphabet (Gemini, …)).

Gracias a técnicas como el “fine tuning” o RAG, y a frameworks y plataformas como Ollama, CrewAI o Hugging Face entre otros, se pueden realizar aplicaciones y desarrollos antes inimaginables, ya que requerían muchos recursos.

Desarrollo de un agente virtual

Esta semana he estado trasteando y aprendiendo con Ollama, CrewAI y un poco de Hugging Face. Y hasta he desarrollado un prototipo de agente virtual local utilizando los modelos Llama2 y Mistral.

En próximos artículos lo explicaré con más detalle ya que se pueden relacionar varios conceptos para afianzar la base teórica, además de aprender haciendo, que es de lo que se trata. Pero a grandes rasgos el agente funciona de la siguiente manera:

Explicación del funcionamiento de CrewAI

CrewAI es un framework de trabajo de código abierto que permite crear equipos de agentes de IA autónomos que trabajan juntos para lograr un objetivo común.

• Agentes: Los agentes son entidades de IA independientes dentro de CrewAI. Cada uno tiene un rol específico y un conjunto de habilidades definidas. Los agentes pueden interactuar entre sí para compartir información y coordinar sus acciones.
• Tareas: Las tareas son los objetivos que los agentes deben completar. Las tareas pueden ser simples, como recuperar información, o más complejas, como generar contenido creativo.
• Herramientas: Las herramientas son recursos que los agentes pueden utilizar para completar sus tareas. Las herramientas pueden ser modelos de lenguaje, APIs, scripts o cualquier otro recurso que pueda ser útil.
• Configuración: CrewAI permite configurar los equipos de agentes de diferentes maneras:
  • En secuencia: Los agentes se ejecutan uno tras otro, en un orden predefinido.
  • En jerarquía: Los agentes se organizan en una estructura jerárquica, con algunos agentes que supervisan a otros.
  • Selección de LLM: Puedes elegir un LLM diferente para cada agente, en función de las necesidades de la tarea.
  • Ejecución local: Puedes ejecutar CrewAI localmente con Ollama, lo que te da más control sobre la configuración y el rendimiento.

Ejemplo

Imagina que quieres crear un chatbot que pueda responder preguntas sobre un producto. Puedes crear un equipo de agentes de CrewAI con la siguiente configuración:

• Agente 1: Este agente utilizará un modelo de lenguaje para recuperar información sobre el producto de una base de datos.
• Agente 2: Este agente utilizará un modelo de lenguaje para generar respuestas a las preguntas del usuario.
• Herramienta: Puedes utilizar una API para traducir las respuestas del chatbot a diferentes idiomas.

En este caso, el Agente 1 primero recuperaría la información del producto. Luego, el Agente 2 usaría esa información para generar una respuesta personalizada para el usuario. La API de traducción se usaría para traducir la respuesta al idioma del usuario.

Las posibilidades de CrewAI son infinitas. Puedes utilizar este framework para crear equipos de agentes para automatizar tareas complejas, generar contenido creativo o incluso crear juegos y experiencias interactivas.

Espero que esta explicación te haya sido útil. No dudes en contactarme si tienes alguna pregunta. Por mi parte esta va a ser una de las líneas en las que más quiero profundizar, ya que permite ofrecer gran cantidad de soluciones y oportunidades a las necesidades de los clientes.

El mundo de los agentes de IA virtuales es amplio y dinámico, con una gran variedad de alternativas a CrewAI, que por supuesto no es la única posibilidad. Algunas de las grandes empresas del sector tecnológico han desarrollado sus propias propuestas, tanto comerciales como gratuitas.

Pero en mi caso estoy apostando por las posibilidades que ofrece CrewAI, junto con Ollama los LLM en general (cada vez hay más y con características diferentes (para código, para idiomas específicos).

Creo que esta tecnología tiene el potencial de revolucionar la forma en que interactuamos con las máquinas y con el mundo que nos rodea. En mi caso quiero experimentar en breve con Latxa que es un Fine-Tunning de Lama2 para la lengua vasca. Imagina un chatbot en euskera para tu negocio…

Sin más desde este paraíso en el que me encuentro, y mientras escucho las olas del mar y me tomo una cerveza con unos amigos, te deseo que también descanses ya que lo tienes más que merecido.

Raúl Jáuregui de Mindful ML