Programa do Curso

Introdução

  • O que são Large Language Models (LLMs)?
  • LLMs vs modelos tradicionais de PNL
  • Panorâmica das caraterísticas e da arquitetura das LLMs
  • Desafios e limitações das LLMs

Compreender as LLMs

  • O ciclo de vida de uma LLM
  • Como funcionam as LLM
  • Os principais componentes de uma LLM: codificador, descodificador, atenção, embeddings, etc.

Introdução

  • Configurar o ambiente de desenvolvimento
  • Instalar uma LLM como ferramenta de desenvolvimento, por exemplo, Google Colab, Hugging Face

Trabalhar com LLMs

  • Explorar as opções de LLM disponíveis
  • Criando e usando um LLM
  • Ajustar um LLM num conjunto de dados personalizado

Sumarização de texto

  • Compreender a tarefa de resumo de texto e as suas aplicações
  • Utilizar um LLM para resumo de texto extrativo e abstrativo
  • Avaliar a qualidade dos resumos gerados usando métricas como ROUGE, BLEU, etc.

Resposta a perguntas

  • Compreender a tarefa de resposta a perguntas e as suas aplicações
  • Utilizar um LLM para responder a perguntas de domínio aberto e de domínio fechado
  • Avaliar a exatidão das respostas geradas utilizando métricas como F1, EM, etc.

Geração de texto

  • Compreender a tarefa de geração de texto e as suas aplicações
  • Utilizar um LLM para a geração de texto condicional e incondicional
  • Controlar o estilo, o tom e o conteúdo dos textos gerados usando parâmetros como temperatura, top-k, top-p, etc.

Integrando LLMs com outros frameworks e plataformas

  • Usando LLMs com PyTorch ou TensorFlow
  • Usando LLMs com Flask ou Streamlit
  • Usando LLMs com Google Cloud ou AWS

Resolução de problemas

  • Entendendo os erros e bugs comuns em LLMs
  • Usando o TensorBoard para monitorar e visualizar o processo de treinamento
  • Usando PyTorch Lightning para simplificar o código de treinamento e melhorar o desempenho
  • Usando Hugging Face Datasets para carregar e pré-processar os dados

Resumo e próximos passos

Requisitos

  • Conhecimento do processamento de linguagem natural e da aprendizagem profunda
  • Experiência com Python e PyTorch ou TensorFlow
  • Experiência básica de programação

Público-alvo

  • Programadores
  • Entusiastas de PNL
  • Cientistas de dados
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas