Programa do Curso

Introdução aos modelos de linguagem de grande dimensão

  • Visão geral de Natural Language Processing (NLP)
  • Introdução a Large Language Models (LLMs)
  • Contribuições da Meta AI para o desenvolvimento de LLMs

Compreender a arquitetura dos LLMs do Meta AI

  • Arquitetura do transformador e mecanismos de auto-atenção
  • Metodologias de treino para modelos de grande escala
  • Comparação com outros LLMs (GPT, BERT, T5, etc.)

Configuração do ambiente de desenvolvimento

  • Instalar e configurar o Python e o Jupyter Notebook
  • Trabalhar com Hugging Face e o repositório de modelos do Meta AI
  • Usando GPU locais ou baseados em nuvem para treinamento

Fine-Tuning e personalizando os LLMs do Meta AI

  • Carregando modelos pré-treinados
  • Ajuste fino em conjuntos de dados específicos do domínio
  • Técnicas de aprendizagem por transferência

Criar aplicações de PNL com LLMs Meta AI

  • Desenvolvimento de chatbots e IA de conversação
  • Implementação de resumo e paráfrase de texto
  • Análise de sentimentos e moderação de conteúdos

Otimização e implementação de modelos linguísticos de grande dimensão

  • Ajuste de desempenho para velocidade de inferência
  • Técnicas de compressão e quantização de modelos
  • Implementação de LLMs utilizando APIs e plataformas de nuvem

Considerações éticas e IA responsável

  • Deteção e mitigação de preconceitos em LLMs
  • Garantir a transparência e a equidade nos modelos de IA
  • Tendências e desenvolvimentos futuros na IA

Resumo e próximos passos

Requisitos

  • Conhecimentos básicos de aprendizagem automática e aprendizagem profunda
  • Experiência com programação Python
  • Familiaridade com conceitos de processamento de linguagem natural (PNL)

Público-alvo

  • Investigadores de IA
  • Cientistas de dados
  • Engenheiros Machine Learning
  • Programadores de software interessados em PNL
 21 Horas

Próximas Formações Provisórias

Categorias Relacionadas