Programa do Curso

Introdução

  • Visão geral dos desafios de escalonamento da aprendizagem profunda
  • Visão geral do DeepSpeed e seus recursos
  • DeepSpeed vs. outras bibliotecas de aprendizagem profunda distribuídas

Primeiros passos

  • Configurando o ambiente de desenvolvimento
  • Instalando PyTorch e DeepSpeed
  • Configurando o DeepSpeed para treinamento distribuído

Recursos de otimização do DeepSpeed

  • Pipeline de treinamento do DeepSpeed
  • ZeRO (otimização de memória)
  • Checkpointing de ativação
  • Checkpointing de gradiente
  • Paralelismo do pipeline

Escalonamento de modelos com DeepSpeed

  • Escalonamento básico usando DeepSpeed
  • Técnicas avançadas de escalonamento
  • Considerações de desempenho e práticas recomendadas
  • Técnicas de depuração e solução de problemas

Tópicos avançados do DeepSpeed

  • Técnicas avançadas de otimização
  • Usando DeepSpeed com treinamento de precisão mista
  • DeepSpeed em diferentes hardwares (por exemplo, GPUs, TPUs)
  • DeepSpeed com múltiplos nós de treinamento

Integrando DeepSpeed com PyTorch

  • Integrando DeepSpeed com fluxos de trabalho PyTorch
  • Usando DeepSpeed com PyTorch Lightning

Solução de problemas

  • Depurando problemas comuns do DeepSpeed
  • Monitoramento e registro

Resumo e próximos passos

  • Recapitulação dos principais conceitos e recursos
  • Práticas recomendadas para usar o DeepSpeed em produção
  • Outros recursos para aprender mais sobre o DeepSpeed

Requisitos

  • Conhecimento intermédio dos princípios da aprendizagem profunda
  • Experiência com PyTorch ou estruturas de aprendizagem profunda semelhantes
  • Familiaridade com a programação Python

Público-alvo

  • Cientistas de dados
  • Engenheiros de aprendizagem automática
  • Programadores
 21 Horas

Próximas Formações Provisórias

Categorias Relacionadas