Programa do Curso

Recapitulação de Apache Airflow Fundamentos

  • Conceitos fundamentais: DAGs, operadores e fluxo de execução
  • Arquitetura e componentes do fluxo de ar
  • Entendendo casos de uso e fluxos de trabalho avançados

Criando operadores personalizados

  • Compreender a anatomia de um operador do Airflow
  • Desenvolvimento de operadores personalizados para tarefas específicas
  • Testar e depurar operadores personalizados

Ganchos e sensores personalizados

  • Implementar ganchos para integração de sistemas externos
  • Criar sensores para monitorizar accionadores externos
  • Melhorar a interatividade do fluxo de trabalho com sensores personalizados

Desenvolvimento de plug-ins de fluxo de ar

  • Compreender a arquitetura do plug-in
  • Conceber plugins para alargar a funcionalidade do Airflow
  • Melhores práticas para gerir e implementar plug-ins

Integrar o Airflow com sistemas externos

  • Ligar o Airflow a bases de dados, APIs e serviços na nuvem
  • Usar o Airflow para fluxos de trabalho ETL e processamento de dados em tempo real
  • Gerenciamento de dependências entre o Airflow e sistemas externos

Depuração e monitoramento avançados

  • Usando logs e métricas do Airflow para solução de problemas
  • Configuração de alertas e notificações para problemas de fluxo de trabalho
  • Utilização de ferramentas de monitorização externas com o Airflow

Otimizar o desempenho e a Scalabilidade

  • Dimensionando o Airflow com Celery e Kubernetes Executors
  • Otimizar a utilização de recursos em fluxos de trabalho complexos
  • Estratégias para alta disponibilidade e tolerância a falhas

Estudos de caso e aplicações do mundo real

  • Explorando casos de uso avançados em engenharia de dados e DevOps
  • Estudo de caso: Implementação de operador personalizado para ETL em grande escala
  • Melhores práticas para gerir fluxos de trabalho a nível empresarial

Resumo e próximos passos

Requisitos

  • Forte conhecimento dos conceitos básicos da Apache Airflow, incluindo DAGs, operadores e arquitetura de execução
  • Proficiência em programação Python
  • Experiência na integração de sistemas de dados e orquestração de fluxos de trabalho

Público-alvo

  • Engenheiros de dados
  • Engenheiros DevOps
  • Arquitectos de software
 21 Horas

Próximas Formações Provisórias

Categorias Relacionadas