Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Recapitulação de Apache Airflow Fundamentos
- Conceitos fundamentais: DAGs, operadores e fluxo de execução
- Arquitetura e componentes do fluxo de ar
- Entendendo casos de uso e fluxos de trabalho avançados
Criando operadores personalizados
- Compreender a anatomia de um operador do Airflow
- Desenvolvimento de operadores personalizados para tarefas específicas
- Testar e depurar operadores personalizados
Ganchos e sensores personalizados
- Implementar ganchos para integração de sistemas externos
- Criar sensores para monitorizar accionadores externos
- Melhorar a interatividade do fluxo de trabalho com sensores personalizados
Desenvolvimento de plug-ins de fluxo de ar
- Compreender a arquitetura do plug-in
- Conceber plugins para alargar a funcionalidade do Airflow
- Melhores práticas para gerir e implementar plug-ins
Integrar o Airflow com sistemas externos
- Ligar o Airflow a bases de dados, APIs e serviços na nuvem
- Usar o Airflow para fluxos de trabalho ETL e processamento de dados em tempo real
- Gerenciamento de dependências entre o Airflow e sistemas externos
Depuração e monitoramento avançados
- Usando logs e métricas do Airflow para solução de problemas
- Configuração de alertas e notificações para problemas de fluxo de trabalho
- Utilização de ferramentas de monitorização externas com o Airflow
Otimizar o desempenho e a Scalabilidade
- Dimensionando o Airflow com Celery e Kubernetes Executors
- Otimizar a utilização de recursos em fluxos de trabalho complexos
- Estratégias para alta disponibilidade e tolerância a falhas
Estudos de caso e aplicações do mundo real
- Explorando casos de uso avançados em engenharia de dados e DevOps
- Estudo de caso: Implementação de operador personalizado para ETL em grande escala
- Melhores práticas para gerir fluxos de trabalho a nível empresarial
Resumo e próximos passos
Requisitos
- Forte conhecimento dos conceitos básicos da Apache Airflow, incluindo DAGs, operadores e arquitetura de execução
- Proficiência em programação Python
- Experiência na integração de sistemas de dados e orquestração de fluxos de trabalho
Público-alvo
- Engenheiros de dados
- Engenheiros DevOps
- Arquitectos de software
21 Horas