Cursos de Hadoop em Gaia

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a desenvolvedores que desejam usar e integrar o Spark, Hadoop e Python para processar, analisar e transformar conjuntos de dados grandes e complexos.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para iniciar o processamento de big data com Spark, Hadoop e Python.
• Compreender os recursos, componentes principais e arquitetura do Spark e Hadoop.
• Aprender como integrar Spark, Hadoop e Python para o processamento de big data.
• Explorar as ferramentas do ecossistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Construir sistemas de recomendação de filtragem colaborativa semelhantes a Netflix, YouTube, Amazon, Spotify e Google.
• Utilizar o Apache Mahout para escalar algoritmos de aprendizagem automática.

Público-alvo:

O curso é destinado a especialistas em TI que procuram uma solução para armazenar e processar conjuntos grandes de dados em um ambiente de sistema distribuído.

Pré-requisitos:

Conhecimento profundo na administração de clusters Hadoop.

A análise de big data envolve o processo de examinar grandes volumes de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras insights úteis.

A indústria da saúde possui enormes quantidades de dados médicos e clínicos complexos e heterogêneos. Aplicar a análise de big data aos dados de saúde apresenta um grande potencial para derivar insights que melhorem a prestação de cuidados à saúde. No entanto, a magnitude desses conjuntos de dados representa grandes desafios em análises e aplicações práticas ao ambiente clínico.

Nesta formação conduzida por instrutor (remota), os participantes aprenderão como realizar análise de big data na saúde enquanto passam por uma série de exercícios práticos em laboratório.

Ao final desta formação, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como Hadoop MapReduce e Spark
• Compreender as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar sistemas e algoritmos de big data no contexto de aplicações em saúde

Público-alvo

• Desenvolvedores
• Cientistas de Dados

Formato do Curso

• Parte aula, parte discussão, exercícios e muita prática hands-on.

Nota

• Para solicitar uma formação personalizada para este curso, entre em contato conosco para agendar.

Apache Hadoop é o framework mais popular para processamento Big Data em clusters de servidores. Neste curso de três (opcionalmente, quatro) dias, os participantes aprenderão sobre os benefícios comerciais e casos de uso para Hadoop e seu ecossistema, como planejar a implantação e o crescimento do cluster, como instalar, manter, monitorar, solucionar problemas e otimizar Hadoop. Eles também praticarão o carregamento em massa de dados no cluster, se familiarizarão com várias distribuições Hadoop e praticarão a instalação e gerenciamento das ferramentas do ecossistema Hadoop. O curso termina com uma discussão sobre a segurança do cluster com Kerberos.

"... Os materiais foram muito bem preparados e abrangentes. A Labs foram muito úteis e bem organizadas"
— Andrew Nguyen, Engenheiro de Integração DW Principal, Microsoft Online Advertising

Público-Alvo

Administradores do Hadoop

Formato

Aulas e laboratórios práticos, aproximadamente 60% aulas, 40% labs.

Apache Hadoop é o framework mais popular para processar Big Data em clusters de servidores. Este curso introduzirá os desenvolvedores a vários componentes do ecossistema Hadoop (HDFS, MapReduce, Pig, Hive e HBase).

O Apache Hadoop é um dos frameworks mais populares para processamento de Big Data em clusters de servidores. Este curso mergulha na gestão de dados no HDFS, Pig avançado, Hive e HBase. Essas técnicas de programação avançadas serão benéficas para desenvolvedores experientes com Hadoop.

Público: desenvolvedores

Duração: três dias

Formato: palestras (50%) e laboratórios práticos (50%).

Público-alvo:

Este curso tem como objetivo desmistificar a tecnologia de big data/Hadoop e mostrar que ela não é difícil de entender.

Este treinamento liderado por instrutor (online ou presencial) é direcionado a administradores de sistemas que desejam aprender como configurar, implantar e gerenciar clusters Hadoop dentro de sua organização.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Hadoop.
• Compreender as quatro principais componentes do ecossistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usar o Hadoop Distributed File System (HDFS) para escalar um cluster para centenas ou milhares de nós.
• Configurar o HDFS para operar como mecanismo de armazenamento para implantações de Spark on-premise.
• Configurar o Spark para acessar soluções de armazenamento alternativas, como Amazon S3 e sistemas de banco de dados NoSQL, como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Realizar tarefas administrativas, como provisionamento, gerenciamento, monitoramento e segurança de um cluster Apache Hadoop.

Este curso introduz HBase, e é dirigido a todos aqueles desenvolvedores que utilizarão o HBase para desenvolver aplicações, e administradores que vao manejar clusters HBase.

Vamos a guiar um desenvolvedor através da arquitetura HBase e modelagem de dados e desenvolvimento de aplicações em HBase. Também vamos discutir utilizando MapReduce com HBase, e alguns tópicos administrativos.

O Apache NiFi é uma plataforma de integração e processamento de eventos baseada em fluxo. Ele permite a roteirização, transformação e mediação automatizadas e em tempo real de dados entre sistemas heterogêneos, com uma interface web e controle granular.

Este treinamento liderado por instrutor (presencial ou remoto) é direcionado a administradores e engenheiros intermediários que desejam implantar, gerenciar, proteger e otimizar fluxos de dados do NiFi em ambientes de produção.

No final deste treinamento, os participantes serão capazes de:

• Instalar, configurar e manter clusters Apache NiFi.
• Projetar e gerenciar fluxos de dados de várias fontes e destinos.
• Implementar lógica de automação, roteirização e transformação de fluxo.
• Otimizar o desempenho, monitorar operações e solucionar problemas.

Formato do Curso

• Aula interativa com discussão de arquitetura no mundo real.
• Laboratórios práticos: construção, implantação e gerenciamento de fluxos.
• Exercícios baseados em cenários em um ambiente de laboratório ao vivo.

Opções de Customização do Curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

Neste treinamento ao vivo conduzido por instrutor em Gaia, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.

No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura do NiFi e os conceitos de fluxo de dados.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingerir e processar dados em tempo real de formatos de arquivos e fontes de dados diferentes e incomuns.