Programa do Curso

Big Data Visão geral:

  • O que é Big Data?
  • Porque é que Big Data está a ganhar popularidade
  • Big Data Estudos de caso
  • Caraterísticas de Big Data
  • Soluções para trabalhar em Big Data.

Hadoop e seus componentes:

  • O que é Hadoop e quais são os seus componentes.
  • Hadoop Arquitetura e caraterísticas dos dados que pode tratar/processar.
  • Breve descrição da história do Hadoop, empresas que o utilizam e por que razão o começaram a utilizar.
  • Hadoop Estrutura de trabalho e seus componentes - explicados em pormenor.
  • O que é o HDFS e o Reads -Writes to Hadoop Distributed File System.
  • Como configurar o Hadoop Cluster em diferentes modos - Stand- alone/Pseudo/Multi Node cluster.

(Isso inclui a configuração de um cluster Hadoop no VirtualBox/KVM/VMware, configurações de rede que precisam ser cuidadosamente analisadas, execução de Daemons Hadoop e teste do cluster).

  • O que é e como funciona a estrutura Map Reduce.
  • Executando trabalhos de Map Reduce no cluster Hadoop.
  • Compreender a replicação, o espelhamento e o reconhecimento de rack no contexto de clusters Hadoop.

Planeamento do cluster Hadoop:

  • Como planear o seu cluster hadoop.
  • Compreender o hardware-software para planear o seu cluster hadoop.
  • Compreender as cargas de trabalho e planear o cluster para evitar falhas e ter um desempenho ótimo.

O que é MapR e porquê MapR :

  • Visão geral do MapR e da sua arquitetura.
  • Compreensão e funcionamento do sistema de controlo MapR, volumes MapR, snapshots e espelhos.
  • Planeamento de um cluster no contexto do MapR.
  • Comparação do MapR com outras distribuições e Apache Hadoop.
  • Instalação do MapR e implantação do cluster.

Configuração e administração do cluster:

  • Gerir serviços, nós, snapshots, volumes espelho e clusters remotos.
  • Compreensão e gestão de nós.
  • Compreensão dos componentes Hadoop, instalação de componentes Hadoop juntamente com os serviços MapR.
  • Accessing de dados no cluster, incluindo via NFS Gestão de serviços e nós.
  • Gestão de dados através da utilização de volumes, gestão de utilizadores e grupos, gestão e atribuição de funções a nós, comissionamento e desmantelamento de nós, administração de clusters e monitorização do desempenho, configuração/análise e monitorização de métricas para monitorizar o desempenho, configuração e administração da segurança MapR.
  • Compreender e trabalhar com M7 - armazenamento nativo para tabelas MapR.
  • Configuração e afinação do cluster para um desempenho ótimo.

Atualização do cluster e integração com outras configurações:

  • Atualização da versão de software do MapR e tipos de atualização.
  • Configuração do cluster Mapr para aceder ao cluster HDFS.
  • Configuração do cluster MapR no Amazon Elastic Mapreduce.

Todos os tópicos acima incluem demonstrações e sessões práticas para que os alunos tenham uma experiência prática da tecnologia.

Requisitos

  • Conhecimento básico de Linux FS
  • Conhecimentos básicos de Java
  • Conhecimentos de Apache Hadoop (recomendado)
 28 Horas

Declaração de Clientes (1)

Próximas Formações Provisórias

Categorias Relacionadas