Programa do Curso

Introdução

Entendendo Big Data

Visão geral do Spark

Visão geral do Python

Visão geral do PySpark

  • Distribuindo dados usando a estrutura de conjuntos de dados distribuídos resilientes
  • Distribuindo Computação Usando Operadores da API Spark

Configurando Python com Spark

Configurando o PySpark

Usando as instâncias do Amazon Web Services (AWS) EC2 para o Spark

Configurando bancos de dados

Configurando o cluster EMR da AWS

Aprendendo os Fundamentos da Programação Python

  • Introdução ao Python
  • Usando o Notebook Jupyter
  • Usando Variáveis e Tipos de Dados Simples
  • Trabalhando com Listas
  • Usando se declarações
  • Usando entradas do usuário
  • Trabalhando com Loops While
  • Funções de Implementação
  • Trabalhando com Classes
  • Trabalhando com arquivos e exceções
  • Trabalhando com projetos, dados e APIs

Aprendendo os Fundamentos do DataFrame Spark

  • Introdução ao Spark DataFrames
  • Implementando Operações Básicas com Spark
  • Usando o Groupby e as Operações Agregadas
  • Trabalhando com Timestamps e Datas

Trabalhando em um exercício do projeto Spark DataFrame

Entendendo o Aprendizado de Máquina com o MLlib

Trabalhando com MLlib, Spark e Python para Aprendizado de Máquina

Entendendo as regressões

  • Aprendendo a Teoria da Regressão Linear
  • Implementando um Código de Avaliação de Regressão
  • Trabalhando em um exercício de regressão linear de amostra
  • Aprendendo a Teoria da Regressão Logística
  • Implementando um Código de Regressão Logística
  • Trabalhando em um exercício de regressão logística de amostra

Entendendo Florestas Aleatórias e Árvores de Decisão

  • Teoria dos Métodos da Árvore de Aprendizagem
  • Implementando Árvores de Decisão e Códigos de Floresta Aleatórios
  • Trabalhando em um exercício de classificação aleatória da amostra

Trabalhando com o K-means Clustering

  • Entendendo a Teoria do Cluster de K-means
  • Implementando um código de cluster de K-means
  • Trabalhando em um exercício de cluster de amostra

Trabalhando com sistemas de recomendação

Implementando o Processamento de Linguagem Natural

  • Entendendo o Processamento de Linguagem Natural (PNL)
  • Visão geral das ferramentas de PNL
  • Trabalhando em um exercício de PNL de exemplo

Streaming com Spark em Python

  • Visão geral de streaming com o Spark
  • Exemplo de exercício de streaming de Spark

Comentários finais

Requisitos

  • Habilidades Gerais de Programação

Público

  • Programadores
  • Profissionais de TI
  • Cientistas de dados
 21 Horas

Declaração de Clientes (6)

Próximas Formações Provisórias

Categorias Relacionadas