Cursos de Big Data em Portugal

Os participantes que concluírem este treinamento ao vivo conduzido por instrutor em Portugal obterão uma compreensão prática e real do Big Data e de suas tecnologias, metodologias e ferramentas relacionadas.

Os participantes terão a oportunidade de colocar esse conhecimento em prática por meio de exercícios práticos. A interação em grupo e o feedback do formador constituem uma componente importante da aula.

O curso começa com uma introdução aos conceitos elementares de Big Data, depois avança para as linguagens de programação e metodologias usadas para executar Data Analysis. Finalmente, discutimos as ferramentas e a infraestrutura que permitem o armazenamento Big Data, o Processamento Distribuído e a Scalabilidade.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de dados de nível avançado que desejam otimizar os fluxos de trabalho de processamento de dados, garantir a integridade dos dados e implementar soluções robustas de data lakehouse que podem lidar com as complexidades dos aplicativos modernos de big data.

No final deste treinamento, os participantes serão capazes de:

• Obter uma compreensão profunda da arquitetura do Iceberg, incluindo gerenciamento de metadados e layout de arquivos.
• Configurar o Iceberg para obter o melhor desempenho em vários ambientes e integrá-lo a vários mecanismos de processamento de dados.
• Gerir tabelas Iceberg de grande escala, efetuar alterações complexas ao esquema e lidar com a evolução das partições.
• Dominar técnicas para otimizar o desempenho das consultas e a eficiência da pesquisa de dados em grandes conjuntos de dados.
• Implementar mecanismos para assegurar a consistência dos dados, gerir garantias transaccionais e lidar com falhas em ambientes distribuídos.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam usar e integrar o Spark, Hadoop e Python para processar, analisar e transformar conjuntos de dados grandes e complexos.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para iniciar o processamento de big data com Spark, Hadoop e Python.
• Compreender os recursos, componentes principais e arquitetura do Spark e Hadoop.
• Aprender como integrar Spark, Hadoop e Python para o processamento de big data.
• Explorar as ferramentas do ecossistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Construir sistemas de recomendação de filtragem colaborativa semelhantes a Netflix, YouTube, Amazon, Spotify e Google.
• Utilizar o Apache Mahout para escalar algoritmos de aprendizagem automática.

Os participantes que concluírem este treinamento ao vivo conduzido por instrutor em Portugal ganharão uma compreensão prática e real de Big Data e suas tecnologias, metodologias e ferramentas relacionadas.

Os participantes terão a oportunidade de pôr em prática estes conhecimentos através de exercícios práticos. A interação em grupo e o feedback do instrutor constituem uma componente importante da aula.

O curso começa com uma introdução aos conceitos elementares de Big Data, depois avança para as linguagens de programação e metodologias utilizadas para realizar a Análise de Dados. Finalmente, são discutidas as ferramentas e infra-estruturas que permitem o armazenamento de Big Data, o processamento distribuído e a Scalabilidade.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a cientistas de dados que desejam usar Excel para mineração de dados.

• No final desta formação, os participantes serão capazes de:
• Explorar dados com o Excel para realizar mineração e análise de dados.
• Utilizar Microsoft algoritmos para mineração de dados.
• Compreender conceitos em mineração de dados no Excel.

Dremio é uma plataforma de dados de código aberto "self-service" que acelera a consulta de diferentes tipos de fontes de dados. Dremio integra com bases de dados relativas, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, e outras fontes de dados. Ele suporta SQL e fornece um UI web para consultas de construção.

Neste treinamento guiado por instrutores, os participantes aprenderão como instalar, configurar e usar Dremio como uma camada unificadora para as ferramentas de análise de dados e os repositórios de dados subjacentes.

No final do curso, os participantes poderão:

• Instalar e configurar Dremio
• Executar consultas contra várias fontes de dados, independentemente da localização, tamanho ou estrutura
• Integra Dremio com BI e fontes de dados como Tableau e Elasticsearch

Auditoria

• Cientistas de Dados
• Business Os analistas
• Engenheiros de dados

Formato do curso

• Parte de palestras, parte de discussão, exercícios e prática pesada

Notas

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores de aplicativos e engenheiros que desejam dominar usos mais sofisticados do banco de dados Teradata.

No final deste treinamento, os participantes serão capazes de:

• Gerir o espaço Teradata.
• Proteger e distribuir dados em Teradata.
• Ler o Explain Plan.
• Melhorar a proficiência em SQL.
• Utilizar os principais utilitários de Teradata.

Amazon Redshift é um serviço de data warehouse baseado em nuvem em escala de petabyte na AWS.

Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão os fundamentos de Amazon Redshift.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Amazon Redshift
• Carregar, configurar, implantar, consultar e visualizar dados com Amazon Redshift

Público-alvo

• Desenvolvedores
• Profissionais de TI

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Nota

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.

Os avanços nas tecnologias e a quantidade crescente de informações estão transformando a forma como os negócios são conduzidos em muitos setores, inclusive no governo. Goas taxas de geração de dados e arquivamento digital no governo estão aumentando devido ao rápido crescimento de dispositivos e aplicativos móveis, sensores e dispositivos inteligentes, soluções de computação em nuvem e portais voltados para os cidadãos. À medida que a informação digital se expande e se torna mais complexa, o gerenciamento, o processamento, o armazenamento, a segurança e a disposição da informação também se tornam mais complexos. Novas ferramentas de captura, pesquisa, descoberta e análise estão ajudando as organizações a obter insights a partir de seus dados não estruturados. O mercado governamental está num ponto de viragem, percebendo que a informação é um activo estratégico, e o governo precisa de proteger, alavancar e analisar tanto a informação estruturada como a não estruturada para melhor servir e cumprir os requisitos da missão. À medida que os líderes governamentais se esforçam para desenvolver organizações orientadas por dados para cumprirem com êxito a missão, estão a estabelecer as bases para correlacionar dependências entre eventos, pessoas, processos e informações.

Soluções governamentais de alto valor serão criadas a partir de uma combinação das tecnologias mais disruptivas:

Dispositivos móveis e aplicativos Serviços em nuvem Tecnologias de negócios sociais e redes Big Data e análises

A IDC prevê que, até 2020, a indústria de TI atingirá 5 biliões de dólares, aproximadamente 1,7 biliões de dólares a mais do que hoje, e que 80% do crescimento da indústria será impulsionado por estas tecnologias da 3ª Plataforma. A longo prazo, estas tecnologias serão ferramentas essenciais para lidar com a complexidade do aumento da informação digital. Big Data é uma das soluções inteligentes da indústria e permite que o governo tome melhores decisões, agindo com base em padrões revelados pela análise de grandes volumes de dados – relacionados e não relacionados, estruturados e não estruturados.

Mas realizar essas façanhas exige muito mais do que simplesmente acumular grandes quantidades de dados. “Entender esses volumes de Big Data requer ferramentas e tecnologias de ponta que possam analisar e extrair conhecimento útil de vastos e diversos fluxos de informações”, Tom Kalil e Fen Zhao, do Escritório de Política Científica e Tecnológica da Casa Branca, escreveu em um post no Blog OSTP.

A Casa Branca deu um passo para ajudar as agências a encontrar essas tecnologias quando estabeleceu a Iniciativa Nacional Big Data de Pesquisa e Desenvolvimento em 2012. A iniciativa incluiu mais de US$ 200 milhões para aproveitar ao máximo a explosão de Big Data e as ferramentas necessárias para analise-o.

Os desafios que Big Data coloca são quase tão assustadores quanto a sua promessa é encorajadora. Armazenar dados de forma eficiente é um desses desafios. Como sempre, os orçamentos são apertados, por isso as agências devem minimizar o preço por megabyte de armazenamento e manter os dados com fácil acesso para que os usuários possam obtê-los quando quiserem e como precisarem. Fazer backup de grandes quantidades de dados aumenta o desafio.

Analisar os dados de forma eficaz é outro grande desafio. Muitas agências empregam ferramentas comerciais que lhes permitem examinar montanhas de dados, identificando tendências que podem ajudá-las a operar com mais eficiência. (Um estudo recente da MeriTalk descobriu que os executivos federais de TI acham que Big Data poderia ajudar as agências a economizar mais de US$ 500 bilhões e, ao mesmo tempo, cumprir os objetivos da missão.).

Ferramentas desenvolvidas sob medida Big Data também permitem que as agências atendam à necessidade de analisar seus dados. Por exemplo, o Grupo de Análise de Dados Computacionais do Laboratório Nacional de Oak Ridge disponibilizou seu sistema de análise de dados Piranha para outras agências. O sistema ajudou pesquisadores médicos a encontrar um link que pode alertar os médicos sobre aneurismas da aorta antes que eles atacassem. Também é usado para tarefas mais mundanas, como examinar currículos para conectar candidatos a empregos com gerentes de contratação.

Esta sessão de treinamento em sala de aula explorará Big Data. Os delegados terão exemplos baseados em computador e exercícios de estudo de caso para realizar com ferramentas relevantes de big data

Dia 1 - fornece uma visão geral de alto nível das principais áreas de tópicos do Big Data . O módulo é dividido em uma série de seções, cada uma das quais é acompanhada por um exercício prático.

Dia 2 - explora uma variedade de tópicos que relacionam práticas de análise e ferramentas para ambientes de Big Data . Ele não entra em detalhes de implementação ou programação, mas mantém a cobertura em um nível conceitual, concentrando-se em tópicos que permitem aos participantes desenvolver uma compreensão abrangente das funções e recursos de análise comuns oferecidos pelas soluções de Big Data .

Dia 3 - fornece uma visão geral das áreas de tópicos fundamentais e essenciais relacionadas à arquitetura da plataforma de solução Big Data . Ele abrange os mecanismos de Big Data necessários para o desenvolvimento de uma plataforma de solução Big Data e opções de arquitetura para a montagem de uma plataforma de processamento de dados. Cenários comuns também são apresentados para fornecer uma compreensão básica de como uma plataforma de solução Big Data é geralmente usada.

Dia 4 - baseia-se no Dia 3, explorando tópicos avançados relacionados à arquitetura da plataforma de solução Big Data . Em particular, diferentes camadas de arquitetura que compõem a plataforma de solução Big Data são introduzidas e discutidas, incluindo fontes de dados, entrada de dados, armazenamento de dados, processamento de dados e segurança.

Dia 5 - abrange uma série de exercícios e problemas projetados para testar a capacidade dos delegados de aplicar o conhecimento dos tópicos abordados nos dias 3 e 4.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão a mentalidade com a qual abordar as tecnologias Big Data, avaliar seu impacto nos processos e políticas existentes e implementar essas tecnologias com o objetivo de identificar atividades criminosas e prevenir crimes. Serão analisados estudos de casos de organizações de aplicação da lei de todo o mundo para obter informações sobre as suas abordagens de adoção, desafios e resultados.

No final desta formação, os participantes serão capazes de:

• Combinar a tecnologia Big Data com os processos tradicionais de recolha de dados para reunir uma história durante uma investigação.
• Implementar soluções industriais de armazenamento e processamento de big data para análise de dados.
• Preparar uma proposta para a adoção das ferramentas e processos mais adequados para permitir uma abordagem baseada em dados para a investigação criminal.

Big Data é um termo que se refere a soluções destinadas a armazenar e processar grandes conjuntos de dados. Desenvolvido pela Go Ogle inicialmente, estes Big Data soluções evoluíram e inspirou outros projectos semelhantes, muitos dos quais estão disponíveis como código-fonte aberto. R é uma linguagem de programação popular no setor financeiro.

Quando as tecnologias de armazenamento tradicionais não conseguem lidar com a quantidade de dados que é necessário armazenar, existem centenas de alternativas. Este curso tenta orientar os participantes sobre as alternativas para armazenar e analisar Big Data e quais são os seus prós e contras.

Este curso centra-se sobretudo na discussão e apresentação de soluções, embora estejam disponíveis exercícios práticos a pedido.

O curso faz parte do conjunto de habilidades do Data Scientist (Domínio: Dados e Tecnologia).

Público

Se você tentar entender os dados aos quais tem acesso ou quiser analisar dados não estruturados disponíveis na rede (como o Twitter, Linked in, etc ...), este curso é para você.

É principalmente destinado a tomadores de decisão e pessoas que precisam escolher quais dados valem a pena coletar e o que vale a pena analisar.

Não se destina a pessoas que configuram a solução, essas pessoas irão se beneficiar do quadro geral.

Modo de entrega

Durante o curso, os delegados serão apresentados a exemplos de trabalho, principalmente de tecnologias de código aberto.

Aulas curtas serão seguidas de apresentação e exercícios simples pelos participantes

Conteúdo e Software utilizados

Todo o software utilizado é atualizado cada vez que o curso é executado, por isso, verificamos as versões mais recentes possíveis.

Abrange o processo de obter, formatar, processar e analisar os dados, para explicar como automatizar o processo de tomada de decisão com o aprendizado de máquina.

R é uma linguagem de programação livre e de código aberto para computação estatística, análise de dados e gráficos. R é usado por um número crescente de gerentes e analistas de dados dentro das corporações e da academia. R possui uma ampla variedade de pacotes para mineração de dados.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como construir um Data Vault.

Ao final deste treinamento, os participantes serão capazes de:

• Entenda os conceitos de arquitetura e design por trás do Data Vault 2.0 e sua interação com Big Data, NoSQL e AI.
• Use técnicas de abóbada de dados para permitir a auditoria, o rastreamento e a inspeção de dados históricos em um data warehouse.
• Desenvolver um processo ETL (Extrair, Transformar, Carregar) consistente e repetível.
• Criar e implementar armazéns altamente escaláveis e repetíveis.

Apache Druid é um armazenamento de dados distribuído, de código aberto e orientado a colunas, escrito em Java . Ele foi projetado para ingerir rapidamente grandes quantidades de dados de eventos e executar consultas OLAP de baixa latência nesses dados. O Druid é comumente usado em aplicativos de inteligência de negócios para analisar grandes volumes de dados históricos e em tempo real. Também é adequado para alimentar painéis analíticos rápidos, interativos e para usuários finais. O Druid é usado por empresas como Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal e Yahoo.

Neste curso ao vivo, ministrado por instrutor, exploramos algumas das limitações das soluções de data warehouse e discutimos como o Druid pode complementar essas tecnologias para formar uma pilha de análise de streaming flexível e escalável. Percorremos vários exemplos, oferecendo aos participantes a chance de implementar e testar soluções baseadas em Druid em um ambiente de laboratório.

Formato do Curso

• Palestra em parte, discussão em parte, prática prática pesada, testes ocasionais para avaliar a compreensão

Big data é um conjunto de dados tão volumoso e complexo que os aplicativos tradicionais de processamento de dados são inadequados para lidar com eles. Os desafios do big data incluem a captura de dados, armazenamento de dados, análise de dados, pesquisa, compartilhamento, transferência, visualização, consulta, atualização e privacidade de informações.

Esta formação ao vivo, ministrada pelo instrutor em Portugal (online ou presencial), é direcionada a profissionais de nível iniciante que desejam dominar os fundamentos do R e como trabalhar com dados.

No final desta formação, os participantes serão capazes de:

• Compreender o ambiente de programação em R e a interface do RStudio.
• Importar, manipular e explorar conjuntos de dados usando comandos e pacotes do R.
• Realizar análise estatística básica e resumir dados.
• Criar visualizações utilizando tanto o R base quanto o ggplot2.
• Gerenciar espaços de trabalho, scripts e pacotes de forma eficaz.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a administradores de sistema que desejam aprender como configurar, implantar e gerenciar clusters Hadoop em sua organização.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apache Hadoop.
• Compreender os quatro principais componentes do ecossistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usar o HDFS (Hadoop Distributed File System) para dimensionar um cluster para centenas ou milhares de nós.  
• Configurar o HDFS para operar como mecanismo de armazenamento para implantações do Spark no local.
• Configurar o Spark para acessar soluções de armazenamento alternativas, como Amazon S3 e sistemas de banco de dados NoSQL, como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Realizar tarefas administrativas, como provisionamento, gerenciamento, monitoramento e segurança de um cluster Apache Hadoop.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) apresenta Hortonworks Data Platform (HDP) e orienta os participantes na implantação da solução Spark + Hadoop.

Ao final deste treinamento, os participantes serão capazes de:

• Usar o Hortonworks para executar Hadoop de forma confiável em grande escala.
• Unificar os recursos de segurança, governança e operações do Hadoop com os fluxos de trabalho analíticos ágeis do Spark.
• Use a Hortonworks para investigar, validar, certificar e dar suporte a cada um dos componentes de um projeto Spark.
• Processar diferentes tipos de dados, incluindo dados estruturados, não estruturados, em movimento e em repouso.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Apache Kafka no fluxo de dados com Python.

No final deste treinamento, os participantes poderão usar Apache Kafka para monitorar e gerenciar condições em fluxos de dados contínuos usando a programação Python.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a pessoas técnicas que desejam aprender como implementar uma estratégia de aprendizado de máquina enquanto maximizam o uso de big data.

No final desta formação, os participantes irão

• Compreender a evolução e as tendências do aprendizado de máquina.
• Saber como o aprendizado de máquina está sendo usado em diferentes setores.
• Familiarizar-se com as ferramentas, habilidades e serviços disponíveis para implementar o aprendizado de máquina em uma organização.
• Compreender como o aprendizado de máquina pode ser usado para aprimorar a mineração e a análise de dados.
• Saiba o que é um backend intermediário de dados e como ele está sendo usado pelas empresas.
• Entenda o papel que o big data e os aplicativos inteligentes estão desempenhando em todos os setores.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.

No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura do NiFi e os conceitos de fluxo de dados.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingerir e processar dados em tempo real de formatos de arquivos e fontes de dados diferentes e incomuns.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados e desenvolvedores que desejam usar Spark NLP, construído em cima de Apache Spark, para desenvolver, implementar e dimensionar modelos e pipelines de processamento de texto em linguagem natural.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente de desenvolvimento necessário para começar a construir pipelines de PNL com Spark NLP.
• Compreender os recursos, a arquitetura e os benefícios do uso de Spark NLP.
• Utilizar os modelos pré-treinados disponíveis em Spark NLP para implementar o processamento de texto.
• Aprender a construir, treinar e escalar modelos de Spark NLP para projectos de nível de produção.
• Aplicar classificação, inferência e análise de sentimentos em casos de uso real (dados clínicos, insights sobre o comportamento do cliente, etc.).

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a pessoas técnicas que desejam implantar o Talend Open Studio for Big Data para simplificar o processo de leitura e análise de Big Data.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Talend Open Studio para Big Data.
• Conectar-se com sistemas de Big Data, como Cloudera, HortonWorks, MapR, Amazon EMR e Apache.
• Compreender e configurar os componentes e conectores de big data do Open Studio's.
• Configurar parâmetros para gerar automaticamente o código MapReduce.
• Utilizar a interface de arrastar e soltar do Open Studio' para executar trabalhos do Hadoop.
• Prototipar pipelines de big data.
• Automatize projetos de integração de big data.