[EaD] Treinamento Big Data Engineer | Academy - 110h

O curso é voltado para programadores, analistas de dados ou cientistas/engenheiros da computação interessados em ingressar no mercado de Big Data.

A Semantix Academy, especialista nacional em soluções de Big Data, IA e IoT, está com inscrições abertas para seu curso online gratuito Treinamento Big Data Engineer. São 100 vagas disponíveis para as videoaulas.


ESTÃO ABERTAS AS INSCRIÇÕES PARA O NOSSO PROGRAMA DE FORMAÇÃO BIG DATA ENGINEER que será ministrado através do nosso SEMANTIX ACADEMY!

Você possui interesse em aprender as Techs mais atuais do mercado? Chegou o seu momento!

Nossa missão é impactar bilhões de vidas com dados. Venha compartilhar desse sonho conosco! Aqui na Semantix enxergamos que, com dedicação e senso de dono, todos tenham capacidade de crescimento. O Semantix Academy abre um leque de novas possibilidades para aqueles que já estão inseridos, ou desejam mergulhar no universo Big Data.

Os treinamentos serão publicados através da plataforma Semantix Academy Online, sendo disponibilizados do dia 19/04/2021 até 02/07/2021, de segunda a sexta-feira. Vale lembrar que, toda segunda-feira será realizada uma aula ao vivo para sanar dúvidas.

A seleção de alunos será pela plataforma Gupy, onde será disponibilizado uma etapa online para a validação de conhecimentos.

Nossas aulas serão ministradas por quem é referência na Semantix. No programa de formação você irá aprender os conceitos Big Data, e durante o treinamento você passará por alguns desafios para auxiliar em sua avaliação.

Ao final da capacitação você poderá ser internalizado pela Semantix, atuando em nossos principais produtos, ou dentro dos nossos clientes. Vem voar com a gente! 🚀


RESPONSABILIDADES E ATRIBUIÇÕES

Conteúdo programático semanal:

O Treinamento tem duração de 10 semanas e formado por 6 módulos, com a seguinte divisão:


Big Data Foundations (Semana 1 e 2):

• Conhecimento de ferramentas atuais no mercado de Big Data;
• Criação e funcionamento de um cluster Hadoop para Big Data em Docker;
• Manipulação de dados com HDFS;
• Manipulação de dados com uso do Hive;
• Otimização de consultas em grandes volumes de dados estruturados e semiestruturados com uso de Hive;
• Ingestão de dados relacionais para o HDFS/Hive, com uso do Sqoop;
• Otimização de importação no Sqoop;
• Exportação de dados do HDFS para o SGBD, com uso do Sqoop;
• Manipulação de dados com HBase;
• Operações com Dataframe em Spark para processamento de dados em batch;
• Uso do Spark SQL Queries para consultas de dados estruturados e semiestruturados.

MongoDB - Básico (Semana 3):

• Entendimento de conceitos e arquitetura NoSQL e MongoDB;
• Instalação de cluster MongoDB através de container e Cloud;
• Manipular coleções, documentos e índices;
• Realizar diversas pesquisas no MongoDB com diferentes operadores;
• Fazer uso das interfaces gráficas MongoExpress e MongoCompass;
• Trabalhar com pipeline de agregações;
• Entendimento de Replicação e shards.

Redis – Básico (Semana 4):

• Entendimento de conceitos e arquitetura NoSQL e Redis;
• Instalação de cluster Redis através de container;
• Manipulação de diversos tipos de estrutura de dados com Redis-CLI;
• Implementar paradigma de mensagens Pub/Sub;
• Configurações básicas de persistência de dados.

Apache Kafka – Básico (Semana 5):

• Entendimento de conceitos e arquitetura do Kafka e da Confluent;
• Instalação de cluster Kafka através de container;
• Gerenciamento de tópicos;
• Produção e consumo de dados através do console;
• Entendimento das guias do Control Center;
• Desenvolvimento de stream com uso do KSQL;
• Aplicação de KSQL Datagen;
• Produção e consumo de dados com uso do Schema Registry;
• Trabalhando com Kafka Connect;
• Custos com Confluent Cloud;
• Otimização de parâmetros;
• Melhores práticas em um cluster Kafka.

Elastic Essential I (Semana 6 e 7):

• Entendimento de conceitos e arquitetura da Elastic;
• Instalação de cluster Elastic através de container;
• Realizar operações de CRUD em índices;
• Gerenciamento de índices;
• Alteração de mapeamento e reindex;
• Desenvolvimento de consultas do tipo term, terms, range, match e multi_match, com uso de bool query;
• Aplicação de analyzers em atributos;
• Desenvolvimento de agregações básicas;
• Ingestão de dados através de beats e logstash;
• Entendimento das guias do Kibana;

Spark - Big Data Processing (Semana 8, 9 e 10)

• Uso do Jupyter Notebooks para a criação de projetos em Spark com Python
• Spark batch intermediario
• Operações com RDD em Spark para processamento de dados em batch;
• Uso de Partições com RDD;
• Operações com Dataset em Spark para processamento de dados em batch;
• Uso de Dataset em Dataframe e RDD;
• Comandos avançados com Dataset;
• Uso do IntelliJ IDEA para a criação de projetos em Spark com Scala;
• Struct Streaming para leitura de dados do Kafka;
• Spark Streaming para leitura de dados do Kafka;
• Otimizações com uso de Variáveis Compartilhadas;
• Criações de User defined Function;
• Configurações de Tunning para o Spark Application.

REQUISITOS E QUALIFICAÇÕES

O que você precisa saber:

• Conhecimento intermediário de pelo menos uma destas linguagens:
• Python (Preferivel);
• Scala;
• Java.
• Conhecimento intermediário em SQL;
• Conhecimento básico em Git.

Computador necessário para o treinamento:

- Sistema Operacional de 64 bits

- Memória RAM de 8 GB

- Acesso a internet

- HD com no mínimo 30 GB de espaço livre


INFORMAÇÕES ADICIONAIS

Sobre o Programa de Formação:

Público-alvo: Programador, analista de dados ou cientista/engenheiro da computação que esteja interessado em ingressar no mercado na área de Engenharia para Big Data;

Plataforma: Semantix Academy Online

Formato: Vídeo aulas, com teoria e exercícios práticos;

Dias e Horário:

• O treinamento estará disponível a partir das 19h do dia 19/04;
• Aulas disponíveis de segunda a sexta as 19h;
• Toda segunda às 19h encontro ao vivo para tirar dúvidas;
• Cada aula tem duração de aproximadamente 2 horas.

Interação com os alunos e professor através de e-mails e fóruns de dúvidas;

Carga Horária: 110 Horas


O aluno perderá o acesso ao treinamento, nestes casos:

• Se não concluir o módulo do treinamento conforme o conteúdo programático;
• Se a nota da avaliação do módulo for interior a nota mínima estipulada.

Após a conclusão:

• Após conclusão de cada módulo do treinamento, o aluno irá obter uma insígnia online (badgr.com/p...Ww), caso conclua 100% do módulo e tire uma nota superior a 7 na avaliação.
  
  
  Notícia: olhardigital.com.br/2...ta