Databricks como Plataforma de Lakehouse para Times de Dados
from Engenharia de Dados [Cast] Hosted by Luan Moreno, Mateus Oliveira & Rodrigo Oliveira
Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Rodrigo Oliveira, atualmente como Arquiteto de Solução na Databricks. Databricks é uma plataforma de linguagem unificada que tem como motor de processamento o Apache Spark, possibilitando o processamento de dados em batch e streaming em um serviço gerenciado presente nas principais nuvens (AWS, Azure e GCP). Além disto, o Databricks proporciona: Experiência de Notebook Avançada Workspace para Times de Dados Criação de Clusters para o seu Use-Case Plataforma de Desenvolvimento de Pipelines Nesse bate papo foi feito a abordagem dos seguintes temas: Apache Spark (Open-Source) Delta Lake (Open-Source) Data Lakehouse Unity Catalog Workflows Delta Live Tables (DLT) Databricks SQL Snowflake vs. Databricks Entenda melhor como utilizar o Databricks em um ambiente corporativo para colaboração entre os times de dados, além de uma solução de fácil desenvolvimento e entrega de valor para sua empresa, se tornando cada vez mais uma plataforma de dados. Rodrigo Oliveira Databricks Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram
Embed this episode
What this episode covers
Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Rodrigo Oliveira, atualmente como Arquiteto de Solução na Databricks. Databricks é uma plataforma de linguagem unificada que tem como motor de processamento o Apache Spark, possibilitando o processamento de dados em batch e streaming em um serviço gerenciado presente nas principais nuvens (AWS, Azure e GCP). Além disto, o Databricks proporciona: Experiência de Notebook AvançadaWorkspace para Times de DadosCriação de Clusters para ...
Chapters
- 1:58 Introdução - Rodrigo Oliveira
- 4:49 Hoje qual é a sua visão para o mundo de engenharia de dados?
- 7:30 Existe uma crescente no mundo dos times de dados, algo mais unificado, faz sentido esse movimento?
- 7:32 Existe uma crescente no mundo dos times de dados, algo mais unificado, faz sentido esse movimento?
- 12:08 Qual foi a sua primeira impressão ao trabalhar com Databricks?
- 15:33 Por que o Apache Spark é tão famoso no meio de engenharia de dados? Quais problemas ele resolve?
- 19:57 Para vocês qual é a principal feature do Apache Spark, o que o torna diferencial?
- 24:42 Qual é a maior dificuldade hoje para quem está começando a trabalhar com Apache Spark?
- 33:56 -Quais use case não devemos usar Apache Spark ou são melhores resolvidos com outras tecnologias?
- 38:10 O que é esse tal de Data Lakehouse? Por que está revolucionando o mundo de dados?
- 43:28 Quais features vocês acreditam que serão mais aceleradas em 2023?
- 51:29 hoje no mercado profissionais, as certificações da Databricks são bem vistas além de diferenciais para certas oportunidades?
- 54:30 O que é o Databricks SQL?
- 1:00:31 SQL se comparamos com outras opções de mercado?.
- 1:00:45 SQL se comparamos com outras opções de mercado?
No transcript yet.