Episódio 024: Engenharia de Dados... e põe dados nisso!

Nesse episódio conversamos com o Ricardo Paiva, engenheiro de dados que trabalha com com dados que acumulam mais rápido que aviões supersônicos! Venha entender o que faz um engenheiro de dados, o que difere essa profissão de um cientista de dados e quando uma otimização de alguns porcentos pode gerar um lucro imenso quando se lida com milhões de dados por segundo! Agradecimento especial aos nossos Parceiros Esse episódio não seria possível sem o apoio especial dos nossos parças do Data Bootcamp, o maior bootcamp de Data Science do Brasil! Aprenda a organizar, extrair e interpretar os dados da sua empresa com as tecnologias mais avançadas usadas no mercado. Confira as datas dos próximos cursos no calendário. Os padrinhos desse episódio Esse episódio não teve padrinhos. Se você quiser apadrinhar episódios do Pizza manda um e-mail pra gente. Tópicos abordados neste episódio Quem é e o que faz o nosso convidado? Quais são os principais problemas de trabalhar com um volume de dados gigantesco? O que faz um time de engenharia de dados? Como se organizam os times de engenharia em um ambiente de muitos dados? O que diferencia um Engenheiro de Dados e um Cientista de Dados? O que uma pessoa precisa estudar para trabalhar com engenharia de dados? Escute agora Pessoas nesse episódio Leticia Portella Twitter Jessica Temporal Twitter Gustavo Coelho Twitter Ricardo Paiva Canal do YouTube Apoie o pizza: Nós também temos uma campanha de financiamento recorrente para ajudar a pagar a edição dos episódios. Se você gosta do nosso trabalho considere doar.   Apoiar o Pizza Links Coisas que mencionamos durante esse episódio: #PerguntaProPizza Telegram do Pizza Python Brasil Conferência Web.br Blog do Rladies Paco Nathan - Passado e Futuro da AI Engenharia de Dados Curso Online de Big Data do Ricardo Big Data Criteo Pipeline Ingestão de Dados HDFS Hbase E-commerce Excel SQL Cluster Hadoop Big Data Data Lake JSON Schema Protobuff Aprendizado de máquina / Machine Learning Sampling - Amostragem Join ou União de Dados Banco de Dados  Petabytes Kafka Javascript XML Formatos binários Avro  Buffer Barramento / Filas Bancos de Dados Relacional DBA Governança de Dados Inteligência Artificial Empresa de Capital Aberto Universidade de Sorbonne Parquet Ciência de Dados SRE - Site Reliability Engineering  Otimização Spark PySpark  Análise Ad-Hoc Latência Resiliência Aplicação Web Métricas Logs Post Mortem  Data Centers VPN Iterações Hive Prestor Streaming Processamento em lote ou Processamento em batch Framework  Flink Kafka Stream Scala Oracle Database MySQL Linguagem R Python YARN JVM AliBaba Spark Streaming Análise Assintótica Série de Taylor Great Expectations Teste A/B RegEx Instituto InfNet RegexR Regex101 Serenata Pérolas?! Temos muitas Queijo aqui é uma ciência! Não é pra amador Só de escutar uma tabela de excel crescendo assim eu já travei! É big data MESMO Data Reliability Engineering! Dá até um ruim só de pensar O cara que contava o quanto a gente já tinha perdido com aquele incidente! Estou sofrendo e nem é comigo Acho que é um pouco melhor que o médico! Consegue dormir o sono dos justos! De tudo o que você falou, o que mais me impressionou é que você ainda tem telefone fixo Se processou o dado e coube na memória… não é big data A complexidade dos coisinhos que você tá fazendo Você não pode olhar regex de longe, se olhar de longe de assusta! Edição Esse episódio foi editado pelo Johnny. Valeu Johnny! Escute: