Полуночный трёп №12: Data Mesh - почему, что и как.

Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50 Тайминги 0:00:00-0:01:35 Intro. Почему именно эта тема 0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️ . Data Lake. Data Hoarding (дата скопидомство) 0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям. 0:26:33 - 0:33:50 Что в классическом подходе может пойти не так? 0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports. 0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе. 1:00:01 -  1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo 1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow. 1:13:26 - 1:32:50  Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги. 1:32:50 - 1:33:55 Outro Ссылки Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8 Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2 Инструменты не влазят в лимиты описание, поэтому они вот. Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter Музыка подкаста: Harris Heller - StreamBeats