Механизмы DataOps What is DataOps? And How To Not Screw It Up (https://www.montecarlodata.com/blog-dataops-and-the-future-of-the-modern-data-stack/#what-is-dataops), отличаются ли они от Data Governance. Мы обсудили практики работы с данными, нашли аналогии и различия с DevOps.
7 Sept 2022
#010 Solving security problems with Data Mesh
Обсудили статью Data Mesh / Data Product Security Pattern (https://towardsdatascience.com/data-mesh-data-product-security-pattern-c5b93a27e82e) в которой Data Mesh рассматривается с новой стороны, как подход в котором удобно защищать данные и можно выстроить периметры data продуктов, а так же следить какие чувствительные данные кто из коллег запрашивает.
6 Jul 2022
#009 State of Data Engineering 2022
Ребята из lakeFS нарисовали красивую картинку про State of Data Engineering 2022 (https://lakefs.io/the-state-of-data-engineering-2022/), а мы её упомянули в дайджесте #20 (https://digest.deordie.org/20_Fantastic_Beasts_And_Where_To_Find_Them/). С этой картинкой всё совсем непросто, так что там прямо есть что обсудить, а можно и что-то новое узнать!
25 May 2022
#008 Replicated Log And Consensus
Одна из самых сложных штук в распределённых системах — распределённый консенсус, кворум, консенсус и всё вокруг них. На удивление у нас нет общего видения того, как правильно и поэтому не только рассказываем, но и выясняем истину по ходу дела.
15 Dec 2021
#007.5 Modern Data Stack
Здесь мы обсуждаем статью How The Modern Data Stack Is Reshaping Data Engineering (https://preset.io/blog/reshaping-data-engineering/) из дайджеста #15 (https://digest.deordie.org/15_The_good_the_bad_the_ugly_and_AWS/)
24 Nov 2021
#007 Future of Data Engineering
Здесь мы обсуждаем статью The Future of the Data Engineer (https://towardsdatascience.com/the-future-of-the-data-engineer-4dcfa53800ab/) из дайджеста #14 (https://digest.deordie.org/14_NullPointerException/)
Is the data engineer still the “worst seat at the table?” Thoughts on the past, present, and future of tooling, processes, and culture in our industry.
22 Oct 2021
#006 Smartdata Edition
Разговариаем про всякое — и про худи, и про DWH, и про DataLake, и про C# с LINQ'ом
29 Sept 2021
#005 Why Not Airflow
Здесь мы обсуждаем статью Why you should try something else than Airflow for data pipeline orchestration (https://towardsdatascience.com/why-you-should-try-something-else-than-airflow-for-data-pipeline-orchestration-7a0a2c91c341/) из дайджеста #12 (https://digest.deordie.org/12_Become_an_open_source_star/)
1 Sept 2021
#004 Lineage
Здесь мы обсуждаем статью 4 Things You Need to Know When Solving for Data Quality (https://slack.engineering/data-lineage-at-slack/) из дайджеста #10 (https://digest.deordie.org/10_Slack_time/)
К нам присоединяется Сергей Ярымов, вместе с которым мы говорим про лайнэйдж, зачем он нежен, кто как его делает и, в частности, как его делает Slack.
В процессе выпуска всплыл тул sqlglot (https://github.com/tobymao/sqlglot) — парсер и транспайлер SQL, написанный на голом пайтоне.
7 Aug 2021
#003 Qualified
Здесь мы обсуждаем статью 4 Things You Need to Know When Solving for Data Quality (https://towardsdatascience.com/4-things-you-need-to-know-when-solving-for-data-quality-4abf6d31b2c9) из дайджеста #7 (https://digest.deordie.org/08_4_things_and_5_more_reasons/)
В целом обсуждаем TDD, тестирование данных и другие аспекты жизни дата инжинера, связанные с качеством
28 Jul 2021
#002 Ever Changing
По мотивам дайджеста #7 (https://digest.deordie.org/07_Late_arriving_digest/)
Hudi, Iceberg and Delta Lake: Data Lake Table Formats Compared (https://lakefs.io/hudi-iceberg-and-delta-lake-data-lake-table-formats-compared/)
Apache Kafka Rebalance Protocol, or the magic behind your streams applications (https://medium.com/streamthoughts/apache-kafka-rebalance-protocol-or-the-magic-behind-your-streams-applications-e94baf68e4f2)
Big Data World, Part 4: Architecture (https://lakefs.io/hudi-iceberg-and-delta-lake-data-lake-table-formats-compared/)
14 Jul 2021
#001 Pilot
Здесь мы обсуждаем статью и видео по мотивам недавно прошедшего Data Quality Meetup #4 (https://www.datafold.com/blog/data-quality-meetup-4/) из дайджеста #6 (https://digest.deordie.org/06_Pipeline_vibes/)
Представляемся
Разговариваем про тестирование пайплайнов
Проблемы фейковых данных:
Закономерности
Правила генерации
Опаздывающие данные
Lineage
Metadata Management
SmartData (https://smartdataconf.ru)
Contact DE or DIE: talks
Guest appearances
Books guests
Based on episode analysis; this does not confirm that the show is currently accepting guests.
Host of DE or DIE: talks?
Claim your podcast to manage its listing and keep your show details accurate.
Pod Engine is an independent podcast discovery and analytics service and is not affiliated with or endorsed by this podcast. Artwork and show content belong to their owners. Full legal notice.
Explore this show Podcast research with Pod Engine
