OTF Talk

About OTF Talk

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 (host: @simosako) https://www.otftalk.com/

Publisher

Akira Shimosako

Category

technology

Language

ja

Explicit

No

First episode

30 Jul 2024

Latest episode

24 Mar 2026

Latest episodes

36 episodes in the feed.

1. 

   24 Mar 2026

   #36 Apache HiveからみたOpen Table Format (OTF)

   OTF Talk 第36回は、Apache Hive PMCメンバーのおくみんさんに「Apache HiveからみたOTF」についてお話をうかがいました。 Apache Hiveとは何か/Apache Hiveへの貢献とPMC/HiveとOpen Table Format/Apache Iceberg対応/Apache Hiveコミュニティ OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: guest：@okumin おくみん Apache Hive PMC メンバー / Treasure Data ソフトウェアエンジニア host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） おくみんさん Xアカウント - https://x.com/okumin Apache Iceberg活用入門 オープンテーブルフォーマットによるデータレイク＆データレイクハウス (書籍) https://book.impress.co.jp/books/1124101072 Apache HiveとIceberg: 2025年春 (おくみんさんによる、HiveのIceberg関連プロジェクト解説) https://blog.okumin.com/entry/2025/05/30/110000 -------------------- ※AI生成の目次です。ご参考までに。 [00:00] ゲスト紹介とHive PMCとしての活動 ゲストのおくみんさん（トレジャーデータ）は、約10年のビッグデータ歴を持ち、Apache HiveのPMCメンバーとして開発を主導している。 共著（寄稿）した書籍『Apache Iceberg活用入門』の話題。 [05:22] Apache Hiveとは何か？ モダンな構成への変化 Hiveは「メタストア」と「SQLクエリエンジン」の2つの主要コンポーネントで構成される。 実行エンジンはMapReduceからApache TezやLLAPへ移行し、高速化を実現している。 [11:13] Open Table Format（OTF）とHiveの親和性 HiveはApache Icebergを強力にサポートしており、Sparkに次ぐ機能網羅性を誇る。 カタログ機能だけでなく、データのコンパクション（最適化）やクリーンアップなどのメンテナンス機能もHive単体で完結できる「Best of Suite」としての利点。 [16:47] 最新の開発トピック：KubernetesとIceberg v3 HelmチャートによるKubernetesへのデプロイ対応が進んでおり、インフラ管理が容易になりつつある。 Iceberg v3スペックへの対応や、複数テーブルを跨ぐトランザクション機能の実装が進んでいる。 [25:31] Hiveコミュニティの熱量と今後の展望 100名以上のコミッターが在籍し、AI時代やデータレイクハウスの進展に合わせて今なお熱意を持って進化し続けている。

2. 

   16 Dec 2025

   #35 ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証

   OTF Talk 第35回は、Repro チーフアーキテクトの joker1007さんに「ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証」についてお話をうかがいました。 既存環境の課題/Icebergでデータとコンピュートを分離する/データ更新と参照ラグ/コンパクションの課題と工夫/今後の展望 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: guest：@joker1007 Repro チーフアーキテクト host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 -------------------- 参考） joker1007さんXアカウント - https://x.com/joker1007 ReproでのApache Icebergの技術検証結果 https://tech.repro.io/entry/2025/11/13/161646 前回のOTF Talkでのご出演 - Hudiの話 (#19, #20) https://www.otftalk.com/2024/11/ep9.html 前回検証結果のブログ https://tech.repro.io/entry/2024/10/28/170721

3. 

   28 Oct 2025

   #34 Apache Kafka と Open Table Format

   OTF Talk 第34回はConfluent 清水 亮夫 さんに、「Apache Kafka と Open Table Format」についてお話をうかがいました。 リアルタイム処理とOTF/Kafkaの特徴/Kafkaと他システムとの連携/Kafka Connector/Iceberg Sink Connectorの機能と注意点 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest: Confluent ソリューションエンジニアの清水 亮夫 さん host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） 清水さん X https://x.com/shmza Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/ 発表資料 https://speakerdeck.com/shmza/kafkawoli-yong-sitaiceberghenodetasutorimingu Apache Kafka https://kafka.apache.org/ Kafka connectors https://docs.confluent.io/platform/current/connect/kafka_connectors.html Apache Iceberg Sink Connector https://github.com/apache/iceberg/tree/main/kafka-connect Kafka-delta-ingest https://github.com/delta-io/kafka-delta-ingest