こんにちは、コンサルティング本部、新卒1年目の水﨑です。
db tech showcase 2025 2日目の[D18]のセッションである「データ基盤の未来を拓く！30 分でわかるApache Iceberg」のレポートをお届けします。

セッション概要

分析やダッシュボードのためにRDBMSのデータをデータレイクに蓄積して、ニーズに応じたツールから利用するアプローチは今日では一般的になっています。Apache Icebergは、こうしたストレージ上のデータを効率的に管理し、データベースのようなSQLベースの操作で扱うことを可能にするオープンテーブルフォーマットです。Icebergを活用することで、RDBMSからのCDCやデータベース側のスキーマ変更への対応などの高度な要件に柔軟に対応できます。
本セッションでは、Icebergの概要を紹介しながら、それが次世代のデータ基盤に持ち得る意義についてお話します。また、アプリケーションのデータベースからIcebergベースの基盤へデータを収集する際のアプローチについてもご紹介します。データ管理の新しい選択肢としてのIcebergの特徴と活用シーンを30分でご理解いただけます。

スピーカー名：
アマゾンウェブサービスジャパン合同会社
サービス&テクノロジー事業統括本部
Data & AI ソリューション本部
アナリティクススペシャリスト
ソリューションアーキテクト
疋田 宗太郎 様

はじめに

大量のデータを蓄積・分析できるデータレイクは、現代のデータ活用に不可欠な存在ではないでしょうか。しかし、従来のデータレイクはパーティション単位での管理が基本であるため、その運用において「データの更新」や「スキーマ変更への追随」、「一貫性の担保」といった課題が存在しました。

本セッションで紹介された「Apache Iceberg」は、こうした課題を解決する「オープンテーブルフォーマット」です。まるでデータベースのテーブルのように、ストレージ上のデータをSQLライクに、そして柔軟に扱うことを可能にします。なぜ Iceberg は「データ基盤の未来を拓く」のか。本レポートでは、新卒の私なりにこのセッションで感じた Iceberg の魅力と、その可能性についてお伝えできればと思います。

セッション内容まとめ

• 従来のデータレイクが抱える課題
  まず、データレイクが抱える根本的な課題として、データの変更、更新、一貫性、整合性の担保が難しい点が挙げられました。これはデータがパーティションという大きな単位で管理されていることに起因します。この課題を解決し、ストレージベースの利点を活かしながらデータ管理を効率化する技術として、Apache Iceberg が紹介されました。
  
• Apache Iceberg のメリット
  Iceberg の主な利点として「速い」「便利」「オープン」の3点が挙げられました。これらの利点は、メタ情報を活用して不要なデータスキャンを回避することによる高速性、データベースのように振る舞いスキーマ変更にも柔軟に対応できる利便性、そして特定のベンダーに縛られないオープンソースのテーブル形式といった、Iceberg が持つ具体的な特徴を表現しています。
  
• なぜ速くて便利？ Iceberg を支えるツリー構造
  Iceberg の利便性を支えているのが、そのデータ構造です。データは「カタログ」「メタデータ」「実データ」という階層的なツリー構造で管理されています。これが「スキーマの進化」を可能にし、データレイクの運用を劇的に柔軟にします。また、この仕組みは、過去の特定の状態に遡ってデータを確認できる「タイムトラベル」も可能にしています。
  
• AWSサービスで実現する Iceberg 活用
  Iceberg を実際にどう活用するかについて、AWS のサービスを用いたアーキテクチャを交えて紹介されました。例えば、Amazon Data Firehose のようなサービスを使うことで、ストリーミングデータを効率的に Iceberg 形式でデータレイクに収集・蓄積できることが示されました。一方で、Iceberg はあくまでテーブルの「仕様」であり、RDBMSの代替になるものではないという留意点も述べられました。

聴講した感想

新卒1年目の私にとって、データレイクやその周辺技術は学び始めたばかりの分野です。しかし、疋田様の説明は非常に明快で、情報量が詰まっているにもかかわらず、驚くほどすんなりと頭に入ってきました。まさに「30分でわかる」というセッションタイトル通りの内容でした。

特に印象的だったのは、「従来のデータレイクの課題」から「Icebergによる解決」というストーリーです。なぜ Iceberg が必要なのかという背景から説明してくださったので、その後の技術的な仕組みも「なるほど、あの課題を解決するためなのか」と納得しながら聞くことができました。また、AWS の具体的なサービス名を挙げてアーキテクチャを解説していただいたので、Icebergという一つの技術だけでなく、データがどのように流れ、どのように活用されていくのかというデータ基盤全体の像を掴むことができました。

これからデータ基盤に携わる者として、Apache Iceberg は知っておくべき重要な技術であると確信できた非常に有意義な30分でした。