Apache Iceberg Table Spec v3の新機能である「Row Lineage Tracking」を紹介します

導入 サンプルデータ準備 Icebergカタログを作成する Icebergテーブルを作成する Namespaceを参照 テーブルをロードしてみる 列を追加してみる 導入 pip install --upgrade pip pip install "pyiceberg[s3fs,hive]" 用途に応じて以下を依存関係に加えられま…

Current 2024 のセッション「Change Data Capture & Kafka How Slack Transitioned to CDC with Debezium & Kafka Connect」を日本語でまとめます。 Slackは 1 テーブルで 1 兆レコードを超える莫大なデータを効率的かつリアルタイムに分析基盤に取り込むた…

Iceberg Summit 2024 のセッション「Table Encryption in Apache Iceberg」を日本語でまとめます。

Iceberg Summit 2024 のセッション「eBay's Voyage with Apache Iceberg」を日本語でまとめます。

Subsurface 2024 のセッション「Beyond Tables: What's Next for Apache Iceberg in Data Architecture」を日本語でまとめます。 Apache Icebergの産みの親の一人であり、Tabularの共同創設者兼CEOであるRyan Blue氏がApache Icebergの現状と将来について話…

Subsurface 2024 のパネルディスカッション「Keynote Panel: Looking Forward-Apache Iceberg and the Iceberg Ecosystem」を日本語でまとめます。 本パネルディスカッションでは、Icebergコミュニティと関連プロジェクトの専門家が集まり、Icebergの進化と…

2024/3/11、Iceberg 1.5がリリースされた。Iceberg 1.5で追加された重要な機能の一つがviewのサポートだ。本記事では、Iceberg viewの仕組みと機能を紹介しつつ、実践的な活用例としてcreate_changelog_viewについて解説する。

本記事ではIceberg 1.5のアップデート内容を紹介する。 記事内容はリリースノートと、各アップデートのPR、コードを基に作成した。 https://iceberg.apache.org/releases/

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 11.The Future of Data Engineering」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 全体の…

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 10. Security and Privacy」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 セキュリティと…

J.P.Morgan Asset ManagementのAWS re:Invent 2023での登壇「One data platform for reporting, analytics, and ML」の視聴メモ エントリ内の情報や図版は特に断りがない限り、youtube上の当該発表を基にしている www.youtube.com 概要 J.P.Morgan Asset Man…

セルフホストなRAGアプリケーションを構築する意義と基本的なアプローチを紹介します。また、設計面での最適化についていくつかのアイデアを示します。