【Iceberg 1.5新機能】viewの紹介 - 共通メタデータ形式とバージョン管理が実現する新たな可能性

2024/3/11、Iceberg 1.5がリリースされた。Iceberg 1.5で追加された重要な機能の一つがviewのサポートだ。本記事では、Iceberg viewの仕組みと機能を紹介しつつ、実践的な活用例としてcreate_changelog_viewについて解説する。

2024-03-17

Apache Iceberg 1.5 アップデートまとめ

本記事ではIceberg 1.5のアップデート内容を紹介する。記事内容はリリースノートと、各アップデートのPR、コードを基に作成した。 https://iceberg.apache.org/releases/

2024-02-20

Fundamentals of data engineering 輪読会「Chapter 11.The Future of Data Engineering」まとめ

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 11.The Future of Data Engineering」のまとめ。以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。全体の…

2024-02-18

Fundamentals of data engineering 輪読会「Chapter 10.Security and Privacy」まとめ

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 10. Security and Privacy」のまとめ。以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。セキュリティと…

2024-02-13

J.P.Morgan Asset Managementのデータ分析 / MLプラットフォーム「AM IQ」についてのメモ

J.P.Morgan Asset ManagementのAWS re:Invent 2023での登壇「One data platform for reporting, analytics, and ML」の視聴メモエントリ内の情報や図版は特に断りがない限り、youtube上の当該発表を基にしている www.youtube.com 概要 J.P.Morgan Asset Man…