Bering Note – formerly 流沙河鎮

情報技術系のこと書きます。

OpenSearchCon Europe 2025「OpenSearchとLLMを活用したApache Sparkのログ分析 - Satej Sahu, Zalando」

OpenSearchCon Europe 2025のセッション「Unifying Diverse Logs in Big Data Systems for Seamless Analysis and Action with OpenSearch and LLMs」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りが…

OpenSearchCon 2022「並行処理とマージポリシーで検索を高速化しよう - Andriy Redko, Aiven」

OpenSearchCon 2022のセッション「Concurrency and Merge Policies to the Rescue」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは? Concurrency and Me…

OpenSearchCon North America 2024「OpenSearch, Python, Serverlessの探索 - Laysa Uchoa&Yuliia Barabash, Nordcloud」

OpenSearchCon North America 2024のセッション「Exploring OpenSearch, Python, and Serverless」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは? Expl…

OpenSearchCon North America 2024「Data Prepperを用いたデータベースへの検索の実現 - Taylor Gray&Dinu John, AWS, Data Prepper Maintainer」

OpenSearchCon North America 2024のセッション「Enabling Search on Databases with Data Prepper」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは? En…

OpenSearchCon North America 2024「OpenSearchクラスターが自分自身を監視する方法 - Sokratis Papadopoulos, CERN」

OpenSearchCon North America 2024のセッション「Let your OpenSearch cluster monitor itself」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは? Let yo…

Apache Icebergにおける同時実行制御の仕組みと注意点

Apache Icebergテーブルはテーブル単位のトランザクション分離レベルとしてSERIALIZABLEとSNAPSHOTをサポートしています。(デフォルトはSERIALIZABLE).つまり、同時に複数のトランザクションが同じテーブルに書き込んだ場合でもデータの一貫性を確保できま…

Apache Iceberg Table Spec v3 新機能「Row Lineage Tracking」の紹介

Apache Iceberg Table Spec v3の新機能である「Row Lineage Tracking」を紹介します

PyIcebergを試す

導入 サンプルデータ準備 Icebergカタログを作成する Icebergテーブルを作成する Namespaceを参照 テーブルをロードしてみる 列を追加してみる 導入 pip install --upgrade pip pip install "pyiceberg[s3fs,hive]" 用途に応じて以下を依存関係に加えられま…

Current 2024「DebeziumとKafka ConnectによってSlackは如何にしてCDCへ移行したか」まとめ

Current 2024 のセッション「Change Data Capture & Kafka How Slack Transitioned to CDC with Debezium & Kafka Connect」を日本語でまとめます。 Slackは 1 テーブルで 1 兆レコードを超える莫大なデータを効率的かつリアルタイムに分析基盤に取り込むた…

Iceberg Summit 2024「Apache Iceberg におけるテーブル暗号化」セッションまとめ

Iceberg Summit 2024 のセッション「Table Encryption in Apache Iceberg」を日本語でまとめます。

Iceberg Summit 2024「eBayでのApache Iceberg導入の旅」セッションまとめ

Iceberg Summit 2024 のセッション「eBay's Voyage with Apache Iceberg」を日本語でまとめます。

Subsurface 2024「テーブルを超えて:データアーキテクチャにおけるApache Icebergの次なるステップ」まとめ

Subsurface 2024 のセッション「Beyond Tables: What's Next for Apache Iceberg in Data Architecture」を日本語でまとめます。 Apache Icebergの産みの親の一人であり、Tabularの共同創設者兼CEOであるRyan Blue氏がApache Icebergの現状と将来について話…

Subsurface 2024「Apache Icebergの未来とエコシステムの展望」パネルディスカッションまとめ

Subsurface 2024 のパネルディスカッション「Keynote Panel: Looking Forward-Apache Iceberg and the Iceberg Ecosystem」を日本語でまとめます。 本パネルディスカッションでは、Icebergコミュニティと関連プロジェクトの専門家が集まり、Icebergの進化と…

【Iceberg 1.5新機能】viewの紹介 - 共通メタデータ形式とバージョン管理が実現する新たな可能性

2024/3/11、Iceberg 1.5がリリースされた。Iceberg 1.5で追加された重要な機能の一つがviewのサポートだ。本記事では、Iceberg viewの仕組みと機能を紹介しつつ、実践的な活用例としてcreate_changelog_viewについて解説する。

Apache Iceberg 1.5 アップデートまとめ

本記事ではIceberg 1.5のアップデート内容を紹介する。 記事内容はリリースノートと、各アップデートのPR、コードを基に作成した。 https://iceberg.apache.org/releases/