Iceberg Summit 2026のセッション「Advancing Query Performance with Iceberg Secondary Indexes」をまとめます。 Advancing Query Performance with Iceberg Secondary Indexes - YouTube スピーカー パーティションとソート順だけでは足りない理由 検討さ…
Iceberg Summit 2026のセッション「Understanding Column Statistics in v4」をまとめます。 Understanding Column Statistics in v4 - YouTube スピーカー マップベースの列統計情報が抱える課題 struct-of-struct への再設計 フィールドIDの決定的なマッピ…
Iceberg Summit 2026のセッション「Breaking the Mold: Re-thinking Iceberg Metadata Structure in v4」をまとめます。 Breaking the Mold: Re-thinking Iceberg Metadata Structure in v4 - YouTube スピーカー 固定二段メタデータツリーが抱える限界 root…
Iceberg Summit 2026のセッション「Column Families in Iceberg: Enabling Efficient Feature Updates for Wide Tables」をまとめます。 Column Families in Iceberg: Enabling Efficient Feature Updates for Wide Tables - YouTube スピーカー ML時代に変…
マルチモーダルAI向けデータフォーマットLanceの仕様を、ファイルフォーマット・テーブルフォーマット・インデックス・カタログの各層にわたって解説します。 Parquet/Icebergとの設計上の違い、ランダムアクセス最適化の仕組み、ベクトル検索インデックスの…
Apache Iceberg Meetupのセッション「Lance Integration with Apache Iceberg - Latest Progress」をまとめます。 www.youtube.com スピーカー マルチモーダルAIが突きつけるデータ規模の課題 データウェアハウスからマルチモーダルレイクハウスへ 単一デー…
OpenSearchCon Europe 2026のセッション「Boosting OpenSearch Performance: Lucene Bulk Collection and gRPC Search in Action」をまとめます。 www.youtube.com スピーカー Lucene bulk collectionが解くアグリゲーションの性能課題 JVMのメソッドインラ…
Iceberg Summit 2026のセッション「A Rusty Future: Bringing Iceberg to the Rust Data Ecosystem」をまとめます。 A Rusty Future: Bringing Iceberg to the Rust Data Ecosystem - YouTube スピーカー なぜ Iceberg Rust なのか この 1 年のコミュニティ…
OpenSearchCon Europe 2026のセッション「Beyond Hot Spots: Revolutionising OpenSearch Performance Through Heat-Aware Operations」をまとめます。 www.youtube.com スピーカー 現在のシャードアロケーションと重み関数の仕組み スケール時に崩れる前提…
Iceberg Summit 2026のパネルディスカッション「Bridging Open Source Innovation with Customer Value: A Product Perspective」をまとめます。 Bridging Open Source Innovation with Customer Value: A Product Perspective - YouTube 登壇者 自己紹介と…
OpenSearchCon Europe 2026のセッション「Keynote: Opening Remarks」をまとめます。 www.youtube.com スピーカー プラハで迎えた OpenSearch コミュニティ5周年 すべてのデータベースがベクトル対応になった市場 導入した半数、できていない半数を分けるも…
Iceberg Summit 2026の基調講演（Apache Iceberg PMCメンバー Russell Spitzer）のまとめ。V1の3つの原子的操作からV2のdelete file、V3を経て、ストリーミングとAIに対応するV4まで、フォーマットの進化とコミュニティの歩みを解説します。
OpenSearchCon North America 2025のセッション「Deep Dive Into OpenSearch Pull-Based Ingestion at Uber」をまとめます。 www.youtube.com 資料 https://static.sched.com/hosted_files/opensearchconna2025/95/%5BExternal%5D%5BOpenSearchCon%2025%20US…
2026年前半のOSS活動の途中経過。数字のサマリ、プロジェクト別の内訳、代表的な活動の紹介、AIとの付き合い方など
フォワードデプロイドエンジニア（FDE）の逆方向のワークスタイルとして『リバースデプロイドエンジニア』を提案するアイデア記事
このたび、わたしlawofcyclesはopensearch-project/opensearch-hadoopのメンテナに就任しました。 Hadoopエコシステム、中でもSparkとOpenSearchをより良く結べるように努力していく所存です。 opensearch-hadoop/MAINTAINERS.md at main · opensearch-proje…
あれやこれやと忙しくしていたら、気がつけば年末です。 2025年も大変お世話になりました。来年もよろしくお願いします。 今年は生成AIの急速な進化や、流動的な国際情勢、資本市場の不安定化など、IT業界も、それ以外の世界も変化に直面し、不確実性が加速…
Distributed Computing Advent Calendar 2025の記事です。 検索技術やOpenSearchを最近知った筆者の視点で、OpenSearchプロジェクトの面白さを様々な角度から整理して、まとめてみました。
Apache Icebergコミュニティでは、Materialized View（マテリアライズドビュー、以下MV）の仕様策定が進んでいます。PR #11041はマージに向けた最終調整段階にあり、複数のコミッターからApproveを受けています。本記事では、最新の検討状況をご紹介します。
OpenSearchCon KOREA 2025のセッション「OpenSearch as the Unified Backend: From Log Storage to Agentic Search Platform at LINE」をまとめます。LINEのSun Ro Lee氏が、1,280を超えるクラスター、10PB以上のデータを管理するOpenSearchプラットフォーム…
OpenSearchCon North America 2025のセッション「GenAIOps - OpenSearch for AI & GenAI Platform Observability」をまとめます。TransUnionのRama Pabolu氏とRamesh Kumar Manickam氏が、GenAIシステムにおけるオブザーバビリティの実装方法を解説。ベクト…
OpenSearchCon North America 2025のセッション「Mastering OpenSearch Snapshots: From Basics To Advanced Strategies - Ashish Singh & Chaitanya KSR」をまとめます。 本セッションでは、スナップショットの基本的な仕組みから、Searchable Snapshots、S…
OpenSearchCon North America 2025のセッション「Accelerating OpenSearch With Streaming: Apache Arrow, Flight, DataFusion and gRPC」をまとめます。AWSのSaurabh Singh氏とHarsha Vamsi氏が、OpenSearchのクエリエンジンを従来のバッチ処理からストリー…
OpenSearchCon North America 2025のセッション「Implementing Piped Processing Language in OpenSearch Via Apache Calcite」をまとめます。 OpenSearchのPPL（Piped Processing Language）は、V2エンジンで実装の限界、最適化不足、テスト不足といった課…
OpenSearchのML機能を試すためのツールキットopensearch-ml-quickstartの使い方を紹介します。 opensearch-ml-quickstartは、OpenSearchのML機能をローカル環境で手軽に試せるPythonツールキットです。Docker Composeでクラスタを起動し、Amazon PQAデータセ…
OpenSearchCon North America 2025のセッション「From Bug To PR: Turning Customer Pain Points Into Upstream Contributions」をまとめます。 NetApp InstaclusterのBrian GrafとAlex Bundayが、顧客が抱える課題やバグを発見してから、それをトリアージし…
OpenSearchCon North America 2025のセッション「Growing a Vibrant Open Source OpenSearch Community in China」をまとめます。 Charlie Yang氏が、中国におけるOpenSearchコミュニティの成長について語りました。コミュニティミートアップでの試行錯誤や…
OpenSearchは、基本的にJSONベースの[DSL(query domain-specific language)](https://docs.opensearch.org/latest/query-dsl/)によってデータを検索します。 一方で、[SQLやPPL](https://docs.opensearch.org/latest/search-plugins/sql/index/)による検索も…
主に検証を目的にOpenSearchをコンテナで動かす際のメモ。
OpenSearchCon North America 2025のセッション「Next-Gen Search: How Uber and the OpenSearch Community Built a Cloud Native 3.0」をまとめます。 UberがOpenSearch Software Foundationの創設メンバーとして、サーバーレス/クラスターレスなOpenSearch…
