OpenSearchCon North America 2025のセッション「Mastering OpenSearch Snapshots: From Basics To Advanced Strategies - Ashish Singh & Chaitanya KSR」をまとめます。 本セッションでは、スナップショットの基本的な仕組みから、Searchable Snapshots、S…
OpenSearchCon North America 2025のセッション「Accelerating OpenSearch With Streaming: Apache Arrow, Flight, DataFusion and gRPC」をまとめます。AWSのSaurabh Singh氏とHarsha Vamsi氏が、OpenSearchのクエリエンジンを従来のバッチ処理からストリー…
OpenSearchCon North America 2025のセッション「Implementing Piped Processing Language in OpenSearch Via Apache Calcite」をまとめます。 OpenSearchのPPL（Piped Processing Language）は、V2エンジンで実装の限界、最適化不足、テスト不足といった課…
OpenSearchのML機能を試すためのツールキットopensearch-ml-quickstartの使い方を紹介します。 opensearch-ml-quickstartは、OpenSearchのML機能をローカル環境で手軽に試せるPythonツールキットです。Docker Composeでクラスタを起動し、Amazon PQAデータセ…
OpenSearchCon North America 2025のセッション「From Bug To PR: Turning Customer Pain Points Into Upstream Contributions」をまとめます。 NetApp InstaclusterのBrian GrafとAlex Bundayが、顧客が抱える課題やバグを発見してから、それをトリアージし…
OpenSearchCon North America 2025のセッション「Growing a Vibrant Open Source OpenSearch Community in China」をまとめます。 Charlie Yang氏が、中国におけるOpenSearchコミュニティの成長について語りました。コミュニティミートアップでの試行錯誤や…
OpenSearchは、基本的にJSONベースの[DSL(query domain-specific language)](https://docs.opensearch.org/latest/query-dsl/)によってデータを検索します。 一方で、[SQLやPPL](https://docs.opensearch.org/latest/search-plugins/sql/index/)による検索も…
主に検証を目的にOpenSearchをコンテナで動かす際のメモ。
OpenSearchCon North America 2025のセッション「Next-Gen Search: How Uber and the OpenSearch Community Built a Cloud Native 3.0」をまとめます。 UberがOpenSearch Software Foundationの創設メンバーとして、サーバーレス/クラスターレスなOpenSearch…
OpenSearchCon North America 2025のセッション「Capacity Planning, and Scaling/Optimization for Vector Workloads」をまとめます。 Amazon Web ServicesのJon Handler氏による、大規模ベクトル検索システムのサイジングと最適化に関する実践的なセッショ…
OpenSearchCon North America 2025のセッション「Derived Source: Slash Storage Costs Without Losing Data in OpenSearch」をまとめます。 このセッションでは、OpenSearch 3.2で導入されたDerived Sourceは、既存のDoc Valuesなどのデータ構造から_source…
OpenSearchCon North America 2025のセッション「Digging Into OpenSearch’s Memory: Lucene and JVM Garbage Collection Under the Microscope」をまとめます。 OpenSearchの安定運用に不可欠なメモリ管理について、JVMとLuceneの内部動作からGCチューニン…
OpenSearchCon North America 2025のセッション「Introducing OpenSearch’s Search Relevance Workbench!」をまとめます。 多くの組織が抱える「検索品質をどう改善すればよいかわからない」という課題に対し、データ収集から評価、チューニングまでを包括的…
OpenSearchCon North America 2025のセッション「Using OpenSearch as a Database With DataFusion」をまとめます。 OpenSearchにプラガブルな実行エンジンを導入し、ベクトル化処理による高速な分析、分散結合、外部データソースとの統合を可能にする野心的…
OpenSearchCon North America 2025のセッション「Deep Dive Into OpenSearch Pull-Based Ingestion at Uber」をまとめます。 UberがOpenSearch 3.0に貢献した新機能であるPull-based Ingestionについて、技術的な詳細とアーキテクチャを解説。KafkaやKinesis…
本投稿は OpenSearch Project Blog "How to start contributing to OpenSearch: A beginner’s guide based on my journey" の日本語訳です。 OpenSearchは、開発者や組織がスケーラブルでリアルタイムな検索ソリューションを構築できる強力なオープンソース…
OpenSearchCon North America 2025のキーノートの「Advancing Search and Observability at Uber with OpenSearch」をまとめます。 Uberでは、様々なユースケースでOpenSearchが非常に大規模に活用されています。1日500億を超えるリクエストを処理する検索プ…
OpenSearchCon North America 2025のキーノートのうち「SAP & OpenSearch Observability A trustful path to innovation」のパートをまとめます。 youtu.be スピーカー SAP Business Technology PlatformとOpenSearch SAP Cloud Logging Service OpenSearch…
OpenSearchCon North America 2025のキーノートのうち「Accelerated Vector Search」のパートをまとめます。NVIDIA Principal ArchitectのCorey Nolet氏が、GPU加速によるベクトル検索の革新的な高速化技術について発表しました。オープンソースライブラリcu…
OpenSearchCon North America 2025のキーノートのうち「The OpenSearch Community Building the future together」のパートをまとめます。
本エントリでは、RDBMSからIcebergへのCDCユースケースでの活用が期待されるIceberg Sink Connectorの現状と留意点を整理します。 このコネクタを活用する際には、Tabularから寄贈された歴史的経緯によって２つの実装が存在しており、両者に差分がある点を理…
『実践Apache Iceberg —— 高効率・高生産性を実現するオープンなデータ基盤の構築と運用』という書籍が8月27日に発売されます。 本書は、データ基盤の構築や運用、活用に関わるエンジニアの方々に向けて、次世代のデータ基盤を支えるオープンテーブルフォー…
本記事では、OpenSearchの検索性能を向上させる仕組みである「Concurrent segment search」について解説します。 OpenSearchはスケーラブルで多様なユースケースに対応できるオープンソースの検索エンジンです。 Concurrent segment searchは、従来直列に処…
OpenSearchCon Europe 2024のセッション「Multi-tenancy for all workloads」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ Multi-tenancy for all wo…
OpenSearchCon North America 2024のセッション「How AI/ML is changing information retrieval」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ How A…
OpenSearchCon 2023のセッション「End-to-End Relevance」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ End-to-End Relevance スピーカー セッション…
Icebergでカラムに時間に基づくTransformを設定する際、year・month・dayのTransformを全て指定する必要はありません。Hidden Partitioningの仕組みとUnix Epochベースの設計により、最小単位のTransformだけで全ての粒度の検索が最適化される理由を解説しま…
OpenSearchCon Europe 2025のセッション「Dive Deep on OpenSearch’s Vector Search」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ Dive Deep on Ope…
OpenSearchCon EUROPE 2025で発表されたLINE社の大規模OpenSearch運用事例についてのセッションを紹介します。1,200以上のクラスターと6ペタバイトのデータを管理する実践的アプローチから、ネットワークストレージ採用によるコスト削減と技術的課題の解決策…
OpenSearchCon Europe 2025のセッション「Unifying Diverse Logs in Big Data Systems for Seamless Analysis and Action with OpenSearch and LLMs」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りが…
