OpenSearchCon Europe 2024のセッション「Multi-tenancy for all workloads」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ Multi-tenancy for all wo…

OpenSearchCon North America 2024のセッション「How AI/ML is changing information retrieval」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ How A…

OpenSearchCon 2023のセッション「End-to-End Relevance」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ End-to-End Relevance スピーカー セッション…

Icebergでカラムに時間に基づくTransformを設定する際、year・month・dayのTransformを全て指定する必要はありません。Hidden Partitioningの仕組みとUnix Epochベースの設計により、最小単位のTransformだけで全ての粒度の検索が最適化される理由を解説しま…

OpenSearchCon Europe 2025のセッション「Dive Deep on OpenSearch’s Vector Search」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ Dive Deep on Ope…

OpenSearchCon EUROPE 2025で発表されたLINE社の大規模OpenSearch運用事例についてのセッションを紹介します。1,200以上のクラスターと6ペタバイトのデータを管理する実践的アプローチから、ネットワークストレージ採用によるコスト削減と技術的課題の解決策…

OpenSearchCon Europe 2025のセッション「Unifying Diverse Logs in Big Data Systems for Seamless Analysis and Action with OpenSearch and LLMs」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りが…

OpenSearchCon 2022のセッション「Concurrency and Merge Policies to the Rescue」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ Concurrency and Me…

OpenSearchCon North America 2024のセッション「Exploring OpenSearch, Python, and Serverless」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ Expl…

OpenSearchCon North America 2024のセッション「Enabling Search on Databases with Data Prepper」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ En…

OpenSearchCon North America 2024のセッション「Let your OpenSearch cluster monitor itself」を日本語でまとめます。 可能な限り正確に内容を拾えるようにリスニングに努めたつもりですが、もし誤りがあればご指摘ください。 OpenSearchCon とは？ Let yo…

Apache Icebergテーブルはテーブル単位のトランザクション分離レベルとしてSERIALIZABLEとSNAPSHOTをサポートしています。（デフォルトはSERIALIZABLE).つまり、同時に複数のトランザクションが同じテーブルに書き込んだ場合でもデータの一貫性を確保できま…

Apache Iceberg Table Spec v3の新機能である「Row Lineage Tracking」を紹介します

導入 サンプルデータ準備 Icebergカタログを作成する Icebergテーブルを作成する Namespaceを参照 テーブルをロードしてみる 列を追加してみる 導入 pip install --upgrade pip pip install "pyiceberg[s3fs,hive]" 用途に応じて以下を依存関係に加えられま…

Current 2024 のセッション「Change Data Capture & Kafka How Slack Transitioned to CDC with Debezium & Kafka Connect」を日本語でまとめます。 Slackは 1 テーブルで 1 兆レコードを超える莫大なデータを効率的かつリアルタイムに分析基盤に取り込むた…