あれやこれやと忙しくしていたら、気がつけば年末です。
2025年も大変お世話になりました。来年もよろしくお願いします。
今年は生成AIの急速な進化や、流動的な国際情勢、資本市場の不安定化など、IT業界も、それ以外の世界も変化に直面し、不確実性が加速した一年であったように感じます。先が読めない世の中だからこそ、個々人が自身の軸となる意志と戦略を固める必要性が増しているのだと思います。
かく言う私自身の在り方は曖昧なままでありますが、1つの柱としてOpenSearchに出会うことができたのは収穫でした。
来年はIcebergとOpenSearchをがんばります。
仕事と個人コミュニティ活動
仕事ではいろんな業界のデータ基盤であるとか、大きなデータを扱う仕組みの設計や運用を手伝っている。これについては詳しく書けないので割愛。
その傍らで、IcebergとOpenSearchを中心に対外的な登壇や書き物を色々やった。有難いことにイベント主催者の方から声をかけて頂く機会も多くあり、自分自身でイベントを企画することもした。今後は色んな人がコミュニティで活躍する機会を作っていく努力をもっとした方が良い気がしている。
OSSに関連するものが多い性質上、仕事なのか趣味なのかが微妙なラインのものも多い。この辺りは今後も曖昧にしたままコソコソ生きていきたい。
Iceberg関連
どれも思い出深いが、特にApache Iceberg Meetup Japan #1での同時書き込みの競合解決の話が印象に残っている。世界的にもほとんど紐解かれておらず、かつIcebergを実運用する上で重要となる技術トピックを解明、整理できたと思う。登壇の後に書いたブログ「Manage concurrent write conflicts in Apache Iceberg on the AWS Glue Data Catalog」も、各国の同僚から「重宝してるよ!」と声を掛けてもらえることがよくあり嬉しい。
登壇
- 2/21: Apache Iceberg Meetup Japan #1「Icebergテーブル同時書き込み時の競合解決の仕組みと注意点」
- 2/28: Apache Icebergと超えていくデータレイクの限界 -S3とSnowflake活用事例-「Icebergを学びAmazon S3 Tablesを活用しよう」
- 5/14: Apache Iceberg on AWS ミートアップ ~話題のIcebergをAWSで徹底活用~ (企画&登壇)「Apache Iceberg への移行アプローチの勘所」
- 6/2: Storage JAWS & BigData JAWS 共同開催 ~ S3×Icebergが切り拓く、OTF時代の分析基盤~「パネルディスカッション Open Table Format × AWS データレイクのこれからを語ろう」
- 6/25: AWS Summit 2025「オープンテーブルフォーマットで実現する、大規模データ分析基盤の構築と運用」
- 7/11: db tech showcase 「データ基盤の未来を拓く!30 分でわかるApache Iceberg」 Apache Iceberg on AWS
- 9/3: OTF Talk:「PyIcebergの活用」
- 9/10: OTF Talk:「Apache Iceberg への移行戦略」
- 10/29: 『実践 Apache Iceberg』徹底解説 - 著者と共に学ぶ Iceberg の最新情報 (企画&登壇)「PyIceberg からはじめる Apache Iceberg」
AWSブログ
- Manage concurrent write conflicts in Apache Iceberg on the AWS Glue Data Catalog
- Accelerate lightweight analytics using PyIceberg with AWS Lambda and an AWS Glue Iceberg REST endpoint
個人ブログ
- Apache Icebergの同時実行制御における競合解決の仕組みと注意点 - Bering Note – formerly 流沙河鎮
- Icebergで時間に基づくパーティションを設定する前に読む記事 - Bering Note – formerly 流沙河鎮
- Kafka Iceberg Sink ConnectorによるRDBMSからIcebergへのCDCの現状と留意点 - Bering Note – formerly 流沙河鎮
- IcebergのMaterialized View仕様の検討状況 - Bering Note – formerly 流沙河鎮
Icebergの本を書いた
2024前半から取り組んでいたものがやっと出せた。
bering.hatenadiary.com
加えて、Apache Iceberg活用入門 オープンテーブルフォーマットによるデータレイク&データレイクハウスの翻訳レビューもやらせて頂いた。
これら二冊に関してはyassanが素敵なレビュー記事を書いてくれている。
yassan.hatenablog.jp
OpenSearch関連
2月頃にOpenSearchに出会って、これは面白いぞとなってずっと触っている。何がそんなに面白いかは以下に書いた。
bering.hatenadiary.com
とはいえまだ全然初心者なのだが、良き師に恵まれたおかげで少しずつ仕事で活かしたりコミュニティ活動に挑戦できるようになってきている。
検索のなんたるかがよく分からないまま触っている感が拭えないので、来年はそこを鍛えたい。
登壇
OpenSearchCon North AmericaとJapanに登壇した。どちらも学びが多いのはもちろん、コミュニティとの繋がりが強く感じられてとても良かった。
www.youtube.com
www.youtube.com
OpenSearch Project Zenn Publication
OpenSearch Project Zenn Publicationにいくつか記事を書いた。
- みんなでOpenSearchを育てよう!調査からOSSへのPRまでの実録ガイド
- [翻訳] オールインワンなAI検索の実験場「OpenSearch AI デモ in Hugging Face」の紹介
- OpenSearchコードリーディング 検索編 (part 1)
- 2025/12/11 (木)はOpenSearchのOSSイベント「OpenSearchCon Japan」へみんなで行こう!!
個人ブログ
OpenSearchConの翻訳書き起こし記事をたくさん書いた。細かく訳していくことで理解が深まるし、周囲の人からも参考になっているとコメントを貰えておりやり甲斐がある。来年も続けたい。
こういうやつ。
- OpenSearchCon Europe 2025「プライベートクラウドにおける1,000を超えるOpenSearchクラスターの管理 - Sun Ro Lee, LINE」 - Bering Note – formerly 流沙河鎮
- OpenSearchCon North America 2025「DataFusionでOpenSearchをデータベースとして利用する」- Marc Handalian, AWS & Michael Froh, Uber - Bering Note – formerly 流沙河鎮
オリジナル記事もちょろちょろ書いている。Concurrent segment searchの記事は結構よく書けたと思っている。
bering.hatenadiary.com
OSS開発
大小合わせてマージ9件と、書籍が忙しかったこともあり低調気味。
ただ年末はOpenSearch関連をそこそこ頑張ったのと、バグ修正きっかけで書いたコントリビューションガイド記事が結構たくさんの人に読んでもらえたのは良かった。
zenn.dev
来年はたくさんやりたい。
- Update AWS SDK from v1 1.12.783 to v2 2.31.59 by lawofcycles · Pull Request #594 · opensearch-project/opensearch-hadoop · GitHub
- Fix Apache project dependency resolution for Hadoop, Hive, and Spark by lawofcycles · Pull Request #595 · opensearch-project/opensearch-hadoop · GitHub
- Switched to more reliable OpenSearch Lucene snapshot location by lawofcycles · Pull Request #597 · opensearch-project/opensearch-hadoop · GitHub
- Fix NPE in validateSearchableSnapshotRestorable when shard size is unavailable by lawofcycles · Pull Request #19684 · opensearch-project/OpenSearch · GitHub
- Replace deprecated plugins.security.ssl.transport.enforce_hostname_verification with new setting in Security demo certificate by lawofcycles · Pull Request #5723 · opensearch-project/security · GitHub
- spark: Fix Glue Data Catalog detection in YARN cluster mode by lawofcycles · Pull Request #4229 · OpenLineage/OpenLineage · GitHub
- Fix uncaught exception in explain API when invalid sortOrder is provided by lawofcycles · Pull Request #1563 · opensearch-project/index-management · GitHub
- Refine row count retrieval to skip redundant Size() scans by lawofcycles · Pull Request #605 · awslabs/deequ · GitHub
- Fix license header formatting and capitalization by lawofcycles · Pull Request #6 · awslabs/glue-extensions-for-iceberg · GitHub
私生活
何もしていない。虚無のルイズ。1年間ずっとコンピューターいじりをしていた。助けてほしい
来年の抱負
- OpenSearchをやりまくる
- 私生活の充実をはかる