結論 現状のGlue DataCatalog L2コンストラクトはParametersをサポートしていないので、escape hatchで対応する必要がある。 Abstractions and escape hatches - AWS Cloud Development Kit (AWS CDK) v2 Glue CDKコンストラクトを取り巻く状況 以下の2つを…
いくつかの大胆なフェイクが混ぜてあるので、以下はフィクションである 先日30歳の誕生日を迎えた。僕にとっての20代は文系学部を卒業して全くの未経験からIT業界に入り、亀の歩みで適応し、何とかITエンジニアの端くれを名乗れなくもない程度まで成長を遂げ…
先日、縁あってオブザーバビリティ(可観測性)勉強会の講師を務める機会があった。普通に考えれば教壇に立つからにはその分野に大変詳しいことが期待されると思うが、恐るべきことに僕は講師を引き受けるまでオブザーバビリティについて何も知らなかった。 そ…
2023年4月、pandas 2.0がリリースされた。 What’s new in 2.0.0 (April 3, 2023) — pandas 2.1.0.dev0+766.g935244a9b9 documentation さっそく手元のツール群のバージョンを上げた所、従来append()を使っていた処理が動かなくなりハマった。 pandas.DataFra…
Selenium4系の最新では、要素の取得に用いるfindElement(s)By~関数が削除されている。元々deprecatedであったのが、完全に削除された格好。 driver.findElementById("elementId") driver.findElementByName("elementName") driver.findElementByXPath("xPat…
dockerコンテナにホストマシンのGPUを認識させたい時は--gpusオプションで対象のGPUを指定する。利用可能な全てのGPUを使わせたい場合はall docker run -it --rm --gpus all ubuntu nvidia-smi デバイスを指定する場合 docker run -it --rm --gpus device=GP…
Fediverseデビューしたものの即座にTwitterを離脱するのは難しそう。でもFediverse側も盛り上げていきたい。なので当面はTwitterとFediverse両方に同じ内容をポストしようとなるのだが、これがめんどくさい。そこで自動化することにした。(Twitterが国境を開…
ここ数年、アジリティとセキュリティ(あるいはガバナンス)の両立について考える機会が多い。伝統的で規模の大きい企業にありがちな傾向として、セキュリティやガバナンスを確保するためにはシステムの開発/運用が鈍重、高コスト、不自由になったとしても已む…
イギリス四大銀行の1つ、NatWestのセッションで言及されていた銀行がサービスのパーソナライズを進める上での顧客データ量の壁の話が面白かったのでメモしておく。登壇したのはNatWest のChief Data and Analytics OfficerのZacheryと、Head of Data Scienc…
# 以下は2020年頃に執筆した過去ブログのアーカイブです。現在メンテしておらず、一部の情報が古い可能性があります Kx Systemsが提供する大規模データ蓄積、分析エコシステム「kdb+」と、知る人ぞ知るその実装言語「q」。 日本語記事が全く存在しない超ニッ…
# 以下は2020年頃に執筆した過去ブログのアーカイブです。現在メンテしておらず、一部の情報が古い可能性があります へんてこデータベースもどき「kdb」と、知る人ぞ知るその実装言語「q」の基本を解説する本シリーズ。 本連載の目的はq言語の基本的な情報、…
# 以下は2020年頃に執筆した過去ブログのアーカイブです。現在メンテしておらず、一部の情報が古い可能性があります へんてこデータベースもどき「kdb」と、知る人ぞ知るその実装言語「q」の基本を解説する本シリーズ。 本連載の目的はq言語の基本的な情報、…
# 以下は2020年頃に執筆した過去ブログのアーカイブです。現在メンテしておらず、一部の情報が古い可能性があります へんてこデータベースもどき「kdb」と、知る人ぞ知るその実装言語「q」の基本を解説する本シリーズ。 本連載の目的はq言語の基本的な情報、…
# 以下は2020年頃に執筆した過去ブログのアーカイブです。現在メンテしておらず、一部の情報が古い可能性があります へんてこデータベースもどき「kdb」と、知る人ぞ知るその実装言語「q」の基本を解説する本シリーズ。 本連載の目的はq言語の基本的な情報、…
# 以下は2020年頃に執筆した過去ブログのアーカイブです。現在メンテしておらず、一部の情報が古い可能性があります へんてこデータベースもどき「kdb」と、知る人ぞ知るその実装言語「q」の基本を解説する本シリーズ。 本連載の目的はq言語の基本的な情報、…