Kube Resource Orchestrator ( kro ) は Kubernetes のリソースを管理するためのツールで、複数のリソースをひとつのまとまりとして定義したり、リソースとリソース

io_uring には SQPOLL という機能があり、これを有効にしておくと、SQ ring に SQE を載せるだけでカーネルがそれを自動的に処理してくれるようになる。 この記事では SQPOLL

io_uring は I/O 処理を行うための Linux の仕組みのひとつで、一度のシステムコール呼び出しで複数の I/O 処理をカーネルに依頼できるのが特徴。 この記事では io_uring の初

Google Cloud には権限借用（ Impersonation ）という仕組みがあり、これを使うと、「プリンシパル（ユーザーアカウントやサービスアカウント）が一時的に他のサービスアカウントになり

TCP 通信に関する処理は通常、カーネルが行う。TCP 通信を行うための機能がカーネルに実装されており、ユーザー空間のプログラムは各種システムコールを呼び出してカーネルに処理を依頼することで、 TCP

カーネルは、発生したエラーなどの内容を番号で表現しそれを伝える仕組みを持っている。 libcという C のライブラリを通してシステムコールを呼んだ場合、カーネルが返した番号がerrnoという変数にセッ

dbt では SQL 以外に Python でも model を書くことができるが、 Python コードの処理は dbt が行うわけではない。 Dataproc クラスタで Python model

私は現在 HERP のデータプラットフォームの構築や運用を行っているが、このデータプラットフォームは以前、信頼性や障害検知に大きな問題を抱えていた。 以下の記事で少し触れたように、ニーズを満たすために

ファイルディスクリプタは様々な「フラグ」を持っており、各フラグが有効かどうかでプログラムの挙動が様々に変化する。 この記事の内容は以下の環境で動作確認を行った。 $ lsb_release -a No

IT システムの監視についての入門書。 www.oreilly.co.jp 「問題が起きていることが分かるようにする」と「問題の原因を調査できるようにする」を明確に分けていることが印象に残った。 そ

Kubernetes の Pod にはpriorityという属性があり、その名の通り Pod の優先度を示している。 priorityを高く設定することで、 Node へのスケジューリングが行われやす

I/O とはデータの入出力のことであり、ネットワークプログラミングの文脈では「ネットワーク経由でのデータの送受信」を指すことが多い。そして、サーバが複数のクライアントの対応を同時に行う場合、複数の I

epoll は様々な「イベント」の発生を検知できるようにするためのシステムコール。これを使うことで、「リスニングソケットに接続要求が来た」「ソケットにデータが到着した」などのイベントの発生を、カーネル

ウェブアプリケーションのモニタリングやオブザーバビリティを実現していくための要素のひとつに、ログがある。 しかしアプリケーション（今回の場合は Metabase）が出力するログが適切に構造化されていな

Kubernetes には Taint と Toleration という仕組みがあり、これらを使うことで Pod が配置される Node を制御できる。この Node にはこの Pod しか配置を許可

ネットワークプログラミングの基本的な用語や概念、 I/O 戦略の代表的なパターン、について書かれた特集記事。 15 年前の特集記事で、執筆者は古橋貞之氏。 ちなみにこの特集の次のページでは伊藤直

自分の現在の主業務はデータプラットフォームの構築や運用だが、その文脈でここ数ヶ月取り組んでいたことのひとつに、データガバナンスがある。 データを利活用したい人がより安全かつ便利に利活用できるようにして

Google Cloud の Sensitive Data Protection には「データプロファイル」と呼ばれる機能がある。 データプロファイルは Google Cloud コンソールから操作す

いわゆる「システムプログラミング」の入門書。 本当に初学者向けの入門書であり、カーネルとは、システムコールとは、というところから説明していく。 ファイルシステム、プロセス、ストリーム、が本書の軸にな

ソフトウェア開発をよりよいものにしていくための取り組みのひとつとして Platform Engineering という考え方がある。 私は現在データプラットフォームの構築や運用を行っているが、その名の