私は現在 HERP のデータプラットフォームの構築や運用を行っているが、このデータプラットフォームは以前、信頼性や障害検知に大きな問題を抱えていた。 以下の記事で少し触れたように、ニーズを満たすために

ファイルディスクリプタは様々な「フラグ」を持っており、各フラグが有効かどうかでプログラムの挙動が様々に変化する。 この記事の内容は以下の環境で動作確認を行った。 $ lsb_release -a No

IT システムの監視についての入門書。 www.oreilly.co.jp 「問題が起きていることが分かるようにする」と「問題の原因を調査できるようにする」を明確に分けていることが印象に残った。 そ

Kubernetes の Pod にはpriorityという属性があり、その名の通り Pod の優先度を示している。 priorityを高く設定することで、 Node へのスケジューリングが行われやす

I/O とはデータの入出力のことであり、ネットワークプログラミングの文脈では「ネットワーク経由でのデータの送受信」を指すことが多い。そして、サーバが複数のクライアントの対応を同時に行う場合、複数の I

epoll は様々な「イベント」の発生を検知できるようにするためのシステムコール。これを使うことで、「リスニングソケットに接続要求が来た」「ソケットにデータが到着した」などのイベントの発生を、カーネル

ウェブアプリケーションのモニタリングやオブザーバビリティを実現していくための要素のひとつに、ログがある。 しかしアプリケーション（今回の場合は Metabase）が出力するログが適切に構造化されていな

Kubernetes には Taint と Toleration という仕組みがあり、これらを使うことで Pod が配置される Node を制御できる。この Node にはこの Pod しか配置を許可

ネットワークプログラミングの基本的な用語や概念、 I/O 戦略の代表的なパターン、について書かれた特集記事。 15 年前の特集記事で、執筆者は古橋貞之氏。 ちなみにこの特集の次のページでは伊藤直

自分の現在の主業務はデータプラットフォームの構築や運用だが、その文脈でここ数ヶ月取り組んでいたことのひとつに、データガバナンスがある。 データを利活用したい人がより安全かつ便利に利活用できるようにして

Google Cloud の Sensitive Data Protection には「データプロファイル」と呼ばれる機能がある。 データプロファイルは Google Cloud コンソールから操作す

いわゆる「システムプログラミング」の入門書。 本当に初学者向けの入門書であり、カーネルとは、システムコールとは、というところから説明していく。 ファイルシステム、プロセス、ストリーム、が本書の軸にな

ソフトウェア開発をよりよいものにしていくための取り組みのひとつとして Platform Engineering という考え方がある。 私は現在データプラットフォームの構築や運用を行っているが、その名の

BigQuery にはポリシータグという仕組みがあり、これを使うことで BigQuery のリソースに対してきめ細やかなアクセス制御を行うことができる。 ポリシータグの仕組み ポリシータグは、それ自体

自分ではコーディングやコマンドの実行などを行わずプロンプトによる指示だけで進める、いわゆる「バイブコーディング」で開発を行った。 元々自分は AI コーディングに詳しくなく、プロンプトエンジニアリング

Cloud Data Loss Prevention (以下 Cloud DLP) は機密データを保護するための Google Cloud のサービス。渡したデータや指定したストレージに入っているデー

最近『データエンジニアリングの基礎』という本を読み始めた。 そんな状態なので、各組織の各データエンジニアが何をしているのか外からはよく分からないだろうし、データエンジニアが何に面白さを感じているのかも

dbt には Python model という仕組みがある。これを使うことで SQL ではなく Python で model を書くことができ、SQL では不可能な処理が可能になる。 この記事の内容は

Dataproc は Google Cloud が提供しているサービスのひとつ。Dataproc を使うことで、Apache Spark や Hadoop を利用するためのインフラを簡単に用意すること

現職はリモートワーク可能であり、自分はフルリモートで働いている。 www.shoeisha.co.jp フルリモートで上手く機能している組織、として真っ先に挙がるのが GitLab だと思う。世界各国