いわゆる「システムプログラミング」の入門書。 本当に初学者向けの入門書であり、カーネルとは、システムコールとは、というところから説明していく。 ファイルシステム、プロセス、ストリーム、が本書の軸にな

ソフトウェア開発をよりよいものにしていくための取り組みのひとつとして Platform Engineering という考え方がある。 私は現在データプラットフォームの構築や運用を行っているが、その名の

BigQuery にはポリシータグという仕組みがあり、これを使うことで BigQuery のリソースに対してきめ細やかなアクセス制御を行うことができる。 ポリシータグの仕組み ポリシータグは、それ自体

自分ではコーディングやコマンドの実行などを行わずプロンプトによる指示だけで進める、いわゆる「バイブコーディング」で開発を行った。 元々自分は AI コーディングに詳しくなく、プロンプトエンジニアリング

Cloud Data Loss Prevention (以下 Cloud DLP) は機密データを保護するための Google Cloud のサービス。渡したデータや指定したストレージに入っているデー

最近『データエンジニアリングの基礎』という本を読み始めた。 そんな状態なので、各組織の各データエンジニアが何をしているのか外からはよく分からないだろうし、データエンジニアが何に面白さを感じているのかも

dbt には Python model という仕組みがある。これを使うことで SQL ではなく Python で model を書くことができ、SQL では不可能な処理が可能になる。 この記事の内容は

Dataproc は Google Cloud が提供しているサービスのひとつ。Dataproc を使うことで、Apache Spark や Hadoop を利用するためのインフラを簡単に用意すること

現職はリモートワーク可能であり、自分はフルリモートで働いている。 www.shoeisha.co.jp フルリモートで上手く機能している組織、として真っ先に挙がるのが GitLab だと思う。世界各国

Google Cloud のクライアントライブラリを使うと API を通して Google Cloud のリソースにアクセスすることができる。 この記事の内容は以下の環境で動作確認している。 npm

dbt でデータウェアハウスとして BigQuery を使う際、ローカル開発においては OAuth 方式を使うことが推奨されている。 gcloud auth application-default l

gcloud CLI は Google Cloud のリソースを管理するための CLI ツールだが、これを使ってリソースにアクセスするためには当然、アカウントの認証を行わなければならない。

野中郁次郎らが提唱した知識創造理論の入門書。 pub.jmam.co.jp 知識創造理論については存在も知らず、現職の同僚との 1on1 でそういうものがあると教えてもらった。 主人公たちが知識創造理

「30歳からのプログラミング」と題したこのブログを書き始めたのが 2016 年 3 月。 だが、今の勤務先（株式会社HERP）に入社したのは 2021 年 10 月 1 日であり、入社してからもうすぐ

dbt を使おうとすると、profile や target、config、property など、様々な概念が出てくる。 この記事では、最初は理解が難しいこれらの概念について、「model の出力先の

この記事では、Embulk を使ってデータ転送を行う方法について述べていく。 使っている Embulk のバージョンは0.9.25。 0.10や0.11だと異なる手順や設定が必要になると思われるので注

Terraform では GitHub の Branch protection rule を管理する resource が提供されている。この記事ではそれを使って rule を定義する方法について扱う

AWS でネットワークを構築しウェブサーバを公開する手順を解説した入門書。 tatsu-zine.com Kubernetes を勉強していた時、ローカル環境である程度動かすことができたので、次はより

Terraform 何も分からん、取り敢えず概要を知りたいなと思い、手に取った。 gihyo.jp 私のような初心者を対象としていると思われ、かなり初歩から丁寧に話が進んでいく。 全体的に実際に手を動

Kubernetes には Restart Policy や Probe という設定や仕組みがある。 この記事では、Restart Policy や Probe をどのように設定すればよいのか、そして