Articles
About TechHub
Tags
Careers
なむ
numb_86
ソフトウェアエンジニア
ソフトウェアエンジニアです。
なむ
2025-07-12
...
BigQuery ポリシータグによるカラム単位でのアクセス制御と dbt によるポリシータグの付与
BigQuery にはポリシータグという仕組みがあり、これを使うことで BigQuery のリソースに対してきめ細やかなアクセス制御を行うことができる。 ポリシータグの仕組み ポリシータグは、それ自体
なむ
2025-05-29
...
Claude Code(Claude Sonnet 4) に Google Cloud + dbt のデータパイプラインを作らせてみる
自分ではコーディングやコマンドの実行などを行わずプロンプトによる指示だけで進める、いわゆる「バイブコーディング」で開発を行った。 元々自分は AI コーディングに詳しくなく、プロンプトエンジニアリング
なむ
2025-05-13
...
Cloud DLP を使って BigQuery に入っている個人情報を検知する
Cloud Data Loss Prevention (以下 Cloud DLP) は機密データを保護するための Google Cloud のサービス。渡したデータや指定したストレージに入っているデー
なむ
2025-02-13
...
データエンジニアリングって何が面白いんだ?
最近『データエンジニアリングの基礎』という本を読み始めた。 そんな状態なので、各組織の各データエンジニアが何をしているのか外からはよく分からないだろうし、データエンジニアが何に面白さを感じているのかも
なむ
2025-02-06
...
dbt の Python model を Dataproc クラスタで実行する
dbt には Python model という仕組みがある。これを使うことで SQL ではなく Python で model を書くことができ、SQL では不可能な処理が可能になる。 この記事の内容は
なむ
2025-01-30
...
Dataproc クラスタで PySpark ジョブを実行して学ぶサービスアカウントの初歩
Dataproc は Google Cloud が提供しているサービスのひとつ。Dataproc を使うことで、Apache Spark や Hadoop を利用するためのインフラを簡単に用意すること
なむ
2025-01-23
...
『GitLabに学ぶ 世界最先端のリモート組織のつくりかた ドキュメントの活用でオフィスなしでも最大の成果を出すグローバル企業のしくみ』を読んだ
現職はリモートワーク可能であり、自分はフルリモートで働いている。 www.shoeisha.co.jp フルリモートで上手く機能している組織、として真っ先に挙がるのが GitLab だと思う。世界各国
なむ
2025-01-16
...
Google Cloud クライアントライブラリがアクセスするプロジェクトはどのように決まるのか
Google Cloud のクライアントライブラリを使うと API を通して Google Cloud のリソースにアクセスすることができる。 この記事の内容は以下の環境で動作確認している。 npm
なむ
2025-01-09
...
gcloud auth application-default login は何をしているのか
dbt でデータウェアハウスとして BigQuery を使う際、ローカル開発においては OAuth 方式を使うことが推奨されている。 gcloud auth application-default l
なむ
2025-01-02
...
gcloud CLI の認証とプロパティと構成
gcloud CLI は Google Cloud のリソースを管理するための CLI ツールだが、これを使ってリソースにアクセスするためには当然、アカウントの認証を行わなければならない。
なむ
2024-09-28
...
『マンガでやさしくわかる知識創造』を読んだ
野中郁次郎らが提唱した知識創造理論の入門書。 pub.jmam.co.jp 知識創造理論については存在も知らず、現職の同僚との 1on1 でそういうものがあると教えてもらった。 主人公たちが知識創造理
なむ
2024-09-01
...
もうすぐ 40 歳になるが労働を 3 年以上続けられたことがない IT エンジニアの話
「30歳からのプログラミング」と題したこのブログを書き始めたのが 2016 年 3 月。 だが、今の勤務先(株式会社HERP)に入社したのは 2021 年 10 月 1 日であり、入社してからもうすぐ
なむ
2024-08-16
...
target や config を理解して dbt model の出力先を制御できるようになる
dbt を使おうとすると、profile や target、config、property など、様々な概念が出てくる。 この記事では、最初は理解が難しいこれらの概念について、「model の出力先の
なむ
2024-03-09
...
Embulk に入門して Amazon RDS にあるデータを BigQuery に転送する
この記事では、Embulk を使ってデータ転送を行う方法について述べていく。 使っている Embulk のバージョンは0.9.25。 0.10や0.11だと異なる手順や設定が必要になると思われるので注
なむ
2024-03-03
...
Terraform で GitHub の Branch protection rule を定義する
Terraform では GitHub の Branch protection rule を管理する resource が提供されている。この記事ではそれを使って rule を定義する方法について扱う
なむ
2023-12-25
...
『AWSネットワーク入門 第2版』を読んだ
AWS でネットワークを構築しウェブサーバを公開する手順を解説した入門書。 tatsu-zine.com Kubernetes を勉強していた時、ローカル環境である程度動かすことができたので、次はより
なむ
2023-11-04
...
『Software Design 2022年1月号』の「TerraformではじめるAWS構成管理 インフラを自動で構築&コードで管理」を読んだ
Terraform 何も分からん、取り敢えず概要を知りたいなと思い、手に取った。 gihyo.jp 私のような初心者を対象としていると思われ、かなり初歩から丁寧に話が進んでいく。 全体的に実際に手を動
なむ
2023-09-24
...
Restart Policy と Probe を使った Pod の管理
Kubernetes には Restart Policy や Probe という設定や仕組みがある。 この記事では、Restart Policy や Probe をどのように設定すればよいのか、そして
なむ
2023-09-19
...
Docker Desktop を使って学ぶ Kubernetes の基本的な仕組み
この記事では Docker Desktop 上で Kubernetes クラスタを作り、実際に動かしながら、Kubernetes の基本的な仕組みについて説明していく。 動作確認は以下の環境で行った。
なむ
2023-06-14
...
『Cプログラミング入門以前 [第3版]』を読んだ
プログラミングを学び始める前に押さえておくべき基礎知識を学べる一冊。 tatsu-zine.com 著者が執筆した『基礎からわかるTCP/IP ネットワークコンピューティング入門 第3版』がよかったの
prev
1
2
3
next