ダミーデータ生成に使ったら便利だったのでメモ。 Welcome to Faker’s documentation まずはインストール コマンドラインで使える 日本語データが欲しい場合 データベースに入れてテ […]
続きを読むBigQuery: Information Schema から DDL を生成する
これは便利なのでメモ これで CRATE TABLE 文が出てくる。
続きを読むRaspberry Pi 4 に Airflow をインストールする
やっと動いたのでメモ。 OS は Ubuntu Server 20.04 LTS に入れ替え済み。 何も考えずに Airflow の公式ドキュメントのとおりにインストールしたら、やれ pendulum がイ […]
続きを読むUbuntu: swapfile を作成する
Ubuntu VM に swapfile を追加したのでメモ。 2GB のスワップを作るにはこうする。 再起動後に自動でマウントさせるために fstab も直す。
続きを読むknown_hosts からホストを消す
サーバーを再インストールしたあとにクライアントから ssh したら fingerprint が合わないって怒られたのでメモ
続きを読むPostgreSQL: Reporting Carrier On-Time Performance をロードする
US Department of Transportation が公開してるデータセットを Postgres12 にロードしたのでメモ。 まずは下記からデータをダウンロードする。 On-Time : Rep […]
続きを読むAirflow を Nginx のリバースプロキシで SSL 化
Airflow を Nginx のリバースプロキシの後ろにおいたのでメモ。 Airflow 単体でも証明書パスを指定してSSL化出来るらしいがやっぱ Nginx よね(テキトー Nginx + LetsEn […]
続きを読むAirflow を BigQuery と繋げる
Apache Airflow 使い出したら便利だったのでメモ。 Airflow と BigQuery を繋げる方法を探してたら↓のブログ記事を見つけた。 How to aggregate data for […]
続きを読むGA4: BigQuery でリファラー URL を抽出
Google Analytics 4 の UI に慣れるつもりはないので BigQuery で抽出したのでメモ。 BigQuery だとほんと楽だわ。
続きを読むThe Data Warehouse Toolkit を読む #4: Procurement
前回からの続きをメモ 前回の記事: The Data Warehouse Toolkit を読む #3: Inventory 調達プロセスにおけるディメンショナル・モデルの構築。 Bus Ma […]
続きを読む