AWS認定試験の DAS-C01 AWS Data Analytics Specialty 試験に合格したのでメモ。 スコアは 842 点で合格。※合格ラインは 750 点 英語版試験を受験した。 &nbs […]
続きを読む「Data Engineering」カテゴリーアーカイブ
Airflow の Metastore に SQL Server を使う
Airflow の Metastore をずっとデフォルトの SQLite のままにしてたけど MS SQL Server 2019 に変更したのでメモ。 まずは SQL Server の設定。 公式ドキュ […]
続きを読むAzure Data Engineer Associate (DP-203) 試験に合格した
Microsoft 認定試験の DP-203 Azure Data Engineer Associate 試験に合格したのでメモ。 スコアは 873 点で合格。※合格ラインは 700 点 英語版試験を受験し […]
続きを読むAzure Databricks (Standard Tier) で ADLS2 にアクセスする
doc には KeyVault + SecretScope 使えって書いてあるけど Standard Tier だと SecretScope 使えんかったのでメモ。 Azure Data Lake Stor […]
続きを読むPostgreSQL 12 で Merge っぽい事をやる
BigQuery でいつも使ってる MERGE を Postgres 12 でやろうとしたらなかったので代替策をメモ。 ON CONFLICT を使う。 BigQuery だとこうだけど: Postgres […]
続きを読むFaker でダミーデータを生成する
ダミーデータ生成に使ったら便利だったのでメモ。 Welcome to Faker’s documentation まずはインストール コマンドラインで使える 日本語データが欲しい場合 データベースに入れてテ […]
続きを読むBigQuery: Information Schema から DDL を生成する
これは便利なのでメモ これで CRATE TABLE 文が出てくる。
続きを読むRaspberry Pi 4 に Airflow をインストールする
やっと動いたのでメモ。 OS は Ubuntu Server 20.04 LTS に入れ替え済み。 何も考えずに Airflow の公式ドキュメントのとおりにインストールしたら、やれ pendulum がイ […]
続きを読むPostgreSQL: Reporting Carrier On-Time Performance をロードする
US Department of Transportation が公開してるデータセットを Postgres12 にロードしたのでメモ。 まずは下記からデータをダウンロードする。 On-Time : Rep […]
続きを読むAirflow を Nginx のリバースプロキシで SSL 化
Airflow を Nginx のリバースプロキシの後ろにおいたのでメモ。 Airflow 単体でも証明書パスを指定してSSL化出来るらしいがやっぱ Nginx よね(テキトー Nginx + LetsEn […]
続きを読む