GCP 認定試験の Data Engineer 資格の有効期限を更新したのでメモ。 毎度 GCP の試験は何点だったか教えてくれないけど合格。 前職の時は日本語で受験したが、今回は英語版試験を受験した。 & […]
続きを読む「Data Engineering」カテゴリーアーカイブ
AWS Database Specialty 試験 (DBS-C01) に合格した
AWS認定試験の DBS-C01 AWS Database Specialty 試験に合格したのでメモ。 スコアは 768 点でギリギリ合格。※合格ラインは 750 点 他の試験と同じく、今回も英語版試験を […]
続きを読むAWS Data Analytics Specialty (DAS-C01) 試験に合格した
AWS認定試験の DAS-C01 AWS Data Analytics Specialty 試験に合格したのでメモ。 スコアは 842 点で合格。※合格ラインは 750 点 英語版試験を受験した。 &nbs […]
続きを読むAirflow の Metastore に SQL Server を使う
Airflow の Metastore をずっとデフォルトの SQLite のままにしてたけど MS SQL Server 2019 に変更したのでメモ。 まずは SQL Server の設定。 公式ドキュ […]
続きを読むAzure Data Engineer Associate (DP-203) 試験に合格した
Microsoft 認定試験の DP-203 Azure Data Engineer Associate 試験に合格したのでメモ。 スコアは 873 点で合格。※合格ラインは 700 点 英語版試験を受験し […]
続きを読むAzure Databricks (Standard Tier) で ADLS2 にアクセスする
doc には KeyVault + SecretScope 使えって書いてあるけど Standard Tier だと SecretScope 使えんかったのでメモ。 Azure Data Lake Stor […]
続きを読むPostgreSQL 12 で Merge っぽい事をやる
BigQuery でいつも使ってる MERGE を Postgres 12 でやろうとしたらなかったので代替策をメモ。 ON CONFLICT を使う。 BigQuery だとこうだけど: Postgres […]
続きを読むFaker でダミーデータを生成する
ダミーデータ生成に使ったら便利だったのでメモ。 Welcome to Faker’s documentation まずはインストール コマンドラインで使える 日本語データが欲しい場合 データベースに入れてテ […]
続きを読むBigQuery: Information Schema から DDL を生成する
これは便利なのでメモ これで CRATE TABLE 文が出てくる。
続きを読むRaspberry Pi 4 に Airflow をインストールする
やっと動いたのでメモ。 OS は Ubuntu Server 20.04 LTS に入れ替え済み。 何も考えずに Airflow の公式ドキュメントのとおりにインストールしたら、やれ pendulum がイ […]
続きを読む