Azure SQL Server をいじる事になったのでメモ ↓のドキュメントの手順に従って bcp と sqlcmd をインストールしようとしたらエラーが出た。 Microsoft ODBC Driver for SQ […]
続きを読むUbuntu 20.04: Azure SQL Server コマンドラインツールをインストール
「Data Engineering」カテゴリーアーカイブ
Ubuntu: WordPressのMySQLデータ移行
WordPressのMySQLホストを新しいサーバーインスタンスに変更したのでメモ。 まずは新サーバー上でMySQL5.7のインストール作業を実施。 インストールしたらmysqlに接続。 初期化など。 localhost […]
続きを読むSpark ScalaのmapとflatMapの動作
Spark始めた初期につまづいたのでメモ。 結果の違いで覚えた。 まずはRDDを作る。 このRDDに対してmap 結果はこれ Array[Array[String]] = Array(Array(Some, People […]
続きを読むGoogle BigQueryでタブ区切りTSVをインポート＆エクスポート
すごいよく使うけどよく忘れるのでメモ TSVのインポート ※ヘッダあり・10行未満のエラーは無視 TSVでエクスポート ※ヘッダなし
続きを読むSpark ScalaでsortByKeyを降順にする
SparkでreduceByKeyしたあとにsortByKeyで降順にソートしたかったのでメモ sortByKey()の引数にfalseを渡す。
続きを読むGoogle Spreadsheetの1枚目シートをBigQueryの外部テーブルにする
社内の同テンプレのスプレッドシートまとめるのこれでやると楽だったのでメモ。 データセットは先に作っておかないと怒られる。 しかしこの方法はシート1枚目しか対応してない仕様。 複数シートも扱うならAppsScriptでBQ […]
続きを読む