前回からの続き 前回: Azure AKS で Nvidia MIG を使う#1 今度は AKS の pod 上で Python から MIG を使う。 以下のファイルを用意。 1. kerastest_migcompa […]
続きを読む「Azure」カテゴリーアーカイブ
Azure AKS で Nvidia MIG を使う#1
先日につづいて MIG を試したのでメモ。 Nvidia H100 GPU で MIG を使う 今度は AKS を使って Kubernetes と MIG の組み合わせ。 やっぱ K8S で使った方が効率良 […]
続きを読むAzure AKS でノードに SSH ログインする
デバッグ対応でちょっと SSH で入る必要あったのでメモ。 デフォルトで AKS は SSH が有効化されてない。 という訳で以下手順。 preview 機能を追加してない場合は追加する。 そしたら稼働中の […]
続きを読むSpark からADLS2 にアクセスする
Spark から Azure Data Lake Storage Gen2 のファイルを開きたかったのでメモ Pyspark 実行時に依存ライブラリを指定すればインストールしてくれる。 使ってる Spark […]
続きを読むUbuntu20.04: MySQL8.0 のインストールとメモリ使用量削減
Azure VM の Standard B1ls インスタンスで Ubuntu に MySQL を入れようとしたらメモリ不足でインストール出来なかったのでメモ。 最終的には B1ls の RAM 500MB […]
続きを読むAzure CLI の az コマンドでファイルを ADLS2 に転送する
たまに使おうとした時にいつも忘れてるのでメモ まずはストレージアカウントを確認。 JSONが長ったらしいのでアカウント名だけ知りたいので jq コマンドで name キーだけ抜き取る コンテナ名を確認。 フ […]
続きを読むAirflow の Metastore に SQL Server を使う
Airflow の Metastore をずっとデフォルトの SQLite のままにしてたけど MS SQL Server 2019 に変更したのでメモ。 まずは SQL Server の設定。 公式ドキュ […]
続きを読むT-SQL で unix timestamp を datetimeに変換
SQL Server 2019 のテーブルに格納されてる UNIX TIMESTAMP を日本時間の日付に変換したかったのでメモ。 DATEADD を使って9時間分足した上でタイムゾーンを ‘T […]
続きを読むT-SQL で MERGE
SQL Server で MERGE をやったのでメモ。 前にやった PostgreSQL での方法はこれ↓ PostgreSQL 12 で Merge っぽい事をやる
続きを読むSQLCMD: BULK IMPORT で日本語CSVをロードする
Ubuntu で SQLCMD 使って SQL Server 2019 の NVARCHAR カラムに日本語 CSV ファイル (UTF-8) を何も考えずに BULK IMPORT したら文字化けしたので […]
続きを読む