前回からの続き 前回: Azure AKS で Nvidia MIG を使う#1 今度は AKS の pod 上で Python から MIG を使う。 以下のファイルを用意。 1. kerastest_migcompa […]
続きを読む「Python」カテゴリーアーカイブ
Nvidia H100 GPU で MIG を使う
Nvidia H100 GPU を搭載した RHEL8 で MIG を有効化したのでメモ。 まずは Nvidia ドライバーのインストール .bash_profile に以下を追記しておく。 インストールし […]
続きを読むUbuntu 22.04: pyenv-virtualenv で python 環境を分ける
最近仕事で Python 環境作成しまくってるのでメモ。 TODO pyenv で複数バージョンの Python をインストール pyenv-virtualenv で同一バージョンの複数環境を […]
続きを読むSpark からADLS2 にアクセスする
Spark から Azure Data Lake Storage Gen2 のファイルを開きたかったのでメモ Pyspark 実行時に依存ライブラリを指定すればインストールしてくれる。 使ってる Spark […]
続きを読むSpark から S3 にアクセスする
Spark から S3 のファイルを開きたかったのでメモ ~/.profile に AWS Access Key と Secret を追加する。 下記の replace_here は正しいキーとシークレット […]
続きを読むSpark から Google Cloud Storage にアクセスする
Spark から GCS のファイルを開きたかったのでメモ gcs-connector-hadoop3-latest.jar をダウンロードして使う。 続いて .profile に GCP Service […]
続きを読むUbuntu 22.04: Minikube + docker で Nvidia GPU を使う
個人用に GPU が使える K8S 環境が欲しかったのでメモ。 Docker まずは docker のインストール それから、現在のユーザーでも docker を使えるようにする。 これで一旦 […]
続きを読むPython で CSV セル内の改行を除去
CSV の中に改行を含むセルがあってそれを除去したかったのでメモ。 改行を含むセルはダブルクオートで囲まれている。 Python3 でこうすれば OK.
続きを読む