Spark から S3 のファイルを開きたかったのでメモ ~/.profile に AWS Access Key と Secret を追加する。 下記の replace_here は正しいキーとシークレット […]
続きを読む投稿者「俺」のアーカイブ
Spark から Google Cloud Storage にアクセスする
Spark から GCS のファイルを開きたかったのでメモ gcs-connector-hadoop3-latest.jar をダウンロードして使う。 続いて .profile に GCP Service […]
続きを読むUbuntu 22.04: Spark をインストール
Spark 使うのでメモ。 毎度俺しか使わないのでホームディレクトリに入れる。 とりあえず Hadoop をインストールしておく。 参考: Ubuntu 22.04: Hadoop をインストール 1. ダ […]
続きを読むWindows 11 で Emacs を使う
前に書いた記事↓が古くなったのでメモ。 Windows10でEmacsを使う Emacsを下記からダウンロード。 https://www.gnu.org/software/emacs/download.ht […]
続きを読むUbuntu 22.04: Hadoop をインストール
いまさら Hadoop. Spark のローカルストレージとして使うのでメモ。 俺しか使わないのでホームディレクトリに雑にセットアップする。 1. Java を入れる まだインストールしてなければ↓を参考に […]
続きを読むUbuntu 22.04: 古い Docker images を削除する
もうずっと前にビルドして以降、もはや使ってない docker images の残骸がローカルにいっぱい残ってたのでメモ。 Docker が今どれだけストレージを使ってるかを確認。 6ヶ月以上前にビルドしたイ […]
続きを読むUbuntu 22.04: 自前の Docker registry を立てる
個人用に DockerHub じゃなくて自前の Docker registry を使いたかったのでメモ Docker レジストリの docker 版を使う。 -v オプションでイメージ保存用のディレクトリを […]
続きを読むUbuntu 22.04: cron で 10 秒おきに script を実行したい
便利だったのでメモ。 cronは最低1分おきにしか実行出来ないけど、そのcronで実行する script を工夫する。 例えば 10 秒おきに現在の時刻を吐き出す script を書く。 これがホームディレ […]
続きを読むUbuntu 22.04: Minikube + docker で Nvidia GPU を使う
個人用に GPU が使える K8S 環境が欲しかったのでメモ。 Docker まずは docker のインストール それから、現在のユーザーでも docker を使えるようにする。 これで一旦 […]
続きを読むUbuntu 22.04 で SSH サーバーを使う
他の PC から ssh で入りたかったのでメモ。 /etc/ssh/sshd_config を編集して諸々コメントアウトされてるところを解除 password auth と pubkey auth をとり […]
続きを読む