Google Compute Engine からローカルに大容量ファイルを転送する

2024-01-01

#Google Cloud

#Google Compute Engine

#Google Cloud Storage

バックアップのような大きなファイルを移動する

Overview

Google Compute Engine に構築したインスタンスから、
バックアップ用にファイルをローカルにダウンロードした

大容量の zip になってしまったため、ブラウザのコンソールからのダウンロードは出来なかった
そのため、Cloud Storage を経由して転送した

Flow

Cloud Storage バケットの作成

Cloud Storage のバケットページにて、作成 ボタンを押下
任意のバケットを作成

Cloud Compute からファイルをアップロード

Cloud Compute の VM インスタンスページから、SSH コンソールを開く

gcloud の CLI にログインする
コマンドの指示に従い URL を開き、 Google Cloud の権限を持つ Google アカウントを選択
表示されるコードをコンソールに入力して認証する

長期的な運用では、適切な権限を付与したサービスアカウントの作成などを検討すること

Terminal window
gcloud auth login

Google Storage にファイルを転送する

Terminal window
gcloud storage cp OBJECT_LOCATION gs://DESTINATION_BUCKET_NAME/

転送後、不要であれば gcloud の CLI から先程ログインしたアカウントをログアウトしておく

Check account
gcloud gcloud auth list
Logout gcloud
gcloud gcloud auth revoke YOUR_ACCOUNT

Cloud Compute からファイルをダウンロード

Cloud Storage のバケットページに戻り、作成したバケットの詳細ページを開く

アップロードしたファイルが一覧に表示されているので、ダウンロードする

Cloud Storage バケットの削除

ダウンロードが完了したら、不要なストレージ料金が発生しないよう、ファイルやバケットを削除することを推奨

Ref