web-dev-qa-db-ja.com

Google Colab Storage

Google Colabを実行するためのストレージ制限を知っている人はいますか？ 22GBのZipファイルをアップロードしてから解凍しようとすると、容量が不足しているようです。これは、40GB未満のストレージが利用可能であることを示しています。少なくともこれは、TPUインスタンスを実行した私の経験です。

storagegoogle-colaboratorygoogle-cloud-tpu
3
Ferhat

はい、Colabノートブックのローカルストレージは現在約40 GiBです。正確な値を確認する1つの方法（Python 3）：

import subprocess
p = subprocess.Popen('df -h', Shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))

ただし：大量のデータの場合、ローカルストレージは、ノートブックを実行しているマシンに直接接続されていないTPUに供給するための最適な方法ではありません。代わりに、大規模なデータセットをGCPストレージに保存し、そのデータをColabノートブックから調達することを検討してください。 （さらに、Colabローカルストレージの量は変更される可能性があり、Colabノートブック自体はローカルストレージを使用して数時間後に期限切れになります。）

正規のTPU Colabノートブック を見てください。下部には、 TPUを使用したシェイクスピアの検索 へのリンクを含むいくつかの次のステップがあります。そのノートブックには、ColabTPUへのGCP認証を示す次のコードフラグメントがあります。次のようになります。

from google.colab import auth
auth.authenticate_user()

if 'COLAB_TPU_ADDR' in os.environ:
  TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])

  # Upload credentials to TPU.
  with tf.Session(TF_MASTER) as sess:    
    with open('/content/adc.json', 'r') as f:
      auth_info = json.load(f)
    tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.
else:
  TF_MASTER=''
3
Derek T. Jones

現在、colabのローカルストレージの量は、選択したハードウェアアクセラレータのランタイムタイプによって異なります。

# Hardware accelerator none
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

# Hardware accelerator GPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay         359G   23G  318G   7% /

# Hardware accelerator TPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

GPUが必要ない場合でも、そのランタイムタイプに切り替えると、追加の310Gbのストレージスペースが提供されます。

7
marsipan