
Google Cloud Storage Transfer(ST)の限界
・誰でも簡単にノーコードでStorage間でデータ転送できることが魅力的
・例えば、Google Cloud StorageのバケットAからバケットBに定期的に自動転送
・ただし、任意の日時で繰り返し転送できない 繰り返し設定は時間・日・週のみで、月次も不可
・工数はかかるが利便性や長期的な運用を考慮すると、Cloud Runでフルスクラッチ開発がベター
・Cloud Runなら、任意のスケジュールで転送できる
Google Cloud Storage(GCS)のようなStorage間でデータを転送したい時に役立つのがGoogle Cloud Storage Transfer(ST)です。
便利で簡単に設定できるため、バケット間でデータを転送する時など、知らないうちに利用していたという方も多いと思います。
STは、たびたびアップデートされており、AWS(S3)からGCSも転送できます。
STのユースケース GCSのバケット間の転送
STで、よく使われているケースとして、GCSのバケット間の転送があります。
特に、KPIをトラッキングする企業様において、社内外のデータをGCSで管理されており、それらを運用して統合分析する場合に役立ちます。
実装もとても簡単です。

転送ジョブを作成します

次のステップへ進みます

ソース(転送元)を指定し次へ進みます

転送先を指定し次へ進みます

ジョブの実行タイミングを指定し次へ進みます(本日のテーマです)

お好みの設定で作成し設定完了です
STには限界もある
このように設定すると、任意のタイミングでStorage間のデータを自動で転送します。
ノーコードで簡単な操作だけで、このようなデータ転送を構築できます。
しかし、STには限界もあります。
例えば、毎月1日AM9時に1回だけ転送を設定します。

カスタム頻度で実行を選びます

頻度に「月」がないため設定できません
1時間毎や2週間毎等は設定できますが、毎月は設定できません。
そのため、任意の日時で繰り返し転送できません。
Google Cloud Run Functionsのフルスクラッチでカスタマイズ対応
このようなケースの場合、初期工数はかかりますが、Google Cloud Run Functionsのフルスクラッチ開発がベターになります。
Cloud Run Functionsなら、毎月1日AM9時に1回だけ転送といったように、任意の日時でピンポイントに転送できます。
STはデータ容量やファイル数で課金されるため、それらが多い場合の費用も抑制できます。

Cloud Run FunctionsはPythonに対応。イベント駆動で様々なケースに応じた処理がサーバレスにできる。
Google Cloud開発お承ります
datacompanyでは、お客様のご予算・環境に応じたクラウド開発を承ります。
お困りごとがございましたら是非ご相談ください。
