SalesforceとBigQuery連携
プレビュー環境で年間200万円削減
・Cloud Data FusionからBigQuery Data Transfer Serviceに切り替え
・Cloud Data Fusionの年間コスト200万円を削減
※執筆当時の情報です。Basic月間利用費$1,100、為替レート150円で計算したものです
「SalesforceとBigQueryを連携したい」というご要望が多いことから、このページをご覧の皆様も、「あること」にお困りではないかと思います。
それは「連携コストが高すぎる」ことです。
SalesforceとBigQueryを連携する方法はいくつかありますが、最も簡単でメジャーな方法はCloud Data Fusionです。
Cloud Data Fusionは、外部ソースとGoogle Cloudを連携できるノーコードツールで、ETL / ELT パイプラインを簡単に構築できます。
しかし、ノーコードで簡単にできるものの、本番運用に適したBasic以上の利用料は月間約$1,100～と高額で、$1=150円として月16.5万円、年約200万円もかかります。
しかもこの料金、連携するデータ量が0ゼロであっても発生します。それは、Cloud Data Fusionの仕組みに理由があります。
Cloud Data Fusionでパイプラインを構築するためには、最初にインスタンスを立てなければなりません。
皆様専用の仮想サーバをGoogle Cloud に１つ立てるようなものとイメージいただければと思います。
このインスタンスが時間課金となっており、連携するデータ量が0ゼロであっても料金が発生するというわけです。
連携を開始してから、しばらくの間、たいていのお客様はデータ連携を自動化できたことで喜ばれます。
しかし、事前に料金のことをわかっていたとしても、Googleからの高額請求が続きますと、「コストカットできないものか・・・」とご相談をいただくケースが多いです。
過去には「毎月1日だけインスタンスを作り、データ連携後にインスタンスを削除できないでしょうか」といったご相談をいただいたこともありました。
しかし、その方法では、Salesforceのデータ鮮度が落ちてしまい、本業への影響が大きく、断念されておられました。
2024年3月Googleは「BigQuery と Salesforce Data Cloud 間の双方向データ共有が一般提供開始」とリリースしました。
これにより、Cloud Data Fusionなしで、SalesforceとBigQueryを連携できるようになりました。
現在、この機能はプレビュー版として提供されており、料金も無料です。
パイプラインを切り替えるだけで、年間200万円のコストが削減できます。
プレビュー版とは、本番リリース前のテスト環境のようなものです。
プレビュー版にはGoogleのSLAもございませんが、現時点で問題なく稼働しており、Cloud Data Fusionに戻されたお客様は一社様もございません。
datacompanyでは、お客様のご予算・環境に応じたクラウド開発を承ります。
お困りごとがございましたら是非ご相談ください。
Google Cloud Storage（GCS）のようなStorage間でデータを転送したい時に役立つのがGoogle Cloud Storage Transfer（ST）です。 便利で簡単に設定できるため、バケット間 …
生成AIが全盛期ですが、従来のAIもいまだ現役です。 特に、売上予測など、日次バッチでロジックを安定して稼働させたい時に重宝します。 Google Cloudには、たくさんのAIがあります。 SQLやPythonはフルス …
SalesforceやAWSのRedshift等の外部ソースをGoogle Cloudへ連携する方法はいくつかありますが、最も簡単でメジャーな方法はCloud Data Fusionです。 Cloud Data Fusi …
「WEB広告とTVCM どちらにお金を使うべきかわからない」 「デジタル広告とオフライン施策 最適な予算配分がわからない」 これらは、WEB広告などデジタル広告と、TVCMを中心としたオフライン広告を併用している企業様に …
生成AIの進化が止まりません。 ChatGPTに始まり、Gemini、Claudeなど、様々な生成AIが登場しています。 最近では、NotobookLMのようなAIアシスタントも使われており、クローズドな情報データを使っ …
2025年8月1日から、GoogleSQLがBigQueryのデフォルト言語になることがGoogleより発表されました。 今後も、レガシーSQLを使う場合、オプション等で明示的に指定する必要があります。 レガシーSQLを …
ETLでGoogle Cloud Storageに保存したエクセルを、BigQueryでテーブル化する時に役立つのがGoogle Cloud Run Functions（Cloud Run 関数）です。 Google C …
BigQueryのようなDWHに社内外データを集約したい時に役立つのがBigQuery Data Transfer Service（DTS）です。 馴染みのない名前かもしれませんが、Google広告のデータをBigQue …
「LightweightMMM（Lwmmm）」の後継版となるGoogleの新しいMMM「Meridian」が一般公開されました。 Meridianについては、すでに多くのサイトで紹介されており、ご存じの方も多いと思い …
先月末、Googleの新しいMMM「Meridian」が一般公開されました。 従来の「LightweightMMM（Lwmmm）」の後継版とされています。 Lwmmmにはない機能も新たに実装され、大幅なモデルチェンジとな …
Googleサーチコンソールを見ていると、どのような検索キーワードで弊社サイトに訪問されているか、傾向がある程度わかります。 そのなかで、ある検索キーワードで訪問される方が常に一定数いらっしゃいます。 それは「Looke …
前回は、Cloud Data Fusionを停止して年間200万円コスト削減したことをご紹介いたしました。 今回は、Amazon RedshiftからGoogle BigQueryへデータ連携を事例に、Google Cl …
