MMMが失敗する典型的なパターン

MMMが失敗する典型的なパターン

・デジタルやオフライン広告の予算配分を最適化できるMMM(マーケティング・ミックス・モデリング)
・MMMへの誤解。MMMは優れた手法だが、万能薬ではない
・広告主側のデータ特性や結果の判断も重要。
・MMMを導入しても失敗する典型的なパターンをご紹介

「WEB広告とTVCM どちらにお金を使うべきかわからない」

「デジタル広告とオフライン施策 最適な予算配分がわからない」

これらは、WEB広告などデジタル広告と、TVCMを中心としたオフライン広告を併用している企業様において、よくあるお困りごとです。

そのような企業様においては、MMMが有効な判断材料になります。

デジタルやオフライン広告の予算配分を最適化できるMMM

MMMは、TVCMやデジタル広告、プロモーションなど複数のマーケティング施策が、売上や利益にどのように影響を与えるかを定量的に分析し、予算配分を最適化する手法です。

既存の手法と異なり、メディア横断での分析により、公平・客観的に評価し、予算配分を最適化します。

3rdPartyCookie規制等により、広告効果のトラックが難しいことも背景に近年注目されています。

しかし、MMMを導入しても、失敗する場合があります。

弊社の過去の事例をもとに、典型的なパターンをご紹介いたします。

MMMへの誤解

MMMは広告手法の効果を可視化し、各予算を最適化できる優れた手法です。

しかし、万能ではありません。

まず、背景として、MMMへの過度の期待と誤解があります。

よくある誤解としては、次のようなものがあります。

「MMMがあれば全部わかる」

「MMMがあれば、予算最適化もキャンペーン施策も完璧に最適化できる」というわけではありません。

MMMは、過去データに基づく統計的な推定です。

因果関係は確定できません。

シナリオ設計や意思決定の補助ツールと考えるのが適切です。

「MMMは短期施策の効果も測れる」

「MMMは、日次やキャンペーン単位で効果を判定できる」というわけではありません。

MMMは、週次の集計データを用いるケースが多いです。

日次データは、サンプル数が多く確保できる反面、データのぶれも大きくなり、結果として、予測精度もぶれやすくなります。

一般的には、2年程度のデータが必要で、それらを週次に変換して分析します。

日次単位や短期的な細かい効果測定には不向きです。

それらを求めるならA/Bテスト等が適切です。

広告データの特性や、分析結果の判断も重要

MMMの制約や効果を理解して分析しても、失敗する場合があります。

「広告主様のデータに大きな偏りがある」

例えば、TVCM、GDN、YDAを出稿しているものの、TVCMの出稿期間が極端に少ない場合等です。

このような場合、TVCMのデータに欠損が多く、TVCMの効果を適切に評価できません。

各メディアの出稿頻度に、なるべく偏りがないことが望ましいです。

「分析結果を受け入れられない個別の事情がある」

MMMの分析結果は、必ず正しいわけではありませんが、統計に基づくもので、人間の直感を排除した客観的な評価になります。

多くの場合、分析結果は担当者様の直感に近しいように思いますが、分析結果を受け入れられない個別の事情がある場合、MMMは成功しません。

前述の広告データの偏りにも関連しますが、例えば、広告予算5,000万円のうち、TVCMが4,000万円で、残りがデジタル広告といったように、予算配分に大きな偏りがある場合です。

このような場合、広告主様が予算を最適化しづらい個別の事情を抱えていることがあります。

このケースの場合、TVCMの予算が多すぎることを担当者様は感じながらも、MMMで最適化を試みたが、個別の事情があるがために客観的な結果も受け入れられず、ダイレクトな予算アロケーションができないといった具合です。

そのような場合、弊社ではMMMの効果が見込めないため、個別の事情が解決するまでの間、MMMは中止することをお勧めしております。

Google Cloud開発お承ります

datacompanyでは、MMMのSaaS「MMMトラッカー」やGoogleの最新MMM「Meridian」の受託分析をはじめ、お客様のご予算・環境に応じたクラウド開発を承ります。

お困りごとがございましたら是非ご相談ください。

お問い合わせフォーム

GoogleのMMM「Meridian」を実装した印象と注意ポイント(前半)

GoogleのMMM「Meridian」を実装した印象と注意ポイント(前半) 

・分析レポートが秀逸 とても使い勝手が良い
・MMMの分析機能が向上 リーチとフリクエンシー等も反映できるようになった
・MMM Data Platformとの連携により、Google検索データも反映できるようになった
・ROIの事前分布をカスタマイズすることで、ビジネス知見の反映がより簡単になった
・カスタマイズにあたり注意すべきこともあるが、デフォルト利用でも十分に試しがいのあるツール
※2回にわけて投稿します。本記事は「分析レポート」と「リーチとフリクエンシー」についてです。

先月末、Googleの新しいMMM「Meridian」が一般公開されました。

従来の「LightweightMMM(Lwmmm)」の後継版とされています。

Lwmmmにはない機能も新たに実装され、大幅なモデルチェンジとなっています。

Meridianについては、すでに多くのサイトで紹介されており、ご存じの方も多いと思います。

なるべく他のサイトと内容が重複しないように心がけておりますが、Meridianを実装した印象や注意ポイントについてまとめました。

「ビジネス的にもエンジニア的にも、とても使い勝手の良いツール」

Meridianを実装した印象は「とても使い勝手の良いツール」ということです。

リーチとフリクエンシーを反映できるなど機能面はもちろんですが、データエンジニアの観点においても、Lwmmmより実装が容易でした。

例えば、Lwmmmの実装には、ドキュメントやGithubから必要なプログラムを精査し、実装とエラーを試行錯誤していたと思います。

一方、Meridianは、効率的な設計になっており、モデル仕様や実装類のドキュメントも充実しています。

インストールガイドに従うだけで、デフォルト仕様であれば容易に実装できます。

また、レポートもとても見やすいです。

Lwmmmでは、基本的に図表類はPNG出力でしたが、Meridianではhtmlファイルで出力されます。

このhtmlファイルがとても素晴らしく、MMMの分析結果が綺麗にまとまっています。

視認性も高く、社内共有等にも適した仕様です。

Meridianのグラフの1つ。予算の最適化前後のRevenueが容易にわかる。htmlファイルでオンマウスに対応。

PNG出力等もできる。

英語で出力されるがchromeの翻訳機能を使えば読み解ける。

いくつかサンプル画像をとりあげましたが、実際にレポートを見ていただくと、Meridianの優れたポイントを感じていただけると思います。

Meridianのサンプルデータを使ったMMM分析レポートをアップロードしました。

新機能のリーチとフリクエンシーを反映したレポートです。

ぜひご覧ください。Meridianのレポートは2つ出力されます。

※PCから閲覧を推奨します。スマートフォンの場合、横向きにすると比較的見やすいです。

「リーチとフリクエンシーを反映できる

まず、Lwmmmから大きなUpdateとしては、リーチとフリクエンシーを反映できることです。

Lwmmmでは、インプレッションをモデルに反映できますが、リーチとフリクエンシーは反映できません。

例えば、インプレッションが100の場合、「1人に100回配信」「50人に2回ずつ配信」どちらのケースもありえますが、Lwmmmはリーチとフリクエンシーを反映できないため、どちらも同じものとして評価します。

Lwmmmにおいても、Hill関数等で広告効果のサチレーションを反映できますが、仮に、「50人に2回ずつ配信」だった場合、サチレーションは発生しづらいと考えるのが妥当です。

そのため、Lwmmmでは、これらを考慮できないことが弱点の1つとされていました。

一方、Meridianでは、リーチとフリクエンシーをモデルに反映できるようになりました。

これにより、Lwmmmより高い精度で分析が可能になりました。

サチレーションや最適なフリクエンシーが簡単にわかることで、広告運用者がキャンペーンを最適化しやすくなりました。

このUpdateにより、モデル精度がどの程度高まったかについて、Googleの論文に記載されています。

左側の表がリーチとフリクエンシーを反映したモデルです。右側が従来のモデルです。

モデル精度指標の1つであるR2で評価し、すべてのパターンにおいて精度が高くなっています。

また、Train(教師データ:モデルを作るデータ)と、Test(評価データ:モデルを評価するデータ)との比較において、従来のモデルより安定していることがうかがえます。

従来のモデルは、Geo(地域別)ではTest精度が下がりますが、National(全国)では反対にTest精度があがっています。

機械学習等でモデルを作る場合、Testも精度がぶれず、安定したモデルを作ることが大切ですが、従来のモデルは少しぶれています。

一方、Meridianはリーチとフリクエンシーを反映することで、モデル精度が安定していることがわかります。

式を見ると、Meridian(上の式)は、Hill関数※1でフリクエンシー※2を処理していますが、リーチ※3は処理していません。
※1 式の真ん中あたりHill。広告効果のサチレーションを計算する関数。
※2 Hill関数の右となりf
※3 Hill関数の左となりr

リーチはHill関数の外側にあり、リーチとフリクエンシーの処理をわけています。

MAPEを使わずR2のみで精度評価していることや、リーチをHill関数で処理しない≒リーチとKPIの関係を線形で想定していること等について議論の余地はあるかもしれませんが、このような仕組みで、インプレッションでサチレーションを計算していたLwmmmより精度が高くなります。

このようにお伝えすると、「全メディアのリーチとフリクエンシーを入手できるかわからない」とご心配されるかもしれません。

ご安心ください。全メディア対応がマストではありません。

Meridianでは、入手できるメディアについては、リーチとフリクエンシーを使い、入手できないメディアはインプレッションで分析できるように自動で処理されます。

この論文を見る限り、先ほどの式で例えると、入手できないメディアの場合、フリクエンシーfをインプレッションに置き換え、 リーチr を 1 に置き換えるような処理(結果的に従来のモデルと同じ)をしていると思われます。

また、リーチとフリクエンシーを使う場合、インストールガイドにそってプログラムを修正する必要がありますが、以下のようにリーチとフリクエンシーを入手できるメディアを追加する形式で扱いやすいです。

もし、リーチとフリクエンシーを入手できるメディアがあれば、利用されることを強く推奨いたします。

リーチとフリクエンシーを処理するプログラムの一例。correct_media_to_channelでインプレッションのメディアを処理し、correct_reach_to_channel 以降のプログラムでリーチとフリクエンシーのメディアを処理。

前半はここまでになります。

後半に続きます。

Google Cloud開発お承ります

datacompanyでは、Meridianの受託分析をはじめ、お客様のご予算・環境に応じたクラウド開発を承ります。

お困りごとがございましたら是非ご相談ください。

お問い合わせフォーム