目次
インクリメンタリティとは
広告はビジネスにどのようなインパクトを与えられたのか。それは広告に携わる者にとっての命題です。では、元々購買意向が高かった方やアクション直前だった方が広告経由でコンバージョンに至った場合、広告のインパクトはどの程度あったと言えるのでしょうか。このような問いに答えるべく、GoogleやFacebookなど各媒体は「ブランドリフト調査」「コンバージョンリフト調査」といった調査メニューを用意しています。たとえばFacebookでは”広告がもたらした効果の増分”を「インクリメンタリティ」と称し、「広告効果を正しく把握すること」についてイベントでも積極的に発信し、啓蒙を図っています。
インクリメンタリティとは、"広告がもたらした効果の増分"。
同じコンバージョンでも
・広告によって態度変容が起こり購買意欲が高まったユーザー
・広告に接触したものの、もともと購買意欲があったユーザー
・広告に触れなかったユーザー
を把握することが、PDCAをうまく回す鍵となります。#AWAsia pic.twitter.com/0c29NAJHyd— Instagram マーケティング JP (@FBBusinessJP) May 28, 2019
これらの媒体主導の調査は、Platformの持つ大量のデータを用いており精度が高い一方で、媒体間での比較がしにくい、分析のロジックがブラックボックスになりやすいといった課題があります。そこで、広告が純増できた部分を「True効果」と定義し複数媒体間でも比較・評価できるアプローチ「True Lift Model™」を開発された電通デジタル 三谷壮平さんに、「広告の真の効果」をどう測定し向き合うべきかお話しいただきました。
参照リンク：
今回の話し手：株式会社電通デジタル 三谷壮平さん
話し手：
株式会社電通デジタル
広告事業 ストラテジー部門 ソリューション戦略部
部長
三谷 壮平さん
聞き手：
アタラ合同会社
チーフコンサルタント
浅田 梨沙
今までのデジタル広告に感じる課題
浅田：まずは自己紹介をお願いします。
三谷：電通デジタルの三谷です。2010年にパフォーマンス系クライアントのデジタルROI改善業務からキャリアをスタートし、生保、エステ、ECなど様々な業種でCPA向上のための様々な施策を立案・実行する“パフォーマンス・ファースト”の考え方を身に付けました。CPAで説明できない広告効果に意味はない、という価値観で育ったとも言えます。その後大手ブランディング系クライアントのデジタルマーケティングを推進する部署に移りましたが、あくまでパフォーマンスを第一に置いた設計にこだわり、各顧客企業の事業成果をきちんと説明するKPI拡張をテーマとしています。アドテクノロジーやデータ分析手法を駆使した、運用基盤の構築や効果測定モデルの設計が得意領域です。
浅田：今回は広告の真の効果、「True効果」についてお話しいただきたいと思います。このような指標を開発された背景からお伺いできますか。
三谷：今までのデジタル広告はリターゲティング広告偏重の傾向がありました。もともと特に日本はパフォーマンス系の顧客企業を中心にデジタル広告が発達してきたこともあり、CPCやCPAでの評価に過度に最適化していないか？ という課題意識があります。本来的にデジタル広告の良いところは、ターゲティングできるところと、成果が測りやすいところかと思います。良い面では効率的な訴求ができるということだし、事業成果に貢献しているとテレビや新聞よりもダイレクトに説明しやすいです。しかし裏返すと、もともと需要のある人に対しても広告を配信できてしまう、その結果としてもともと需要がある人についても、広告の効果ではないにも関わらず広告効果があると言えてしまう側面もあったんじゃないのかなと思います。
具体的に例として挙げると、既に行列のある人気店で、行列に並んでいる人にクーポンを配るという施策を広告会社が提案し、クーポンを配った結果、「1,000人が来店しました」と言っても、お店の人からすると「新しい需要をつくったわけではない」ということになります。同じようなことがデジタル広告、特にリターゲティング広告で起こっているのではないかと思っています。
三谷：また、よくあるデジタル広告の例として、ターゲットを“30代・男性・既婚者・子供あり・地方在住・直近に車検がある”と設定し、新車発売のメッセージを伝えることで試乗予約を100件獲得したとします。しかしよく考えてみると、このターゲットはそもそもいかにも車を買いそうな人なので、広告がなかったとしても試乗予約は70件獲得できていたかもしれません。この70件は広告がなかったとしても獲得できた数なので、100件全部を広告の効果とは言えないはずです。
特にリターゲティング広告の対象は、そもそもウェブサイトに来ている人なので、さきほどの例で言えば広告がなくても予約してくれた70件に近しいユーザーの可能性が高いわけです。このような既に需要がある人に対して何回も広告を表示させていくと、見た目上の成果は上がり、見た目上のCPAも安くなりますが、実際にはほとんどの場合広告がなくても予約してくれたであろう人なので、事業成果にはあまり貢献していないことになります。本質的な課題を突き詰めていくと差分の30件の部分こそが本来の広告効果であり、その30件をいかに伸ばしていくかというところが目標となるはずです。
浅田：「新しい需要をつくる」のが広告の真の目的ということですね。
三谷：そうですね。そしてこの課題意識は、CPA改善業務を担当してきた経験がベースになっており、CPAは分かりやすいけれど、ほんとうにクライアントの事業成長に貢献できているのか？ というパフォーマンス・ファーストの考えを突き詰めたところにある発想かなと思っています。
「広告の真の効果」を可視化することでリターゲティング偏重を変えていきたい
三谷：このような「本来の広告効果はどのくらいあったのか」を評価するモデルとして開発しているのが「True Lift Model™」です。
先ほどの例で100件という見た目上の数字を、True Lift Model™ではTrue効果（真の広告効果）と広告なしでも発生したであろうベース値に切り分けます。切り分け方については薬の効果検証に使われるランダム化対照実験という考え方を参考にしています。同一条件のグループを二つに分け、片方には投薬し、片方には投薬なしでその差分をとります。一人のユーザーで両方を観測することはできませんが、投薬群と投薬なし群のようにグループで見ることで、統計的に差をみることができるという考え方です。
これを広告にも応用し、同一の条件（同時期、同媒体、同セグメント）のターゲティンググループをランダムに二つにわけ、片方には広告表示、もう片方には広告非表示でその後のCVRがどう違うかを比較してその差分を評価していくというものになります。
三谷：分析で明らかにしたいことは「広告接触」という介入の効果なので、逆に言えばそれ以外の条件が同じにならないと成り立たちません。なので、介入前のもともとの母集団は同一の条件のグループでなければならないのと、介入群と非介入群はランダムに分けないといけない点がポイントです。ランダムに分けることで、サンプルが十分にあれば母集団の中のさまざまなその他の要素が統計的に等しくなり、差分で評価した時に相殺できるわけです。
具体的にはユーザーの属性・シーズナリティの影響・競合の出稿などの事前にコントロールできない様々な要素が、介入群も非介入群も同様に影響を受けることで相殺され、差分は広告接触のありなしだけになるため、広告の効果だけを純粋に比較することができます。これがランダム化対照実験の良いところです。エビデンスレベル、つまり検証の“確からしさ”では一番高いレベルの検証方法です。
比較対象の設定についても、異なるターゲット同士を比較しない、広告効果以外のバイアスが大きいものを比較しないといったポイントがあります。たとえば同じターゲットに対して通常バナーとダミーバナーを出し分けて比較をするという手法もターゲティングが同じだったら良さそうに見えますが、実はここにも落とし穴があり、通常バナーは車好きユーザーに配信最適化される一方で、ダミーバナーは（ダミー訴求である）チャリティ好きユーザーに配信最適化されてしまうといったバイアスもあります。
そこでTrue Lift Model™では、バナーのViewと非Viewの情報を比較対象としています。広告枠はViewableなものと非Viewableな領域のものがあります。その中で非Viewable領域のバナーはユーザーには見えていないけどターゲティングは同一、かつバナー自体も本来見せたいバナーと同じものなので変に配信最適化されることもないため、非Viewableのバナーを疑似的なダミーバナーとして扱い、ユーザーの広告接触がViewableだったのかそうじゃないのか、3PAS（第三者配信ツール）のログデータを分析することで判別し、Viewable接触した人のCV数とCVR、非Viewable接触のCV数とCVRの差分をTrue効果とするという計算をしています。
浅田：第三者配信のデータを使われているんですね。
三谷：はい。Viewか非Viewかの割り当てはランダム性が高いですし、一般的に非Viewは特に意図しなくても通常50％前後発生してしまう、配信の際のいわば副産物として生まれるものなので、分析のために特別な運用調整をする必要がありません。また、ダミーバナーとして無関係のバナーを出すのと異なり、CPC課金やvCPM課金であれば無駄な配信コストが発生しないのもクライアントから評価いただいているポイントです。
第三者配信を受け入れている媒体であれば、ターゲティングがなんであれ媒体を横断して汎用的に分析できるのもこの手法のメリットですね。リターゲティング広告のユーザーリストを分割して差を取る手法もあるのですが、これだとリターゲティング広告しか評価できません。True Lift Model™はリターゲティング以外も含めて同じモノサシで評価できます。逆に言えば、Viewと非Viewで分けるので、媒体側が第三者配信を受け入れている必要があります。具体的にはSizmekやDCMになりますが、これらはFacebookなどSNS系を対象にできません。
Facebookについては同じような考えに基づいたLift APIというものが用意されており、これを使うことによって似たような指標を算出しています。Facebookはオーディエンスデータをたくさん保持しており、なによりユーザーIDをcookieベースではなく人ベースで保持しているので、True Lift Model™よりも精緻にリフト率を出せます。
また、Facebookとはこの領域において一緒に研究を進めています。僕たちはTrue Lift Model™と呼んでいますが、Facebookではインクリメンタリティ、いずれも意図している内容は同じであり、Facebookのより精度の高いアプローチに対して僕たちが近づくために何ができるかというところを一緒に研究開発している状況です。
浅田：そうすると可能性としてはFacebookと電通デジタルの独自調査メニューが開発されることもあるということでしょうか。
三谷：可能性としてはなくはないですね。目指していけたら良いなと思います。我々が目指しているのはあくまで、True効果に立脚した評価をデジタル広告評価の新しいルールにしていく、という点です。True Lift Model™はその手段のひとつに過ぎないので、Facebookをはじめとした各社の類似の手法については、決してライバルではなく協力していくものですし、より良いアプローチがあればTrue Lift Modelにこだわらず、最適なものを採用すべきです。
具体的に今取り組んでいることのさわりだけ紹介すると、僕らのアプローチはViewと非Viewでやっていますが、単純なViewと非Viewだけだと完全なランダムの割り付けにはならないと思っています。特にリターゲティング広告では、よりCVRが高いユーザーに対してBidが高くなり、媒体における優良枠に出やすくなりますが、優良枠はViewableの比率が高いのでViewのCVRが高く出てしまいがちというバイアスがあることが分かっています。そうすると、本来はリターゲティング広告の過大評価を下げたいと思っておこなっているのに、リターゲティング広告の方がTrue効果が高いという結果になりかねず、それでは本末転倒になってしまうんです。これを補正するために他のオーディエンスデータを組み合わせて補正する、という取り組みをおこなっています。
浅田：それはどのようなデータですか？
三谷：People Driven DMP®のデータを使っています。People Driven DMP®にはユーザーごとの属性データが格納されており、この属性を人ベースでViewと非Viewに紐づけて前述のような偏りを補正しています。
参照リンク：
三谷：2018年のリリース当初はViewと非Viewだけで切り分けていましたが、直近では研究も進み、ご紹介したような高度なロジックを組み込んでより精緻にTrue Liftを出せるように進化しています。
浅田：媒体のコンバージョンリフト調査を実施する場合と、True Lift Model™を使うのではどのような違いがあるのでしょうか。
三谷：まず、第三者配信ツールを使うことでいろんな媒体を横断して見ることができる点が挙げられます。各媒体の調査は、精度は高いですがどうしてもその媒体の中に閉じた分析になってしまう課題がありました。これを横串で並べて比較できるという点が大きいですね。また、各媒体の調査はロジックがブラックボックスで、結果だけ表示されることが多いのですが、我々は数値算出のプロセスを開示することが可能なので、透明性を求める企業には向いているかなと思います。
この透明性の部分にもかかわるのですが、単に評価だけで終わるのではなくTrue Lift Model™で評価したうえで、次にどういったターゲットを狙っていくべきか？の分析を同時にできる点も強みです。この点は、後ほどTrue Target Discovery™としてご紹介します。
浅田：確かに媒体の調査を実施したことはあっても、次の施策に繋げにくいという課題がありました。
三谷：パフォーマンス広告を中心に実施していると、CPAが見合いにくいため潜在層施策はあまりできてきませんでした。この課題に対してTrue Lift Model™を提唱しているわけですが、特に電通グループが潜在層施策というと、ともすればKPIをあいまいにしている、と思われることもあります。しかし我々は、潜在層施策であってもあくまでパフォーマンス・ファーストにこだわっており、下記の3つの要素を満たすことを意識しています。
一つ目がAccountable、最終成果への貢献をごまかさないということです。
二つ目がActionable、分析のための分析をやりがちですが、そうではなく次につながるような分析をしていくということです。
三つ目が一番大事で、Sustainable。こうした潜在層施策はお試し的に実施することは多いですが、結局事業成長にどれだけ貢献したかという企業の納得感が得られないと継続できないと思います。そこを納得したうえで続けてもらうような、サステイナブル、つまり持続可能な施策にしないといけないと思っています。
それを実現するためのその物差しとしてTrue指標を開発しました。単純なCPAだけでみるとリターゲティング施策には勝てないけれど、需要をつくった積み増し分＝True CPAでみたら潜在層施策の方が良い可能性があり得るかもしれない、かつそれを客観的な数値で立証できるという考え方なわけです。
三谷：サステイナブルさについて補足すると「EASI™ Monitoring」というダッシュボードを提供しておりまして、これでTrue Lift Model™の数字やFacebookのリフトテスト結果も表示できるようにしています。これによってレポートの加工なしに、継続的に指標を確認しPDCAを回していくことが可能です。
参照リンク：
三谷：True効果を可視化することでリターゲティング広告偏重の現状を変えたいと思っています。True効果だけに絞ったCPAを算出すれば、リターゲティングよりも潜在層施策の方が実はTrue CPAが安かったと、潜在層施策にも予算を寄せるという提案を、根拠をもって言えるということがポイントとなります。今までも潜在層施策をやらないといけないという意識を持っていたクライアントにとって、見た目上とはいえリターゲティング広告に比べてCPAが何倍も高い潜在層施策をやり続けることは勇気のいることだと思います。
もちろん代理店としてもクライアントの勇気に甘えるのではなく、きちんと数値的に効果を立証する責任を負っているので、True CPAのように数値的な根拠を持って説明できることが、継続的に潜在層施策をやっていくための一つの物差しになればよいなと思っています。
アトリビューションとの掛け合わせ
浅田：True効果にアトリビューションを加味したスコアリングは可能なのでしょうか。
三谷：可能です。True Lift係数というのを算出してTrue CVに掛け、最終効果としてお見せできます。
三谷：こちらの図で広告Aから広告Dまであった場合、アトリビューション評価の配分は任意のモデルで配分します。説明をシンプルにするために、均等配分を採用しましょうか。そうすると広告Aが0.25 CVになります。そのうえで、各広告のTrue効果を示すTrue Lift係数はそれぞれの広告ごとに算出できるので、その係数をアトリビューションスコアに掛け合わせます。たとえばリフト係数が60％だとしたら、40％はベース値になります。そこで0.25×60％ということにして40％分を切ります。結果、広告Aの最終効果は0.15CVになるわけです。他の広告についても同様に掛け合わせることで、各広告のTrueアトリビューションスコアを算出します。
最終的なCV数もリフト係数分除外されています。先にアトリビューション配分をして、そこにリフト係数をかけることによって後からベース値を除外するという考え方です。アトリビューション分析とリフト係数を掛け合わせて最終的なTrueスコアを出すという仕組みは特許出願中です。
True来訪率ベースでユーザー属性を発掘する「True Target Discovery™」
三谷：最後にTrueソリューションの広がりについてご紹介します。True Lift Model™で分析した結果、リターゲティング広告の需要創造効果が小さかったとして、ではリターゲティング広告以外にどう広げていくかという点について、今まではウェブサイトにタグを設置してウェブサイト来訪者がどういう特性を持っているかを分析し、潜在層の発掘を行うのが一般的でした。しかしこれも、自動車メーカーのサイトには車好きなユーザーが多く来ているなどのウェブサイト特性のバイアスがかかっているため、もう一つのTrueソリューションである、True Target Discovery™というものも開発しています。
True Target Discovery™では広告Viewの来訪率と非Viewでの来訪率の差分でターゲットを評価し、True来訪率べースでのユーザー属性を発掘することができるようになります。ユーザー属性の評価には、先ほどもご紹介した電通グループ独自のDMPであるPeople Driven DMP®のデータを使うことが多いです。このアプローチであれば、配信後のログに後から属性データを紐づけて集計ができるので、分析用に予算を取って潜在層向けに広告配信を試すことなく、既存施策の配信データのみで分析できる点がメリットです。まずはリターゲティング広告偏重に対してTrue CPAという適切な指標で評価、True Target Discovery™で潜在層を発掘するというPDCAが可能になります。
浅田：より次の施策につなげやすくなりますね。
三谷：Trueシリーズで目指していることをまとめると大きく3つあります。
一つ目は、広告の接触後の行動効果を全て評価するのではなく、広告による真の需要創造分、積み増し分だけを評価するという考え方を今後の標準とすること。いかに精緻にやっていくかというところのロジックを磨き、クライアントや媒体にも積み増し分だけ評価するということを広めていきたいと思っています。
二つ目は、デジタルの広告効果に限らず、すべてのマーケティング効果検証において、比較対象となるターゲットの条件が揃っており、正しい比較ができるかを常に考えるということです。アンケート調査もそうですし、あるいは後ほどご紹介するようなオフラインでの来店や購買といったKPIの拡張の時にも意識しています。
三つ目は、評価だけで終わってしまうのではなく、建設的な話になるように、True Target Discovery™を使って新しいターゲットを発掘できるという打ち手も含めてセットで考えクライアントに提案し考えていくことです。
今後は来店指標や購買指標とも掛け合わせられるように
浅田：「True Lift Model™」「True Target Discovery™」「True Store Visit™」と3種類発表されているTrueシリーズ（※2019年7月現在）ですが、今後開発していきたい分野はありますか？
三谷：一つがTrue Lift Model™の広がりで、計測できる指標を広げていくというところがあります。具体的には来店指標や購買指標なども掛け合わせていくというところで、購買データをお持ちのベンダーさんと交渉し、オフラインでの購買データを掛け合わせて、広告に接触した人がどれだけ実店舗での購買が、しかもリフトベースで伸びたか、をレポートしていたりします。
購買の中でもデジタル広告比率が低いクライアント、特にFMCG（Fast Moving Consumer Goods）系は広がりが大きそうだと思っています。FMCG系はWeb上にKPIがおけないことが大きくて、たとえばジュースを購入するときにWebで購入する人はあまりいないですし、Webで比較検討するものでもないので自社サイトへの訪問をKPIにするのも難しい。それならテレビCMをやった方がいいという考えで予算がデジタルに流れづらい現状があります。
でもTrue指標で購買が紐付けられるようになると、一気にデジタル広告比率を高めていく、マーケットを作っていけるのではないかと考えています。特に購買こそTrueで評価するのが大事で、FMCG系の商材は習慣的にもともと買う人が多いので、広告接触後の購買を全て広告の効果で起きたと言うのは強引ですよね。だからこそ、True効果に絞ることで購買指標についてもクライアントの納得感を得やすいと思っています。
浅田：ではテレビCMやOOHとのつながりについてはいかがでしょう。
三谷：テレビCMのTrue効果はなかなか難しくて、今は電通グループ独自のテレビ視聴ログデータであるSTADIAのデータを掛け合わせて、デジタル広告効果のテレビによる後押しという考え方でやっています。True Lift Model™の分析を、CM接触ありのユーザーに配信したターゲティング広告とCM接触なしのユーザーに配信したターゲティング広告でそれぞれリフトを出し、あり群の方がリフトが多いことを目指していて、大きくなっているとしたらそれはテレビの後押し効果だということが言えます。
浅田：テレビ効果があったからWEB広告の効果もこれだけあったと説明ができるということですね。テレビCM単体だと難しいですか？
三谷：STADIA内でもできないことはないですが、どちらかというと問題なのは、CMはある程度の規模で出稿すると9割以上のユーザーにリーチしてしまう傾向があるということです。そうすると比較対象として使うコントロールグループの残りの1割が、そもそもテレビをあまり見ないなどのバイアスの掛かった特殊な人になってしまいます。
浅田：非Viewの定義が難しいから検証が難しくなるということですね。
三谷：このバイアスの補正ロジックとしてTrue Lift Model™の精度向上と同様に、分析によってウエイトバックをかけるなどの補正の取り組みをしています。これによって、パネルの中でのバイアスを取り除くということをしています。
もう一つの広がりのポイントとしては、True Target Discovery™による潜在層発掘のデータソースというところでYahoo!との協業が進んでおり、Yahoo!の属性に基づいてターゲット発掘ができるようになってきています。また、位置情報ベンダーとも協業して、実世界の行動ベースの属性も広げていたりもします。
True効果の考え方はWebのCV指標だけじゃなくて、心理指標や店舗来店、検索転換、商品購買など、データソースさえあればさまざまな目的変数に使うことができます。仕組みとしては第三者配信を使うところまでは一緒ですが、CVとなる目的変数が第三者配信ログで完結しないので、各情報を持っているベンダーさんとIDのマッチングテーブルを作り、第三者配信のログと掛け合わせることで様々な分析が可能です。こうした協業先を増やすことで、さらに多くのクライアントさんに使っていただけるように進化していければと思っております。
浅田：楽しみですね。見た目上のCVを追うだけでなく、真の事業成果貢献をしていきたいと改めて考えさせられました。本日はありがとうございました！
facebook
X (twitter)
LINE
