《计算广告》笔记

Published: 24 Mar 2017 Category: RTB

了解广告中的基本概念,以及DSP ADX SSP CTR CMP CPC CTD等概念。

0. 广告基础

0.1 重要观念

读者在进入计算广告领域的一开始,就建立起以下重要的观念:
首先,广告不同于搜索或推荐,它首先是一项商业活动,其次才是一项在互联网环境下需要技术优化的商业活动;其次,这一商业活动中广告主、媒体和用户的利益都需要被认真考虑和满足,才能达到整个市场的平衡和不断发展,在线广告市场所有产品和商业形式的演进,都是在这一主题下发生的。 如果大家能在商业逻辑的框架下思考和探索计算广告技术,对理解和学习后文中的产品、架构和算法大有帮助。

0.2 广告的定义

William F. Arens在《当代广告学》[1]中给出的定义:

广告是由已确定的出资人通过各种媒介进行的有关产品(商品、服务和观点)的,通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。

请大家从现在开始,就牢牢建立起这样的概念:

  • 出资人、媒体和受众这三者的利益博奕关系是广告活动永远的主线,这一主线将贯穿于商业和产品形态的整个演化过程中。
  • 其次,该定义阐明了广告必须是有偿的、非人员的信息传播活动,这两点限制,前者使得广告的目 标变得明确,后者使得这一目标可以采用计算的方式来优化,而这些都是计算广告产生的根本基础。

0.3 广告的根本目的,是广告主通过媒体达到低成本的用户接触。

数字媒体的出现,使得效果广告空前蓬勃地发展起来,这主要有两方面的原因: 一是数字媒体的特点可以让我们低成本地投送个性化广告;二是一些在线服务,比如搜索、电子商务,由于可以更清楚地了解用户的意图,也就使广告效果的优化更加容易。

0.4 Online Allocation

合约广告系统中有一个重要的计算问题,即在满足各合约目标受众量要求的同时,尽可能为所有广告商分配到质更好的流量。(既要满足投放量,又要保证投放质量。)

这个问题,我们称之为在线分配(Online Allocation)。如果将各合约的量看做约束条件,将某种意义下的质看做目标函数,该问题可以利用带约束优化(Constrained Optimization)的数学框架来探索。

0.5 搜索排序以优化相关性为目标,但广告排序是以优化投入产出比(ROI)为目标。

0.6 竞价广告(Auction-based Advertising)

抛弃量的保证,而采用最唯利是图的策略来进行广告决策。

在这种模式下,供给方只向广告主保证质即单位流量的成本,但不再以合约的方式给出量的保证,换言之,对每一次展示,都基本按照收益最高的原则来决策。

0.7 广告技术图谱

首先是合约阶段,广告主通过代理公司(Agency)从媒体方采买广告,而媒体方的Ad Server则负责完成和优化各个广告主的合约;

然后,市场进化出了竞价售卖方式,从而在靠近供给方产生了广告网络(Ad Network)这样的产品形态,而需求方的代理公司为了适应这一市场变化,孵化除了对应的广告采买平台(Media Buying Platform);

最后,当市场产生了实时竞价方式交易时,供给方进化出了广告交易平台(Ad Exchange),而需求方则需要用需求方平台(DSP)与其对接来出价和投送广告。

0.8 广告安全 (上下文环境)

广告的上下文环境对于广告的接受程度也有着很大的影响,同一个品牌广告出现在某游戏社区上和门户网站首页上,用户会倾向于认为后者更具说服力,这也就是优质媒体的品牌价值。

在定向广告越来越普遍的今天,如何让合适的广告出现在合适的媒体上,即广告安全(Ad Safety)的问题,正在引起大家越来越多的关注。

1. Chapter2 计算广告基础


1.1 总的来说,可衡量的效果以及相应的计算优化,是在线广告区别于线下广告的主要特点。

1.2 主流计费方式

在一次广告展示产生后,有可能发生哪些后续行为呢?首先是点击,这是在媒体网站上发生的;然后是转化,这是在广告主网站上或线下发生的。

按照点击和转化两个阶段对回报r进行分解:

r(a,u,c) = μ(a,u,c) ·v(a,u)

表达式中的a;u;c三个变量,分别代表广告、用户与上下文,即广告活动的三个参与主体。 用μ表示点击率(Click through Rate, CTR),用ν 表示点击价值(Click Value), 而这两部分的乘积,即定量地表示了某次或若干次展示的期望CPM(Cost per Mille,千次展示计费)值,我们称之为expected CPM (eCPM)^^2。

eCPM 这个指标是计算广告中最常被提及,也最有代表性的定量评估收益的指标。

点击率是(a;u;c)三者的函数,而转化率可以近似为(a;c)的函数。

1.3 在线广告技术课题

从算法优化的角度看:

  • 该问题的特征提取,即对(a;u;c)标签以方便挖掘的技术,对应产生了受众定向问题;
  • 如果不考虑全局最优,则主要依靠eCPM估计,特别是CTR预测来完成每一次展示时的局部优化;
  • 如果考虑到量的限制和投放时即时决策的要求,就产生了在线分配的问题;
  • 为了在多方博弈的市场中达到动态平衡时的收益最大化,则需要对定价策略做深入研究;
  • 为了更全面地采样整个(a;u;c) 的空间以便更准确地估计点击率,需要用到强化学习(Reinforcement Learning) 中的探索与利用(Explore and Exploit, E&E)算法;
  • 而在DSP快速发展的今天,推荐算法也被广泛使用在个性化重定向当中。

从系统架构的角度看,我们需要:

  • 用到实时索引技术服务于广告候选的检索;
  • 用到No-SQL的在线存储技术为投放时提供用户、上下文标签和其他特征;
  • 大量使用Hadoop这样的分布式计算平台进行大规模数据挖掘;
  • 用到最新的流计算平台实现短时用户行为反馈;
  • 以及在广告交易环境下实现高并发、快速响应的的实时竞价接口;
  • 还需要许多有关HTML协议和前端展示的技术来完成广告的具体投放。

1.4 计费方式

  • CPM
  • CPC
  • CPS/CPA/ROI
  • CPT

综合起来看,可以认为对于效果广告,CPC计费方式最有利于发挥供给方和需求方的长处, 因而在市场上被广泛接受。而对于品牌广告,由于效果和目的有时不便于直接衡量,可以考虑按照CPM的方式计费。而CPS的计费方式,只在一些特定的环境下才比较合理。

1.5 在线广告系统一般性架构

'在线广告系统一般架构'

图2.1中的广告系统由三个主体部分构成:一个是在线的高并发投放引擎(Ad server),一个是离线的分布式数据处理平台(Grid),另一个是用于在线实时反馈的流式处理平 台(Stream computing)。

这三部分各司其职,配合完成整个计算广告的数据挖掘和在线投放任务。

2. Chapter8 广告交易市场

TBC

# Terms

1. ATD (Automatic Trading Desk) 自动交易终端

这种面向多个广告网络或媒体按人群一站式采买广告,并优化投入产出比的需求方产品,我们称为自动交易终端(Automatic Trading Desk, ATD)。

由于只能在广告网络定义好的定向标签组合上预先指定出价,而不能控制每一次展示的出价,因此,市场看起来象一个黑盒子,需求方只能靠选择合适的标签组合,以及阶段性调整出价来间接控制效果。

2. DSP (Demand Side Platform) 需求方平台

通过实时竞价的方式,按照定制化的人群标签购买广告,这样与广告交易平台接口的产品,我们称为需求方平台(Demand Side Platform, DSP)。

由于实时竞价主要采用按展示次数计费的方式,DSP需要尽可能准确地估计每一次展示带来的期望价值。

在这一点上,DSP比ATD要幸运得多了,因为充分的环境信息使得深入的计算和估计成为可能。基 于DSP的广告采买,非常类似于股票市场上的程序交易,我们把这样的广告采买方式也叫做程序 购买(Programmatic Buy)。除了RTB实时竞价以外,还有其他几种程序购买的交易方式,如优选(Preferred Match)以及前文提到的ATD 中的自动出价购买。

3. SSP (Supply Side Platform)供应方平台

4. ADX (AD eXchange) 广告交易平台

5. CPC (Cost per Click) 按点击付费

这种方式是把点击率的估计交给供给方(或者中间市场),而把点击价值的估计交给需求方,而需求方通过出价的方式向市场通知自己的估价。

6. RPM (Revenue per Mille)千次展示收益

mille是千次的意思

7. CPM (Cost per Mille)千次展示付费

在点击量是不那么重要的时候,由需求方自行根据其市场策略与预算控制单位流量的价格并按CPM方式计费,是一种比较合理的交易模式。

如品牌广告,目标是较长时期内的收益,可以采用这种方式。

8. CPS (Cost per Sale)/CPA (Cost per Action)/ROI计费

即按照销售订单数、转化行为数或投入产出比来计费,而这些都是按照转化付费的一些变种。

即需求方只按照最后的转化收益来结算,从而极大程度上规避了风险。
在这种计费方式下,供给方或中间市场除了估计点击率,还要对点击价值作出估计,才能合理地决定流量分配。

一般认为这种方式只适合于一些垂直广告网络(Vertical Network)。
另外在DSP中,由于需要完全代表广告主利益出价和优化,因此也经常会出现跟广告主之间按照CPS计费的情形。

9. CPT (Cost per Time) 按时间计费 、 CPD (Cost per day) 按天计费

这是针对大品牌广告主特定的广告活动,将某个广告位以独占式方式交给某广告主,并按独占的时间段收取费用的方式。

严格来说这是一种销售方式,而非一种计价模式,因为价格是双方事先约定,无需计量。

CPT还有一种变形,即轮播式CPT,它是将某一广告位的流量按照某一cookie接触到的次数划分成多轮,在其中的若干轮独占式售卖给某广告主,这同样是中国市场很常见的一种售卖方式。

CPT这样独占式的售卖虽然有一些额外的品牌效果和橱窗效应产生,但是非常不利于受众定向和程序交易的发展,因而长期看来比例会有下降的趋势。

10. RTB (Real Time Bidding)实时竞价

11. DMP (Data Management Platform)数据管理平台

数据管理平台能够帮助所有涉及广告库存购买和出售的各方管理其数据、更方便地使用第三方数据、增强他们对所有这些数据的理解、传回数据或将定制数据传入某一平台,以进行更好地定位。

12. CTR (Click-Through-Rate)点击通过率