dsp与sem的互补以及技术实现

SEM翻译过来叫搜索引擎营销，个人认为是随着搜索引擎竞价排名出现的一个行业，已经有了好多年的历史，做sem的公司这些年里手里应该都积攒着大量的cookie,关键词等与SEM和追踪相关的数据，这些数据现在更多是用来给用户报表使用的，但其实个人认为这些数据通过RTB即可以变现又可以为广告主提供更好的解决方案，只不过现在好多SEM公司没有找办挖掘的办法而已．

　　DSP(需求方平台)是随着RTB(实时竞价)而兴起的一个产业，这个东西的规则就是当一个用户访问了一个网页，这个网页上有些广告位是给了RTB的，则rtb会将这个用户的ＩＤ和广告位等信息下发到在它这注册的DSP们，而DSP需要在一段时间内(通常是100ms)返回竞价信息和广告信息，然后由rtb根据自己的竞价规则(通常是出价最高的那个）来进行展示．

　　这二个东西个人感觉有很强的互补性．原因有以下几点：

　　１.dsp可以为sem公司增加了收入来源:sem是严重依附于ＰＣ端的搜索引擎流量的，在国内基本可以说是严重依附着百度ＰＣ端的流量的，而随着互联网用户的注意力往移动端的转移，搜索的统治力和ＰＣ端的流量的增长会放缓，甚至是见顶，这时搜索引擎的ＲＯＩ应该就没那么有吸引力了，同时各个SEM公司之间也会陷入到刀刀见血的价格战里，而DSP却可以给sem公司另一个收入来源．

　　2.DSP可以对sem的历史数据进行有效的变现:DSP个人认为算是一个大数据时代的产物，是严重依赖于用户的历史行为数据的，而sem一般又有大量的用户行为数据(一般cookie都是亿级的）．同时数据的质量也还不错(一般都会有用户的quey信息，用户的url信息以及用户在广告主那的追踪信息)，只要在dsp这做好cookie mapping, 哪怕只是通过简单的url重定向和query重定向这种匹配方式，应该也能获得不错的ctr和cpc.

3.dsp可以为广告主提供更个性化的定制：因为竞价排名的核心规则是搜索引擎自己定的，所以sem应该是很难为广告主提供一些更深入，更个性化的解决方案的．比如苏宁需要把自己的广告展现给京东的用户看或者苏宁的母婴频道要对老客户做优惠活动，需要把这个信息传送给他的老客户，这些需要应该是sem所很难做到的，但ＤＳＰ可以做到这些．

　　4.DSP可以补充搜索广告太重效果的问题:搜索广告太重效果，导致对某些偏展示性的需求满足的并不好(有人说百度有网盟，但网盟与其说是用来补充搜索广告不足的．倒不如说是用来快速消耗广告主未花了的bugdet的．我有个朋友开陪训的，用百度投的广告，基本反应就是网盟花钱根本就没数，而且效果也没看到有多好，相反搜索的广告效果还不错)

　　5.DSP和SEM是互动的：即如果有一个新的广告主，可以让其先做SEM，一来可以通过SEM来完成一部分种子数据的累积，二来可以在这段时间来做好与广告主的COOKIE MAPPING，来近可以的盘活广告主这边的数据。

技术的实现：

　　这里就简单说几句，个人比较认同品友互动的观点，即DSP需要有RTB能力和数据挖掘能力，

　　rtb能力：一方面是系统的构建能力，建议多用用nosql的技术(redis,mongodb),同时一定要做好cookiemapping,这样才可能让每个用户的信息都是独立的，不依赖于其它用户的，另一方面是RTB的流量预测和分配了，预测问题初期建议多分析分析日志，简单的count应该就成．分配问题建议参考一下之前转的合约广告的文章，离线算出一个server rank，然后根据server rank来分配流量

　　数据挖掘的能力：一方面是大规模分布式平台的搭建和运维能力(基本等于同于大规模离线存储,MR,MPI)这个算是进行大规模机器学习的基础．另一方向就是机器学习的能力了，如果公司初期没有好的人，建议受从定向这块就好好弄弄query重定向和url重定向，看看效果再说．如果团队不错，则可以通过为每位广告主训练一个用户的二元分类器，来帮助广告主完成上面所说的更深入更个性的需求,至于算是通用的ctr预估(用逻辑回归来做的)和网页上下文分析(用topic moudle来做),能做就做,做不了就先拿些简单的方案来替代吧