关键词自动采集生成内容系统2.外部内容抓取跟踪系统

　　关键词自动采集生成内容系统2.外部内容抓取跟踪系统

　　关键词自动采集生成内容系统2.外部内容抓取跟踪系统3.页面路由采集4.地址栏通过referral的隐藏从而绕过广告会员号段5.触点采集6.视频网站采集7.网页采集及图片采集，

　　首先给出sogou搜索引擎+referral+personalemail这个算是通用的集成方案，sogou搜索引擎本身不去获取用户数据，所以通过外部referralprivileges内部用户行为可以重新获取用户，将用户的数据和定位追踪做到了非常成功的地步。也有不同的搜索引擎是通过一些嵌入广告的数据来做这样的聚合，如pinchat，在中国区这边还是比较受欢迎的。感觉这是一个越做越大越做越贵的技术路线吧。

　　根据同事遇到的一些痛点：我个人的理解主要是referral通过useragent来抓取当前用户在新产品内上网时经常使用的网站内容，比如testreferrals,点击流量流量来检验某个网站用户的活跃程度，点击来源，从而判断该用户身处一个哪个类型的公司内，从而规划一个使用该网站的策略。根据你在网站内上网时网站agent来抓取你的用户行为记录，来做全面的用户行为分析。

　　至于广告，一般是会员账号段，部分站点有一个专门的pagerank排名机制，广告包含referralagent，从用户给搜索引擎和相关网站填写的各种信息中，根据用户兴趣，来判断用户是否应该使用该站点的广告或者广告类型，一般定位越精准，你填写信息越多，广告定位越精准，覆盖越多的网站。各种广告形式要达到的效果的kpi是一样的，该网站有广告就会有收入，广告商投放广告一般不会无故无利无节无量，否则很可能因为你是普通用户而将其广告定位在一个你不需要的网站上。