关键词采集(竞价排名监控软件2020年6月6日更新针对百度页面的调整 )

　　关键词采集(竞价排名监控软件2020年6月6日更新针对百度页面的调整

)

　　记得刚开始做这个行业的时候，一直在查排名，然后调整价格，很无聊。当时想有个百度竞价数据采集，查询竞价思路和排名工具。

　　在以下位置发布永久更新：

　　竞价创意批次采集工具，竞价排名监控软件

　　2020 年 6 月 6 日更新

　　针对百度页面的调整，修复一些错误

　　2020 年 4 月 15 日更新

　　针对百度页面的调整，修复一些错误

　　2019 年 12 月 15 日更新

　　1、增加区域设置功能，可以定义省或省-市，以空格分隔，如湖北和武汉。

　　2、优化百度竞价数据采集speed，更快完成任务。

　　3、添加gui，操作简单一目了然。

　　扫描文章底部二维码，添加微信，100个红包。

　　背景

　　人们常说，知己知彼才能赢得每一场战斗。 SEM需要了解推广行业的竞争，谁是主要的竞争者，我们自己在整个行业的竞价推广水平如何。从日常的账号运营中，我们需要知道自己的关键词排名，哪些需要提升，哪些需要提升。不能总是自我感觉良好，关键词可以进前三、创意可以满足大众的需求。

　　试试

　　既然要采集百度文展的相关资料，有两种方式，一种是直接到采集百度搜关键词后的搜索结果页面，再到采集的页面促销事实。我这里选择后者是为了更加客观公正。直播推广显示的是网友看到的平均结果，可能与你在百度搜索框中直接搜索的结果有所不同。实际效果会受到用户的地域/网络环境/模型等个性的影响。化学因素的影响有所不同。

　　首先想到的是百度自己的界面，然后是python，最后还有优采云和优采云这些采集工具。这些开水坑已经一一踩过，记录在这里分享。

　　百度接口：百度确实有直播推广的api接口，返回的数据是整个搜索结果页面的html。我没有在这里详细阅读文档。当它出现时我开始了代码。最后没拿到数据，因为“搜索推广直播API只允许KA客户和代理申请普通权限。非KA客户请到百度网页版推广使用直播推广相关功能。” ”，没有ka和agent的授权，即使有，也不能广泛使用。这条路无处可去。

　　如果不行，就去网上抓取api接口%2FGET%2FPromotionLiveService%2FprocessHumanRequest&reqid=REQID。我不知道从哪里获得 REQID 值。获取还有其他问题，因为官方界面需要这么多权限，所以这个界面我觉得我无法通过，所以没有继续折腾。

　　采集Tools：优采云浏览器，优采云采集器，这些工具操作简单，基本可以满足采集到想要的百度竞价数据，但是有一个致命的问题就是免费版的卡，卡慢，然后对比python的灵活性不够。勉强可以用。脚本已就位。需要的话可以找我留下邮箱。

　　python+selenium：由于没有找到可用的接口，我用selenium控制浏览器模拟真实操作采集百度竞价数据，查询竞价思路和排名。当前的工具就是使用这组解决方案实现的。

　　踩坑记录1、selenium + ChromeDriver 内存溢出崩溃

　　查询300字左右会死机，无头，各种设置，清除缓存的方法都没用。

　　解决办法是第一次登录后保存cookies，执行200次查询后关闭浏览器，然后重新打开读取cookies，避免登录。虽然不利于效率，但相对稳定。

　　2、selenium 切换到 iframe

　　百度直播推广结果在iframe中，无法直接提取内容。

　　#切换到iframe（id、name）

driver.switch_to_frame('adpreview-frame')

#无id，无name,先定位iframe元素

iframe = driver.find_elements_by_tag_name("iframe")[0]

driver.switch_to.frame(iframe)

#切到frame中之后，我们便不能继续操作主文档的元素，这时如果想操作主文档内容，则需切回主文档

driver.switch_to.default_content()

　　3、selenium + ChromeDriver 清除输入

　　模拟ctrl+a删除是可靠的

　　4、headless 模式手动输入验证码

　　我在headless模式下尝试了几种方案，都无法很好地提取验证码。最后，保存整个页面的截图并手动输入。

　　driver.get_screenshot_as_file('code.png')

user_code = input("验证码:").strip()

driver.find_element_by_xpath("//*[@id=\"uc-common-token\"]").send_keys(user_code)

　　另外还需要试一下是否有错误提示，如果有则需要保存截图重新输入。

　　5、selenium + ChromeDriver 保存 cookie 并使用 cookie 登录

　　#保存cookies

def getCookie():

tbCookies = driver.get_cookies()

cookies = {}

for item in tbCookies:

cookies[item['name']] = item['value']

outputPath = open('Cookies.pickle','wb')

pickle.dump(cookies,outputPath)

outputPath.close()

return cookies

#读取cookies

def readCookies():

if os.path.exists('Cookies.pickle'):

readPath = open('Cookies.pickle','rb')

bdCookies = pickle.load(readPath)

else:

bdCookies = getCookie()

return bdCookies

　　使用教程

　　1、 首先需要下载ChromeDriver进行安装，根据自己的chrome版本下载对应的ChromeDriver。

　　下载链接：

　　国内下载：

　　解压压缩包，找到chromedriver.exe复制到chrome安装目录（其实也可以随便放一个文件夹）

　　2、注册百度推广账号就是自己测试新功能。未扣费的百度推广账号，需要使用账号、密码、手机号。

　　注册地址：#/register

　　3、关键词保存为ks.txt，百度竞价数据采集用于查询竞价思路和排名工具的统一目录，每行一个关键词。为了提高结果的准确性，我们需要尽可能采集所有行业内的关键词。

　　4、执行文件后会生成Cookies.pickle（cookies）、code.png（验证码）、info.csv（采集result）。

　　结果的利用

　　百度竞价数据采集，查询竞价思路和排名数据利用后，我慢慢说，大致解决开头提到的痛点。我们的广告在行业中的水平如何？节目比例是多少？什么是平均位置？谁是最大的竞争对手，他们使用什么广告策略？以后如何调整账户？

　　工具下载：百度竞价数据采集，查询竞价创意和排名工具，有需要就用微信红包，大家时间宝贵。