推荐文章:百度收集自动推送脚本——python版
优采云 发布时间: 2021-01-12 13:04推荐文章:百度收集自动推送脚本——python版
由Django开发的个人博客在线,欢迎访问:
在制作网站的过程中,网站很容易制作,但很难推广网站。第一步是要求主要的搜索引擎,例如百度,谷歌,360和搜狗,将我们的网站视为收录,链接提交,实际上,主要的网站战斗类似,基本上都有站点地图提交,但是百度网站 收录除了提交站点地图外,还提供主动推送和自动推送。
所谓的自动推动实际上是一种被动技能。每个网站上都写有特定的JS代码。当有人访问网页时,JS代码会将当前不是收录的网页推送到百度服务器。 ,完成收录,脚本如下:
(function(){
var bp = document.createElement('script');
var curProtocol = window.location.protocol.split(':')[0];
if (curProtocol === 'https') {
bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
}
else {
bp.src = 'http://push.zhanzhang.baidu.com/push.js';
}
var s = document.getElementsByTagName("script")[0];
s.parentNode.insertBefore(bp, s);
})();
将此JS代码复制到每个网页上以实现自动推送功能。
主动推送更有趣。目前,百度仅提供curl,php,ruby程序的示例,并且没有Python版本。主动推送每天最多可以推送100,000个URL
根据百度提供的信息,python版本实际上相对容易编写。
首先登录百度搜索资源平台,然后在链接提交中找到自动推送界面,例如我的网站推送界面:
接下来,使用此push接口文件编写python程序。另外,您需要准备一个站点地图文件。 网站所有网址均从站点地图中读取。当然,如果有URL列表,您也可以直接从URL列表中读取它。
# base on python 3.7
import requests
import re
import time
def push_urls(urls):
url = "你的百度推送接口"
headers = {
'User-Agent': 'curl/7.12.1',
'Host': 'data.zz.baidu.com',
'Content - Type': 'text / plain',
'Content - Length': '83',
'charset':'gbk',
}
try:
response = requests.post(url, headers=headers, data=urls, timeout=5).text
return response
except Exception as e:
print(e)
def auto_push_urls():
remain_push_count = 100000
push_count = 0
start_number = 608006
actual_push_url = 0
# open a sitemap
try:
with open("sitemap.xml", "r", encoding="utf-8") as f:
source_links = f.readlines()
except Exception as e:
print(e)
else:
for link in source_links[start_number]:
url = re.findall('(.*?)', link)
if url !=[]:
target_url = url[0].encode("utf-8")
response = push_urls(target_url)
# print(url[0])
print(f"psuh a url:{target_url}, {response}")
push_count += 1
actual_push_url += 1
if push_count > remain_push_count:
break
return actual_push_url
if __name__ =="__main__":
print("start pushing urls ...")
pushed_url_number = auto_push_urls()
print(f"complete pushing urls: {pushed_url_number} ...")
推送成功后,界面将返回一个字典列表,其中包括剩余URL“ remain”的数量:99999和成功推送的数量:“ success”:1
{"remain":99999,"success":1}
如果失败,则返回特定的失败原因: