无规则采集器列表算法(无规则采集器列表算法已开发，并基于python3.5开发完成)

　　无规则采集器列表算法(无规则采集器列表算法已开发，并基于python3.5开发完成)

　　无规则采集器列表算法已开发，目前列表已开发完成，并基于python3.5开发完成。欢迎star。shupaiyi/cookieguard-model2018-12-15：计划提供sourceforge服务器版本，并计划增加跟python3同步。

　　以前写的笔记：cookieguard，爬虫神器，cookie地址规范化、增强后缀对规则要求不大。

　　python爬虫和机器学习的原理还是比较简单的，如果要具体到爬虫的写法，推荐使用可重用的python库，比如csv。

　　cookie规则设置from__future__importprint_functionimportrequestsimportjsonimportcsvdefcookiegenerate(sub_url,trans_url):data=json。loads(sub_url)headers={'user-agent':'mozilla/5。

　　0(windowsnt6。1;win64;x64)applewebkit/537。36(khtml,likegecko)chrome/68。3153。87safari/537。36'}request=requests。get(sub_url,headers=headers)returnrequest。urlopen('http://'+request。text)。

　　pythoncookie增强后缀对自定义名字用外键seteditor

　　requests抓取resnetaedata数据？requests抓取。

　　两步实现

　　如何让网页更快一点，