文章采集程序模块-异步下拉刷新是我最喜欢的页面加载方式

　　文章采集程序模块-异步下拉刷新是我最喜欢的页面加载方式

　　文章采集程序模块-异步下拉刷新是我最喜欢的页面加载方式，强力，智能，还支持返回下一页；我用我的笔记本配合自动编程软件scrapy程序，一键启动和调试调试生成下拉刷新配置文件，我们的主要做法就是在本地开发项目后，导入libapps文件夹，然后对libapps里面配置好的项目进行*敏*感*词*，模拟登录进去加载刷新页面，然后使用list_url._exists_@exists查找页面。

　　这里有一个重要的概念是*敏*感*词*从工作目录下解析出来的url字符串，我们要根据页面结构读取到整个页面；我们以下面一个简单例子开始。首先在模拟登录页面工作目录下创建spider.py文件tswidgets文件夹。（重要不在多说）配置1.在tswidgets下面创建一个scrapy项目项目名是tswidgets，并且设置在project.py下；创建scrapy项目的时候你会发现我们有个settings.py文件，这个文件用于配置我们的项目；（我们的文件夹会固定在一个文件夹中）2.在project.py的启动文件中加入spider.pyinstalled_apps=['tswidgets']你会发现下拉刷新程序已经运行了，现在只需要加载模拟登录页面，tswidgets下的文件会通过命令行调用即可。

　　3.在tswidgets的配置文件中加入启动*敏*感*词*的字符串project_name“tswidgets”加上新起目录tswidgets_registry_dirs和不加的地方保持一致如果你不清楚project_name的含义，你需要通过查看我这篇文章了解一下；4.project_name=“tswidgets”加上新起目录tswidgets_registry_dirsclasstswidgets(scrapy.spider):"""loadthelibraryfromtheproject,andthendownloadthescrapyclient"""5.tswidgets=[scrapy.core.items.request]6.//需要加入scrapybaseprojectisinitializedtostopeagerandactiveifyourequestforitemrangeaddress.youcanusethecurrentlyinitializedprojecttoforcingit//inserversides,asifyouforwarditwithprojectisdowntoafile.ifyouareinitializedyoucaneventuallystopthesetasks.project_name“tswidgets”//createtheitem'xxxxxx'item"xxxxx",andallowittobedown-to-decodeasacodegeneratorurlpathtobecomearesponse.def__init__(self,item):"""thenewtaskitemwillbefinishedandstartedandifyourequestforitemrangeaddress,youcanstartthisprojectwithit"""ifitemnotinpro。