那是因为，其实是因为执行js代码动态添加到标签上面的，所以这个时侯内容在js代码上面的，而js的执行是在浏览器端的操作，所以用程序去恳求网页地址的时侯，得到的response是网页代码和js的代码，所以自己在浏览器端能看到内容，解析时因为js未执行，肯定找到指定HTML标签下内容肯定为空，如百度的主页就是这些，这个时侯的处理办法，一般来讲主要是要找到包含内容的js代码串，然后通过正则表达式获得相应的内容，而不是解析HTML标签。B另一种情况是在和用户交互时，JavaScript可能会动态生成一些dom，如点击某个按键弹了一个对话框等；对于这些情况，一般这种内容都是一些用户提示相关的内容，没哪些价值，如果确实须要，可以剖析一下js执行逻辑，但这样的情况极少。Ajax／Fetch异步恳求
　　这种情况是现今太常见的，尤其是在内容以分页方式显示在网页上，并且页面无刷新，或者是对网页进行某个交互操作后，得到内容。对于这些页面，分析的时侯我们要跟踪所有的恳求，观察数据究竟是在哪一步加载进来的。然后当我们找到核心的异步恳求的时侯，就只需抓取这个异步恳求就可以了，如果原始网页没有任何有用信息，也没必要去抓取原始网页了。 爬虫技术的现况 01语言
　　理论上来说，任何支持网路通讯的语言都是可以写爬虫的，爬虫本身其实语言关系不大，但是，总有相对顺手、简单的。目前来说，大多数爬虫是用后台脚本类语言写的，其中python无疑是用的最多最广的，并且页诞生了好多优秀的库和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。但是一般来说，搜索引擎的爬虫对爬虫的效率要求更高，会选用c++、java、go(适合高并发)，详情排名前50的开源Web爬虫用于数据挖掘。我在学院时代就用c++实现了一个多线程的框架，但是发觉和python实现的爬虫效率提高并不显著nsf爬虫软件，原因是，对于简单爬虫nsf爬虫软件，瓶颈在于数据剖析及提取，而网路效率和语言关系并不大。值得一提的是，在近几年node发展特别快， 使得javascript遍地开花，有些人也开始尝试用node做爬虫，但是，这也许和其它后台脚本语言没哪些区别，也不如python简单， 因为你仍然不能在node里发起ajax恳求，不能执行原网页的dom。因为node的javascript执行环境和浏览器的执行环境并不相同。那么，难道就真的不能象在浏览器中一样用js写爬虫，用jquery提取内容吗？想法太大胆，我们姑且搁置。 02运行环境
　　爬虫本身不分辨究竟是运行在windows还是Linux，又或是OSX，但从业务角度讲，我们把运行在服务端(后台)的，称之为后台爬虫。而如今，几乎所有的爬虫都是后台爬虫。后
　　台爬虫的三大问题
　　后台爬虫在大行其道的时侯，也有着些许棘手的、到目前也没有哪些好的解决方案问题，而归根结底，这些问题的根本缘由是因为后台爬虫的先天不足造成，在即将讨论之前，我们先思索一个问题，“爬虫和浏览器有哪些优缺？” 01相同点
　　本质上都是通过http/https合同恳求互联网数据 02不同点
　　爬虫通常为自动化程序，无需用用户交互，而浏览器不是；运行场景不同；浏览器运行在客户端，而爬虫通常都跑在服务端；能力不同；浏览器包含渲染引擎、javascript虚拟机，而爬虫通常都不具备这三者。了解了这种，我们再来瞧瞧后台面临的问题：01问题一：交互问题
　　有些网页常常须要和用户进行一些交互，进而能够走到下一步，比如输入一个验证码，拖动一个滑块，选几个汉字。网站之所以如此做，很多时侯都是为了验证访问者究竟是人还是机器。 而爬虫程序遇见这些情况很难处理，传统的简单图片验证码可以通过图形处理算法读出内容，但是随着各种各样，花样百出，人神共愤的、变态的验证码越来越多（尤其是买火车票时，分分钟都想爆脏话），这个问题就越来越严重。
　　02问题二：Javascript 解析问题
　　如前文所述，javascript可以动态生成dom。目前大多数网页属于动态网页（内容由javascript动态填充），尤其是在移动端，SPA/PWA应用越来越流行，网页中大多数有用的数据都是通过ajax/fetch动态获取后之后再由js填充到网页dom树中，单纯的html静态页面中有用的数据甚少。 目前主要应对的方案就是对于js ajax/fetch恳求直接恳求ajax/fetch的url ，但是还有一些ajax的恳求参数会依赖一段javascript动态生成，比如一个恳求签名，再例如用户登录时对密码的加密等等，如果一昧的去用后台脚本去干javascript原本做的事，这就要清楚的理解原网页代码逻辑，而这除了特别麻烦，而且会使你的爬取代码异常庞大臃肿。 但是，更致命的是，有些javascript可以做的事爬虫程序是很难甚至是不能模仿的，比如有些网站使用拖动滑块到某个位置的验证码机制，这就很难再爬虫中去模仿。 其实，总结一些，这些弊病归根结底，是因为爬虫程序并非是浏览器，没有javascript解析引擎所致。针对这个问题，目前主要的应对策略就是在爬虫中引入Javascript 引擎，如PhantomJS，但是又有着显著的弊病，如服务器同时有多个爬取任务时，资源占用很大。
　　还有就是，这些无窗口的javascript引擎好多时侯使用上去并不能象在浏览器环境中一样，页面内部发生跳转时，会导致流程很难控制。03问题三：IP限制
　　这是目前对后台爬虫中最致命的。网站的防火墙会对某个固定ip在某段时间内恳求的次数做限制，如果没有超过上线则正常返回数据，超过了，则拒绝恳求，如qq邮箱。 值得说明的是，ip限制有时并非是专门为了针对爬虫的，而大多数时侯是出于网站安全缘由针对DOS攻击的防御举措。后台爬取时机器和ip有限，很容易达到上线而造成恳求被拒绝。目前主要的应对方案是使用代理，这样一来ip的数目都会多一些，但代理ip仍然有限，对于这个问题，根本不可能彻底解决。 作者：lazydu 查看全部

　　
　　前段时间帮几个顾客安装过，功能还算很不错的，在这里完全免费分享下来。源码没有任何的限制，任何域名都可以正常使用。以下部份说明为转载过来，具体的请自行下载测试。
　　9-9 全面升级程序模板，导航升级，以及宝贝展示升级，添加分享，原价折扣价，销量全部展示，图片修改为正方形310*310都是依照顾客的需求优化的。
　　优化原本值得买页面，以及升级文章页面改成哪些值得买页面，优化值得逛页面，增加品牌团。支持后台添加品牌上传图片
　　9-30号升级程序内核功能以及优化相关小问题。详细请看演示。增加404，全站宝贝描述，后台文章编辑器，前台文章调用，预告采集，宝贝显示款式，全面升级
　　9-9号全面升级页面降低品牌团等等多功能
　　8-29 修复后台一键手动采集价格0元错误
　　8-21升级程序飞天侠50完美修复:无需api一键采集,u站采集，全新安装包，修复手机版，增加报考页面，以及安装不需要恢复数据，增加伪静态规则。。。。
　　6.0的内核和性能比5.0的好好多，并且降低独立缓存技术。加速网站。 后期更新升级。。。
　　支持，后台一键手动采集，以及各个地方相关logo直接后台上传更改即可，非常简便飞天侠50完美修复:无需api一键采集,u站采集，新手也会操作。
　　客服，等等后台可以操作，支持显示宝贝详尽，后台单品采集可以采集宝贝详尽，支持u站采集宝贝详尽。
　　会员系统，报名系统，后台系统全面升级，
　　前台有些广告位没有设置，后期会更新教程给你们。
　　本次升级有使用6.0的可以直接覆盖升级，但是没有宝贝详尽。6.0亮点：u站采，淘宝网采集一键手动采集，单品采集，宝贝描述，后台可以在线升级。。功能赶超所有版本飞天侠，全网惟一一家可以更新的，几千客户体验和支持我们，谢谢大家选择我们，我们程序以优价分享，结交更多好朋友，本站开启超级群，和开放群。还有更多功能后期继续上线，后台在线升级哈
　　以上部份说明为转载过来，具体的请自行下载测试
　　下面演示图片100%为我们亲测截图 查看全部

　　MSVOD V9教程之后台采集管理怎么填写采集规则图文教程详尽
　　雨过天晴工作室发觉好多同学在使用魅思CMS过程中不会写规则，有些同学又不想用火车头采集，那后台自带的采集就是挺好的选择。以下就是怎样在MSVOD v9后台写采集规则的详尽教程，只要你有点网页基础知识可以直接学习自己制做吧
　　一、简介
　　文章的采集功能是通过程序来远程获取目标网页内容，经过本地规则解析处理后储存到服务器的数据库内。
　　文章采集系统颠覆传统采集模式和流程火车头采集教程，采集规则与采集界面分离,规则设置更简单，只需有基础技术知识的人员设置好相关规则。
　　编辑人员无需了解很过细节的技 术规则，只需选中自己想要采集的文章列表火车头采集教程，就可以象发布文章一样，轻松地完成数据采集操作。
　　二、功能演示
　　一、采集流程 简单的讲有三个步骤： 1、添加采集点，填写采集规则。 2、采集网址，采集内容 3、发布内容到指定栏目
　　以采集新浪新闻()为例，作一下详尽流程介绍。
　　实例说明： 目标：采集新浪新闻到V9系统 “国内” 栏目中。 目标网址： 1、添加采集点 2. 网址规则配置
　　1. 添加采集点，填写采集规则
　　
　　A.内容规则
　　
　　注：上图的“目标网页源码”是指：目标网页的源代码。具体步骤如下：
　　目标网页——>右键——>查看源代码——>找到你要采集的源代码开始和结束，按“上图”填写规则。 查看全部

　　
　　织梦dedecms程序建站问题还是挺多的，对这款程序研究比较透彻的解决上去还便捷些，如果是菜鸟遇见了可能还真是须要好好寻思一段时间，一位站长同事听同学介绍说无忧主机独立IP空间特别适宜网站优化，于是就订购了目前销售最为火热的hkip300M主机空间织梦数据还原文件织梦数据还原文件，购买后因为自己是菜鸟又不知道怎么搬家，于是就联系到了小编帮忙从西部数码搬家过来。搬家过程还是比较顺利的，可是在搬家后小编登录该顾客的网站后台去重新更新栏目和生成文件的时侯报错了，报错提示如下：
　　没有该栏目数据可能缓存文件(data/cache/inc_catalog_base.inc)没有更新请检测是否有写入权限。小编还专门截图保存了，如下图：
　　相信以上的问题不止是小编一个人遇见过吧，小编在百度问答也听到之前有站长朋友们咨询过类似的问题，那么遇见这个苦恼的问题究竟该怎么解决呢？下面小编就来分享下解决的方式吧。
　　解决的思路：其实在网站的后台更新的时侯，织梦程序会手动生成一个缓存文件。缓存文件名称是：inc_catalog_base.inc。
　　具体处理方式：
　　第一步：登陆到主机空间，查看下文件的权限是否是执行权限，如果不是请修改为755执行权限。
　　第二步：找到缓存文件inc_catalog_base.inc直接删掉。
　　第三步：登陆网站的后台更新缓存，步骤：点击生成–>更新系统缓存–>开始执行就可以。
　　第四步：再次生成一次栏目-更新栏目HTML就大功告成了。 查看全部