python抓取动态网页(1.Python爬取动态生成的网页(框架)需要具备哪些知识或者使用哪些库)

　　python抓取动态网页(1.Python爬取动态生成的网页(框架)需要具备哪些知识或者使用哪些库)

　　1.Python爬取动态生成的网页（框架）需要哪些知识或库

　　1、爬取网页、模拟登录等背后​​的一般逻辑和原理；

　　2、以从songtaste网页中提取标题为例，详细讲解如何爬取网站并提取网页内容；

　　3、以百度的模拟登录为例讲解如何模拟登录网站;

　　4、以抓取网易博文中的最新读者信息为例，详细讲解如何抓取动态网页中的内容；

　　5、详细介绍了如何使用相应的网页分析工具，如IE9的F12、Chrome的Ctrl+Shift+J、Firefox的Firebug，在模拟登录和爬取动态网页的过程中分析相应的逻辑；

　　6、对于爬取网站、模拟登录、爬取动态网页，给出了多语言的所有完整可用的示例代码：Python、C#、Java、Go等。

　　2.Python如何获取js动态加载的数据

　　使用WebBrowser控件获取js动态加载的数据：

　　首先，我需要在 DocumentCompleted 事件中获取内容，因为在加载文档后会触发控件。其次，这个事件有一个问题，就是如果页面中有iframe框架之类的，如果加载了iframe，也会触发这个事件，所以我们要做出判断：

　　if (wb.ReadyState == WebBrowserReadyState.Complete && e.Url.ToString() == wb.Url.ToString())

　　wb.Document.Body.InnerHtml;//这样就得到了数据

　　3.nodejs目前有什么框架？哪一个是最好的？

　　restify 是一个基于nodejs 的REST 应用框架，支持服务端和客户端。Restify比express更专注于rest服务，去掉express中的template、render等功能，同时加强了rest协议的使用，版本支持，标签加标签进行扩展，而不是写JS生成, dojo 的 API 模仿 Java 类库的组织方式。

　　用dojo写Web OS非常方便。Dojo 现在是 4.0。dojo的强大之处在于对接口和特效的封装，让开发者可以快速构建一些兼容标准的接口。

　　优点：库比较齐全，开发时间比较长，功能强大。据说可以使用dojo的io.bind()来实现彗星。它功能强大且非同寻常，得到了 IBM 和 SUN 的支持。缺点：文件比较大，200多KB，初次下载比较慢，另*敏*感*词*各种JS扩展库，是一个非常有前途的JS底层框架，值得推荐。感觉是现实中使用最广泛的库类（RoR集成AJAX JS库）。在它之上，Scriptaculous 实现了一些 JS 组件功能和效果。

　　优点：基础底层，易学易用，甚至是其他一些js特效开发包的底层，体积最小。劣势：如果是劣势，那可能是功能是他的弱点。Scriptaculous（基于prototype的JS UI组件）：Scriptaculous是一个基于prototype.js框架的JS效果。

　　收录6个js文件，不同的文件对应不同的js效果，所以如果底层使用prototype的话，js效果用Scriptaculous比较合适，连大名鼎鼎的digg都在用，所以不正常优点：基于prototype是最大的优势。由于prototype的大量使用，无疑是为用户书籍锦上添花，而《ajax in action》中用Scriptaculous来描述js效果。缺点：刚刚兴起，需要时间去磨练 界面效果媲美backbase，使用纯javascript代码开发。真正的可编辑表单Edit Grid支持XML和Json数据类型，

　　许多组件实现了对数据源的支持，例如动态布局、可编辑表格控件、动态加载的树控件、动态拖放效果等。1.0 beta版开始与Jquery合作，推出了基于jQuery的Ext 1.0，提供了更多有趣的功能。

　　优点：结构化，类似java的结构，清晰明了，底层使用了jquery的一些功能，这样就有了集成使用的选项，最重要的一点就是界面太震撼了。缺点：过于复杂，整个界面的结构过于复杂。

　　jquery：jQuery是一个类似prototype的优秀js开发库类，特别是对css和XPath的支持，让我们写js更加方便！如果你不是 js 专家，想写出优秀的 js 效果，jQuery 可以帮助你实现目标！而引入的语法和高效率一直是jQuery所追求的目标。优点：注重介绍和效率，js效果有yui-ext的选择，因为yui-ext复用了jQuery的很*敏*感*词*。缺点：据说太嫩，历史悠久。Mochikit：MochiKit 自称是一个轻量级的 js 框架。

　　MochiKit 的主要灵感来自 Python 和 Python 标准库提供的许​​多便利，此外还减少了浏览器版本之间的不一致。其中，MochiKit.DOM 尤其好用，可以比原生 JavaScript 更友好地处理 DOM 对象。

　　大多数 MochiKit.DOM 是为 XHTML 文档定制的，当与 MochiKit 和 Ajax 结合使用时，使用 XHTML 包装的微格式特别方便。Mochikit可以直接格式化输出字符串或者数字，比较实用方便。

　　它还有自己的js代码解释器优点：MochiKit.DOM这部分很实用，介绍也很突出缺点：轻量级缺点mootools：MooTools是一个简洁、模块化、面向对象的JavaScript框架。它可以帮助您更快、更轻松地编写可扩展且兼容的 JavaScript 代码。

　　Mootools 类似于prototypejs，语法几乎相同。但是它提供了比prototypejs更多的功能，更强大。

　　例如，添加了*敏*感*词*效果、拖放操作等。优点：可以自定义自己需要的功能，可以说是prototypejs的增强版。

　　缺点：不会太小，不会太小，具体应用具体分析moo.fx：moo.fx是一个超轻量级的javascript特效库（7k），可以配合prototype.js或者mootools框架使用。它非常快速、易于使用、跨浏览器、符合标准，并提供对任何 HTML 元素（包括颜色）的 CSS 属性的控制和修改。

　　它有一个内置的检查器，可以防止用户通过多次或疯狂的点击破坏效果。moo.fx 整体采用模块化设计，您可以在此基础上开发任何您需要的特效。

　　优点：体积小，能力大缺点：这么小，已经不错了。

　　5.如何使用htmlunit获取JS加载的网页信息

　　有两种方式可供选择。我推荐第一个。一种是读取相关网页中的js和网页请求后的header，通过hander知道获取这些信息的接口。单元框架提供的方法：

　　JavascriptExecutor jsExecutor = (JavascriptExecutor) 驱动程序；

　　jsExecutor.executeScript("LoginSubmit();", ""); 这里的LoginSubmit就是页面中js方法的名称（页面中肯定有这个js方法，当然你也可以自己写一些js）。然后通过dom操作得到你想要的信息。

　　转载请注明出处 JS代码网 » 哪些框架可以抓取js加载的数据（Python爬取动态生成的网页（框架）需要哪些知识或库）