抓取网页新闻(主权项：1.基于Ajax的新闻网页动态数据的抓取方法)

　　抓取网页新闻(主权项：1.基于Ajax的新闻网页动态数据的抓取方法)

　　主权：

　　1.基于Ajax的新闻网页动态数据抓取方法，其特征在于包括以下步骤： 步骤（101)：建立新闻网页抓取内容库，建立新闻网页爬取 内容数据库的编码方式；获取待爬取的新闻网页的新闻列表页的URL地址； 步骤（102)：访问新闻网页的新闻列表页的URL地址以被爬取，由浏览器开发工具判断新闻列表页是否通过ajax动态加载数据；如果是，通过浏览器开发工具查找ajax请求的数据源；如果不是，结束；步骤(103) ：判断数据源并检查step(101)的编码方式是否一致，如果不一致，则对数据源进行编码转换，然后进行step(104);如果一致一致，直接进入step(104)@)>; step(104):解析数据格式：将数据源的格式解析到ob新闻列表页后台语言处理的ject格式或数组格式； step(105)：转换step(104)解析后的数据被封装成对象或者数组类型；判断是否封装成功，如果成功，直接进入step(106)@ >；否则，将数据作为字符串处理；转到步骤(106)@>；步骤(106)@>：遍历数据对象或数组类型的输出列表；步骤(107) ：使用网络爬虫采集Step(106)@>获取输出列表；step(108)：将数据采集存入数据库。

　　展开