关键词 文章采集(使用正则获取到搜狐新闻的社会栏目的html源码介绍)

　　关键词 文章采集(使用正则获取到搜狐新闻的社会栏目的html源码介绍)

　　道歉

　　首先感谢博主们对本系列的支持。很多进群的人都问我什么时候更新。我总是尽快回答，但已经延迟了一年。因为工作和生活占用了我很多时间，我只能对大家说声对不起。

　　使用正则表达式获取数据

　　前两篇讲了如何采集html数据，那么当采集回来的时候，就必须截取我们有用的部分，比如。我们要采集搜狐新闻的社交栏目，地址如下：

　　我们先拿到新闻列表，看一下最后两章要介绍的使用xNet的搜狐新闻社交栏目html源码。当然，你可以使用 httprequest 或第三方组件。代码显示如下：

　　var html = string.Empty;

using (var request = new xNet.HttpRequest())

{

html = request.Get("http://news.sohu.com/shehuixinwen.shtml").ToString();

}

　　获取 html 值：

var pvinsight_page_ancestors = '143746642;143746651';

社会新闻-搜狐新闻

.....

if(_wratingId !=null){

document.write('');

document.write('var vjAcc="'+_wratingId+'";');

document.write('var wrUrl="http://sohu.wrating.com/";');

document.write('try{vjTrack();}catch(e){}');

document.write('');

}

require(["sjs/matrix/ad/passion"]);

　　因为html比较大，所以没有全部显示出来。为了防止搜狐改版，我还是截取了一段模板

comment num“五假副部”现形始末：被指讲话稿都念不顺

<p>...阅读全文>>

分享到 |

发表于 2017-09-09 13:03

</p>

　　那么我们如何获取新闻列表的标题和连接地址呢？然后我们将介绍本文的核心，并使用正则规则。说到常规规则，很多人会觉得很难，因为写法比较火星。二是测试规律。市场上有许多测试工具，包括在线测试工具。这取决于您的喜好。这里给大家介绍一款超级无敌好用的测试工具。您可以在线下载或在本文末尾下载。下载链接，这个工具叫：RegExBuilder 为什么好用，主要是因为它使用实时匹配，让新手可以一步步调试和编写正则规则。使用上述工具，可以得到如下正则匹配的新闻列表和链接地址码：

<p>[^>]*>[^>]*>[^>]*>[^>]*>]*>(?[^