c#抓取网页数据(背景1.讲故事讲故事民生资讯号，资讯嘛，都是我抄你的)

　　c#抓取网页数据(背景1.讲故事讲故事民生资讯号，资讯嘛，都是我抄你的)

　　2022-01-17 一：背景1.讲故事

　　前段时间，我在当地开设了一个民生信息账号。信息都是你抄的，你抄的是官媒的。小市民喜欢奇闻异事，所以有必要，如何定位抓怪故事的地方。上号的消息其实做起来很简单。可以使用逻辑回归。本文主要讨论如何获取。在C#中，大家都知道提取的通用库是HtmlAgilityPack，但是这个库的主流方法是使用xpath提取。网页的内容让我很不舒服。毕竟，我对莫名的抵抗并不熟悉。我这个年纪的码农，受过Jquery至少5-6年的教育，所以我必须使用类似Jquery的方法。python中有pyquery。在 C# 中是否有类似的方法可以做到这一点？嘿，真的有万能的github。. . 这就是本文介绍的CSQuery。

　　二：CSQuery1.安装

　　github的地址：然后就在vs里面nuget：

　　

　　2. 举几个例子

　　万事俱备，那么如何使用呢？别着急，我给你举两个博客园的例子。

　　1) 将首页的友情链接提取到

　　

　　如上图所示，如果要在这里获取友情链接的几个大字符，直接使用text()肯定是不行的。默认情况下，它还会捕获所有子节点的文本，如下图所示：

　　

　　如何处理？可以使用jquery提供的contents方法，然后判断获取到的所有子节点中是否有文本节点，最终获取文本节点的内容，如下：

　　

　　如果是用js做的，那怎么用CSQuery代码做呢？模仿一下，下面的代码：

　　

static void Main(string[] args)

{

var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

var content = jquery["#friend_link"].Contents().Filter((dom) =>

{

return dom.NodeType == NodeType.TEXT_NODE;

}).Text();

Console.WriteLine(content);

}

　　

　　不知道用xpath提取这样的内容是不是很麻烦，但是jquery不好用，但是好用。

　　2) 如何为 html 中的某些元素着色

　　有时出于商业目的需要改变一些html标签的颜色，比如把博客和首页tabmenu中的特殊区域改成红色，如下图：

　　

　　如何用 CSQuery 处理它？如果你玩过jquery，一般步骤如下：

　　通过步骤，C#代码如下：

　　

static void Main(string[] args)

{

Config.HtmlEncoder = HtmlEncoders.None;

var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

var html = jquery["#nav_left li"].Each(dom =>

{

var self = jquery[dom];

var text = self.Text();

if (text == "博问" || text == "专区")

{

self.Find("a").CssSet(new { color = "red" });

}

}).Render();

}

　　

　　3) 其他操作方法

　　除了以上两种操作方法，还可以使用after、before、replaceAll、IS等一百多种实用方法。这篇文章当然不能一一介绍。有兴趣的可以下载看看。小提琴。

　　三：其他用途

　　除了抓取html中的元素，我觉得这个东西还可以用来在发送邮件的时候操作邮件模板。毕竟很久以前大家都是用jquery画html的，所以用CSQuery也是可以的。与使用 xslt 相比，各有利弊。，然后做一个例子：

　　1. 生成一个html模板

　　2. 使用 CSQuery 将 li 附加到 ul

　　您可以使用 Append 将内容附加到