网页抓取解密( vb工具)

优采云 发布时间: 2021-09-28 13:29

  网页抓取解密(

vb工具)

  C# - WebClient 自动获取网页编码并转换

  花点时间写一篇小文章文章。最近朋友用vb开发了一个工具,遇到WebClient获取的内容出现乱码。不幸的是,我对 vb 不是很熟悉。我读了几分钟 vb 的语法,然后把它交给了他。我写了一个代码转换并使用了它。

  毕竟我们是程序员,一定要有一个全面的计划。然后自己想了想,在C#代码中使用了如下代码。有需要的可以参考:

  

  

   1 ///

2 /// 获取网页内容

3 ///

4 /// 目标url

5 /// 页面内容

6 public static string GetWebText(string url)

7 {

8 string result = "编码转换失败...";

9 using (WebClient client = new WebClient())

10 {

11 Stream stream = client.OpenRead(url);

12 using (StreamReader reader = new StreamReader(stream, client.Encoding))

13 {

14 string text = reader.ReadToEnd();

15 MatchCollection matchs = Regex.Matches(text, "charset=(.+)");

16 if (matchs.Count > 0)

17 {

18 byte[] data = client.Encoding.GetBytes(text);

19 string charset = matchs[0].Groups[1].ToString().Trim(' ', '/', '>', '\r', '"');

20 byte[] conver = Encoding.Convert(client.Encoding, Encoding.GetEncoding(charset), data);

21 result = Encoding.GetEncoding(charset).GetString(data);

22 }

23 }

24 }

25 return result;

26 }

  获取网页内容并转换响应编码

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线