网页抓取解密( vb工具)
优采云 发布时间: 2021-09-28 13:29网页抓取解密(
vb工具)
C# - WebClient 自动获取网页编码并转换
花点时间写一篇小文章文章。最近朋友用vb开发了一个工具,遇到WebClient获取的内容出现乱码。不幸的是,我对 vb 不是很熟悉。我读了几分钟 vb 的语法,然后把它交给了他。我写了一个代码转换并使用了它。
毕竟我们是程序员,一定要有一个全面的计划。然后自己想了想,在C#代码中使用了如下代码。有需要的可以参考:
1 ///
2 /// 获取网页内容
3 ///
4 /// 目标url
5 /// 页面内容
6 public static string GetWebText(string url)
7 {
8 string result = "编码转换失败...";
9 using (WebClient client = new WebClient())
10 {
11 Stream stream = client.OpenRead(url);
12 using (StreamReader reader = new StreamReader(stream, client.Encoding))
13 {
14 string text = reader.ReadToEnd();
15 MatchCollection matchs = Regex.Matches(text, "charset=(.+)");
16 if (matchs.Count > 0)
17 {
18 byte[] data = client.Encoding.GetBytes(text);
19 string charset = matchs[0].Groups[1].ToString().Trim(' ', '/', '>', '\r', '"');
20 byte[] conver = Encoding.Convert(client.Encoding, Encoding.GetEncoding(charset), data);
21 result = Encoding.GetEncoding(charset).GetString(data);
22 }
23 }
24 }
25 return result;
26 }
获取网页内容并转换响应编码