c#抓取网页数据( 2017年05月13日12:00本文基于会话操作登陆网页及页面读取相关操作技巧,)
优采云 发布时间: 2021-10-15 21:02c#抓取网页数据(
2017年05月13日12:00本文基于会话操作登陆网页及页面读取相关操作技巧,)
C#使用WebClient登录网站获取登录网页信息实现方法
更新时间:2017-05-13 12:00:58 作者:柔城
本文文章主要介绍C#使用WebClient登录网站,登录后抓取网页信息的实现方法。涉及到C#基于session操作登录网页和页面阅读相关操作技巧,有需要的朋友可以参考Down
本文介绍了C#使用WebClient登录网站并抓取登录网页信息的实现方法。分享给大家,供大家参考,如下:
C#登录网站其实就是模拟浏览器提交表单,然后记录浏览器响应返回的session cookie值,并用这个session cookie值再次发送请求来请求,达到模拟的效果登录。
以下 CookieAwareWebClient 的实现在发送请求时携带 cookie。
public class CookieAwareWebClient : WebClient
{
private CookieContainer cookie = new CookieContainer();
protected override WebRequest GetWebRequest(Uri address)
{
WebRequest request = base.GetWebRequest(address);
if (request is HttpWebRequest)
{
(request as HttpWebRequest).CookieContainer = cookie;
}
return request;
}
}
下面是模拟表单提交登录的使用示例:
var client = new CookieAwareWebClient();
client.BaseAddress = @"https://hovertree.net/any/base/url/";
var loginData = new NameValueCollection();
loginData.Add("login", "YourLogin");
loginData.Add("password", "YourPassword");
client.UploadValues("login.php", "POST", loginData);
//Now you are logged in and can request pages
string htmlSource = client.DownloadString("index.php");
更多对C#相关内容感兴趣的读者可以查看本站专题:《C#编码操作技巧总结》、《C#中XML文件操作技巧总结》、《C#常用控件使用教程》、《WinForm控件使用技巧总结》 》、《C#数据结构与算法教程》、《C#面向对象编程入门教程》、《C#编程线程使用技巧总结》
我希望这篇文章能帮助你 C# 编程。