c爬虫抓取网页数据(- )

　　c爬虫抓取网页数据(-

)

　　我们的使命：抓取网页内容

　　1.用户指定的url

　　2.获取所有文章文本

　　urllib的request模块可以很方便的抓取URL内容，即向指定页面发送GET请求，然后返回HTTP响应

　　Python 通过 re 模块提供对正则表达式的支持

　　from urllib import request

import re

　　用户输入指定的url

　　#地址 绑定(编程期间)

#user_url = "https://news.sina.com.cn/o/2018-12-25/doc-ihmutuee2352838.shtml"

#地址 由用户指定(使用期间)

print("请输入您想查看的url")

user_url = input()

请输入您想查看的url

https://www.cnblogs.com/ms-uap/p/9928254.html

　　获取网页html信息并转码

　　添加头信息，反爬虫策略

　　我们需要url的标题和文章进行分析。

　　提取我匹配代码的title标签的正则表达式

　　title = re.findall('(.*?[\u4e00-\u9fa5]*?.*?)', data_web)

for line in title:

print(line)

系列之1-神经网络的基本工作原理 - UniversalAIPlatform - 博客园

　　提取p标签的正则表达式我的匹配码

　　article = re.findall('(.*?[\u4e00-\u9fa5]*?.*?)', data_web)

for line in article:

print(line)</p>