网页新闻抓取( 2017年04月24日Python正则抓取新闻标题和链接的方法)

优采云 发布时间: 2021-12-01 03:16

  网页新闻抓取(

2017年04月24日Python正则抓取新闻标题和链接的方法)

  Python定时抓取新闻标题和链接的方法示例

  更新时间:2017年4月24日08:56:43 作者:我想要的闪耀

  本文章主要介绍了Python正则抓取新闻标题和链接的方法,并结合具体实例分析了Python正则匹配页面元素和文件编写的相关操作技巧。有需要的朋友可以参考以下

  本文介绍了Python定时抓取新闻标题和链接的方法。分享给大家,供大家参考,如下:

  

#-*-coding:utf-8-*-

import re

from urllib import urlretrieve

from urllib import urlopen

#获取网页信息

doc = urlopen("http://www.itongji.cn/news/").read() #自己找的一个大数据的新闻网站

#抓取新闻标题和链接

def extract_title(info):

pat = '<a target=\"_blank\"(.*?)/a/h3'

title = re.findall(pat, info)

titles='\n'.join(title)

#print titles

#修改指定字符串

titles1=titles.replace('class="title"','title')

titles2=titles1.replace('>',':')

titles3=titles2.replace('href','url:')

titles4=titles3.replace('="/','"http://www.itongji.cn/')

#写入文件

save=open('xinwen.txt','w')

save.write(titles4)

save.close()

titles = extract_title(doc)

  PS:这里有两个非常方便的正则表达式工具供大家参考:

  JavaScript 正则表达式在线测试工具:

  正则表达式在线生成工具:

  关于Python的更多信息请参考本站专题:《Python正则表达式使用总结》、《Python数据结构与算法教程》、《Python Socket编程技巧总结》、《Python函数使用技巧总结》 、《Python字符串操作技巧总结》、《Python入门及高级经典教程》、《Python文件与目录操作技巧总结》

  希望这篇文章对你的 Python 编程有所帮助。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线