php多线程抓取网页(Python处理网页相关的几种常见错误（一）+BeautifulSoup抓取Goolge )

　　php多线程抓取网页(Python处理网页相关的几种常见错误（一）+BeautifulSoup抓取Goolge

)

　　1）urllib2+BeautifulSoup抓取谷歌搜索链接

　　最近，参与项目需要处理谷歌搜索结果。在此之前，我学习了与网页相关的Python工具。在实际应用中，urlib2和beatifulsoup被用来捕获网页，但在捕获Google搜索结果时，发现如果直接处理Google搜索结果页面的源代码，会获得许多“脏”链接

　　“泰坦尼克号詹姆斯”的搜索结果如下图所示：

　　

　　图中红色标记的不需要，蓝色标记的需要抓取

　　当然，这个“脏链接”可以通过规则过滤过滤掉，但是程序的复杂性很高。当他写过滤规则时，脸上带着悲伤。学生们提醒谷歌应该在他们突然明白之前提供相关的API

　　（2）GoogleWeb搜索API+多线程

　　文档中给出了使用Python进行搜索的示例：

　　在实际应用中，您可能需要抓取许多Google网页，因此您还需要使用多线程来共享抓取任务。有关使用Google Web搜索API的详细介绍，请参见此处（此处介绍了标准URL参数）。此外，请特别注意URL中的参数rsz必须为8（包括以下数值8）.如果大于8，将报告错误

　　（3）code实现）

　　代码实现中仍然存在问题，但它可以运行，健壮性差，需要改进。我希望诸神都能指出错误（初学者Python）。非常感谢

　　#-*-coding:utf-8-*-

import urllib2,urllib

import simplejson

import os, time,threading

import common, html_filter

#input the keywords

keywords = raw_input('Enter the keywords: ')

#define rnum_perpage, pages

rnum_perpage=8

pages=8

#定义线程函数

def thread_scratch(url, rnum_perpage, page):

url_set = []

try:

request = urllib2.Request(url, None, {'Referer': 'http://www.sina.com'})

response = urllib2.urlopen(request)

# Process the JSON string.

results = simplejson.load(response)

info = results['responseData']['results']

except Exception,e:

print 'error occured'

print e

else:

for minfo in info:

url_set.append(minfo['url'])

print minfo['url']

#处理链接

i = 0

for u in url_set:

try:

request_url = urllib2.Request(u, None, {'Referer': 'http://www.sina.com'})

request_url.add_header(

'User-agent',

'CSC'

)

response_data = urllib2.urlopen(request_url).read()

#过滤文件

#content_data = html_filter.filter_tags(response_data)

#写入文件

filenum = i+page

filename = dir_name+'/related_html_'+str(filenum)

print ' write start: related_html_'+str(filenum)

f = open(filename, 'w+', -1)

f.write(response_data)

#print content_data

f.close()

print ' write down: related_html_'+str(filenum)

except Exception, e:

print 'error occured 2'

print e

i = i+1

return

#创建文件夹

dir_name = 'related_html_'+urllib.quote(keywords)

if os.path.exists(dir_name):

print 'exists file'

common.delete_dir_or_file(dir_name)

os.makedirs(dir_name)

#抓取网页

print 'start to scratch web pages:'

for x in range(pages):

print "page:%s"%(x+1)

page = x * rnum_perpage

url = ('https://ajax.googleapis.com/ajax/services/search/web'

'?v=1.0&q=%s&rsz=%s&start=%s') % (urllib.quote(keywords), rnum_perpage,page)

print url

t = threading.Thread(target=thread_scratch, args=(url,rnum_perpage, page))

t.start()

#主线程等待子线程抓取完

main_thread = threading.currentThread()

for t in threading.enumerate():

if t is main_thread:

continue

t.join()