网站调用新浪微博内容(【魔兽世界】新浪微博登录常用接口：对应主界面)

　　网站调用新浪微博内容(【魔兽世界】新浪微博登录常用接口：对应主界面)

　　日志条目

　　新浪微博登录常用界面：

　　对应主界面：

　　不过我个人推荐使用手机微博入口：

　　对应主界面：

　　原因是手机数据比较轻，基础数据齐全。可能缺少一些基本的个人信息，比如“*敏*感*词*补全”、“个人等级”等，同时粉丝ID和关注者ID只能显示20页，但可以作为大部分的语料库验证。

　　通过对比下面两张图，在PC端和手机端，可以发现内容基本一致：

　　

　　手机端如下图，图片相对较小，内容更加精简。

　　

　　完整的源代码

　　下面的代码主要分为三部分：

　　1.登录微博(用户名，密码) 登录微博

　　2.VisitPersonPage(user_id) 访问人物网站获取个人信息

　　3.翻页获取微博内容

<p># coding=utf-8

"""

Created on 2016-02-22 @author: Eastmount

功能: 爬取新浪微博用户的信息

信息：用户ID 用户名 粉丝数 关注数 微博数 微博内容

网址：http://weibo.cn/ 数据量更小 相对http://weibo.com/

"""

import time

import re

import os

import sys

import codecs

import shutil

import urllib

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

import selenium.webdriver.support.ui as ui

from selenium.webdriver.common.action_chains import ActionChains

#先调用无界面浏览器PhantomJS或Firefox

#driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")

driver = webdriver.Firefox()

wait = ui.WebDriverWait(driver,10)

#全局变量 文件操作读写信息

inforead = codecs.open("SinaWeibo_List.txt", 'r', 'utf-8')

infofile = codecs.open("SinaWeibo_Info.txt", 'a', 'utf-8')

#********************************************************************************

# 第一步: 登陆weibo.cn 获取新浪微博的cookie

# 该方法针对weibo.cn有效(明文形式传输数据) weibo.com见学弟设置POST和Header方法

# LoginWeibo(username, password) 参数用户名 密码

# 验证码暂停时间手动输入

#********************************************************************************

def LoginWeibo(username, password):

try:

#**********************************************************************

# 直接访问driver.get("http://weibo.cn/5824697471")会跳转到登陆页面 用户id

#

# 用户名

# 密码 "password_4903" 中数字会变动,故采用绝对路径方法,否则不能定位到元素

#

# 勾选记住登录状态check默认是保留 故注释掉该代码 不保留Cookie 则'expiry'=None

#**********************************************************************

#输入用户名/密码登录

print u'准备登陆Weibo.cn网站...'

driver.get("http://login.weibo.cn/login/")

elem_user = driver.find_element_by_name("mobile")

elem_user.send_keys(username) #用户名

elem_pwd = driver.find_element_by_xpath("/html/body/div[2]/form/div/input[2]")

elem_pwd.send_keys(password) #密码

#elem_rem = driver.find_element_by_name("remember")

#elem_rem.click() #记住登录状态

#重点: 暂停时间输入验证码

#pause(millisenconds)

time.sleep(20)

elem_sub = driver.find_element_by_name("submit")

elem_sub.click() #点击登陆

time.sleep(2)

#获取Coockie 推荐 http://www.cnblogs.com/fnng/p/3269450.html

print driver.current_url

print driver.get_cookies() #获得cookie信息 dict存储

print u'输出Cookie键值对信息:'

for cookie in driver.get_cookies():

#print cookie

for key in cookie:

print key, cookie[key]

#driver.get_cookies()类型list 仅包含一个元素cookie类型dict

print u'登陆成功...'

except Exception,e:

print "Error: ",e

finally:

print u'End LoginWeibo!\n\n'

#********************************************************************************

# 第二步: 访问个人页面http://weibo.cn/5824697471并获取信息

# VisitPersonPage()

# 编码常见错误 UnicodeEncodeError: 'ascii' codec can't encode characters

#********************************************************************************

def VisitPersonPage(user_id):

try:

global infofile

print u'准备访问个人网站.....'

#原创内容 http://weibo.cn/guangxianliuyan?filter=1&page=2

driver.get("http://weibo.cn/" + user_id)

#**************************************************************************

# No.1 直接获取 用户昵称 微博数 关注数 粉丝数

# str_name.text是unicode编码类型

#**************************************************************************

#用户id

print u'个人详细信息'

print '**********************************************'

print u'用户id: ' + user_id

#昵称

str_name = driver.find_element_by_xpath("//div[@class='ut']")

str_t = str_name.text.split(" ")

num_name = str_t[0] #空格分隔 获取第一个值 "Eastmount 详细资料 设置 新手区"

print u'昵称: ' + num_name

#微博数 除个人主页 它默认直接显示微博数 无超链接

#Error: 'unicode' object is not callable

#一般是把字符串当做函数使用了 str定义成字符串 而str()函数再次使用时报错

str_wb = driver.find_element_by_xpath("//div[@class='tip2']")

pattern = r"\d+\.?\d*" #正则提取"微博[0]" 但r"(\[.*?\])"总含[]

guid = re.findall(pattern, str_wb.text, re.S|re.M)

print str_wb.text #微博[294] 关注[351] 粉丝[294] 分组[1] @他的

for value in guid:

num_wb = int(value)

break

print u'微博数: ' + str(num_wb)

#关注数

str_gz = driver.find_element_by_xpath("//div[@class='tip2']/a[1]")

guid = re.findall(pattern, str_gz.text, re.M)

num_gz = int(guid[0])

print u'关注数: ' + str(num_gz)

#粉丝数

str_fs = driver.find_element_by_xpath("//div[@class='tip2']/a[2]")

guid = re.findall(pattern, str_fs.text, re.M)

num_fs = int(guid[0])

print u'粉丝数: ' + str(num_fs)

#***************************************************************************

# No.2 文件操作写入信息

#***************************************************************************

infofile.write('=====================================================================\r\n')

infofile.write(u'用户: ' + user_id + '\r\n')

infofile.write(u'昵称: ' + num_name + '\r\n')

infofile.write(u'微博数: ' + str(num_wb) + '\r\n')

infofile.write(u'关注数: ' + str(num_gz) + '\r\n')

infofile.write(u'粉丝数: ' + str(num_fs) + '\r\n')

infofile.write(u'微博内容: ' + '\r\n\r\n')

#***************************************************************************

# No.3 获取微博内容

# http://weibo.cn/guangxianliuyan?filter=0&page=1

# 其中filter=0表示全部 =1表示原创

#***************************************************************************

print '\n'

print u'获取微博内容信息'

num = 1

while num