querylist采集微信公众号文章(python采集微信公众号文章本文(操作postgres数据库)抓取)

　　querylist采集微信公众号文章(python采集微信公众号文章本文(操作postgres数据库)抓取)

　　Python抢购搜狗微信公众号文章

　　初学python，抢搜狗微信公众号文章存入mysql

　　mysql表：

　　

　　

　　代码：

　　

import requests

import json

import re

import pymysql

# 创建连接

conn = pymysql.connect(host='你的数据库地址', port=端口, user='用户名', passwd='密码', db='数据库名称', charset='utf8')

# 创建游标

cursor = conn.cursor()

cursor.execute("select * from hd_gzh")

effect_row = cursor.fetchall()

from bs4 import BeautifulSoup

socket.setdefaulttimeout(60)

count = 1

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:65.0) Gecko/20100101 Firefox/65.0'}

#阿布云ip代理暂时不用

# proxyHost = "http-cla.abuyun.com"

# proxyPort = "9030"

# # 代理隧道验证信息

# proxyUser = "H56761606429T7UC"

# proxyPass = "9168EB00*敏*感*词*167176"

# proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

# "host" : proxyHost,

# "port" : proxyPort,

# "user" : proxyUser,

# "pass" : proxyPass,

# }

# proxies = {

# "http" : proxyMeta,

# "https" : proxyMeta,

# }

#查看是否已存在数据

def checkData(name):

sql = "select * from gzh_article where title = '%s'"

data = (name,)

count = cursor.execute(sql % data)

conn.commit()

if(count!=0):

return False

else:

return True

#插入数据

def insertData(title,picture,author,content):

sql = "insert into gzh_article (title,picture,author,content) values ('%s', '%s','%s', '%s')"

data = (title,picture,author,content)

cursor.execute(sql % data)

conn.commit()

print("插入一条数据")

return

for row in effect_row:

newsurl = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=' + row[1] + '&ie=utf8&_sug_=n&_sug_type_='

res = requests.get(newsurl,headers=headers)

res.encoding = 'utf-8'

soup = BeautifulSoup(res.text,'html.parser')

url = 'https://weixin.sogou.com' + soup.select('.tit a')[0]['href']

res2 = requests.get(url,headers=headers)

res2.encoding = 'utf-8'

soup2 = BeautifulSoup(res2.text,'html.parser')

pattern = re.compile(r"url \+= '(.*?)';", re.MULTILINE | re.DOTALL)

script = soup2.find("script")

url2 = pattern.search(script.text).group(1)

res3 = requests.get(url2,headers=headers)

res3.encoding = 'utf-8'

soup3 = BeautifulSoup(res3.text,'html.parser')

print()

pattern2 = re.compile(r"var msgList = (.*?);$", re.MULTILINE | re.DOTALL)

script2 = soup3.find("script", text=pattern2)

s2 = json.loads(pattern2.search(script2.text).group(1))

#等待10s

time.sleep(10)

for news in s2["list"]:

articleurl = "https://mp.weixin.qq.com"+news["app_msg_ext_info"]["content_url"]

articleurl = articleurl.replace('&','&')

res4 = requests.get(articleurl,headers=headers)

res4.encoding = 'utf-8'

soup4 = BeautifulSoup(res4.text,'html.parser')

if(checkData(news["app_msg_ext_info"]["title"])):

insertData(news["app_msg_ext_info"]["title"],news["app_msg_ext_info"]["cover"],news["app_msg_ext_info"]["author"],pymysql.escape_string(str(soup4)))

count += 1

#等待5s

time.sleep(10)

for news2 in news["app_msg_ext_info"]["multi_app_msg_item_list"]:

articleurl2 = "https://mp.weixin.qq.com"+news2["content_url"]

articleurl2 = articleurl2.replace('&','&')

res5 = requests.get(articleurl2,headers=headers)

res5.encoding = 'utf-8'

soup5 = BeautifulSoup(res5.text,'html.parser')

if(checkData(news2["title"])):

insertData(news2["title"],news2["cover"],news2["author"],pymysql.escape_string(str(soup5)))

count += 1

#等待10s

time.sleep(10)

cursor.close()

conn.close()

print("操作完成")

　　以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

　　时间：2019-03-31

　　python采集微信公众号文章

　　

　　本文示例分享了python采集微信公众号文章的具体代码，供大家参考。具体内容如下。python的一个子目录下存放了两个文件，分别是：采集公众号文章.py和config.py。代码如下：1.采集公众号文章.py from urllib.parse import urlencode import pymongo import requests from lxml.etree import XMLSyntaxError from requests.exceptions import Connec

　　Python如何爬取微信公众号文章及评论（基于Fiddler抓包分析）

　　

　　背景描述我觉得微信公众号是比较难爬的平台之一，但是经过一番折腾，还是有一点小收获。没用Scrapy（估计爬太快有防爬限制），不过后面会开始整理写一些实战。. 简单介绍一下本次的开发环境：python3请求psycopg2（操作postgres数据库） 抓包分析 本次实战对要抓包的公众号没有限制，但是每次抓包前都要对不同的公众号进行分析。打开Fiddler，在手机上配置相关代理。为了避免过多干扰，这里给Fiddler一个过滤规则，指定微信域名即可：

　　python爬取微信公众号文章的方法

　　

　　最近在学习Python3网络爬虫（崔庆才写的）的开发实践，刚刚得知他在这里使用代理爬取了公众号文章，但是根据他的代码，还是出现了一些问题。我在这里用过这本书。对本书前面提到的一些内容进行了改进。（作者半年前写了这段代码，腾讯的网站半年前更新了）我直接加下面代码：TIMEOUT = 20 from requests import Request, Session, PreparedRequest import requests from selenium import webdrive

　　50行Python代码如何获取所有公众号文章

　　

　　前言我们在阅读公众号文章时通常会遇到一个问题——阅读历史文章的体验并不好。我们知道爬取公众号的常用方法有两种：通过搜狗搜索获取，缺点是只能获取最新的十推文章。通过微信公众号的素材管理，可以获得公众号文章。缺点是需要自己申请公众号。微信方式获取公众号文章的方法。与其他方法相比，非常方便。如上图，通过抓包工具获取微信的网络信息请求，我们发现每次文章

　　Python爬取指定微信公众号文章

　　本文示例分享了python爬取微信公众号文章的具体代码，供大家参考。具体内容如下。该方法是依靠 urllib2 库完成的。首先需要安装你的python环境，然后安装urllib2库程序的启动方法（返回值为公众号文章的列表）： def openUrl(): print("启动爬虫，打开搜狗搜索微信界面") # 加载页面url = ';s_from=input&query = 被抓取的公众号名称

　　Python爬取微信公众号文章

　　本文示例分享python爬取微信公众号文章的具体代码供大家参考，具体内容如下# -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup from requests .exceptions import RequestException import time import random import MySQLdb import threading import socket import math soc

　　python selenium爬取微信公众号文章代码详解

　　参考：selenium webdriver 添加cookies： 需求：想看微信公众号文章的历史，但是每次都找地方不方便。思路：1.使用selenium打开微信公众号历史文章，滚动刷新到底部，获取所有历史文章url。2.遍历访问url，下载到本地。实现1.打开微信客户端，点击微信公众号->进入公众号->打开历史文章链接（用浏览器打开），通过开发者工具获取cookie

　　Python使用webdriver爬取微信公众号

　　本文示例分享了python使用webdriver爬取微信公众号的具体代码，供大家参考。具体内容如下# -*- 编码：utf-8 -*- from selenium import webdriver import time import json import requests import re import random #微信公众号user="" #公众号密码password="" #设置需要爬取的公众号列表 gzlist=['香河微服务

　　python如何导出微信公众号文章详解

　　1.安装wkhtmltopdf 下载地址：我用windows进行测试，下载安装后结果如下 2 编写python代码导出微信公众号文章 不能直接使用wkhtmltopdf导出微信公众号文章，导出的文章会缺图，所以需要使用微信公众号文章页面，然后将html文本转换成pdf pip install wechatsogou --升级 pip install pdfkit 踩坑

　　Python抓取微信公众号账号信息的方法

　　搜狗微信搜索提供了两种关键词搜索，一种是搜索公众号文章的内容，另一种是直接搜索微信公众号。公众号基本信息可通过微信公众号搜索获取。还有最近发布的10个文章，今天就来抢微信公众号的账号信息爬虫吧。首先通过首页进入，可以按类别抓取，通过“查看更多”可以找到页面链接规则： import requests as req import re reTypes = r'id="pc_\d*" uigs=" (pc_\d*)">([\s\S]*?)&

　　Python爬虫_微信公众号推送信息爬取示例

　　

　　问题描述 使用搜狗的微信搜索，从指定公众号抓取最新推送，并将对应网页保存到本地。注意，搜狗微信获取的地址是临时链接，具有时效性。公众号为动态网页（JavaScript渲染），使用requests.get()获取的内容不收录推送消息。这里使用 selenium+PhantomJS 处理代码#！/usr/bin/env python3 from selenium import webdriver from datetime import datetime import bs4, requ