js 爬虫抓取网页数据(Ajax——实现动态页面Ajax一门
)
　　Ajax - 实现动态页面
　　Ajax 不是一种编程语言，而是一种使用 JavaScript 与服务器交换数据并更新网页部分而不更改与页面的连接的技术。在这个过程中，页面实际上是在后台与服务器交互的。获取数据后，通过 JavaScript 更新网页内容。除了一些比较老的或者轻量级的网站，现在的网站大部分都是动态页面，动态页面可以关联更多的数据，所以也是爬虫面对的主要网页形式。
　　网络 - 位置请求和数据
　　Ajax 有其特殊的请求类型，称为 XHR。要在 XHR 中查找请求，您需要使用开发人员工具栏中的网络。
　　
　　第0行左侧，红色圆圈按钮为开启网络监控（默认高亮），灰色圆圈为清除面板信息。在右侧，选中复选框 Preserve log，用于“保留请求日志”。如果不点击，跳转页面时记录会被清除。所以在抓取一些会跳转的网页时，需要将其点亮。
　　第一行是对请求进行分类查看。最常用的有：ALL（查看全部）/XHR（只查看XHR）/Doc（文档，第0个请求一般在这里），Img（只查看图片）/Media（只查看媒体文件）/Other（其他） . JS和CSS是前端代码，负责发起请求和页面实现；字体是文本的字体。
　　第 2 行和第 1 行的中间是时间线。记录提出的时间和要求。第 2 行是每个请求。
　　
　　第三行是统计有多少请求，总共有多大，用了多长时间。
　　Network 可以记录浏览器的所有实时网络请求，这些请求构成了 Elements 中的所有内容。清除面板中的信息后，点击红色按钮，通过“下拉”或点击“加载更多”、“下一页”等方式会记录相应的请求，您可以通过以下方式搜索所需的请求这些请求中的名称。数据对应于特定请求。
　　
　　在XHR中点击请求后，从左到右依次为：Headers：header（请求信息），Preview：预览，Response：响应，Cookies：Cookies，Timing：时间。
　　
　　Headers分为四个部分，Requests URL一般是所需数据的真实URL。
　　
　　如果直接在浏览器中打开这个链接，由于没有解析响应，呈现的规律性较差，很难定位到具体的数据位置。
　　
　　Json - 解析数据
　　JSON 是 XHR 传输数据的一种数据格式，非常类似于 Python 中的字典。XHR 返回的数据为 json 格式，由浏览器开发者工具自动解析并呈现在 Preview 中。“keys”和“values”逐层展开，很容易定位到具体的数据位置。JSON 是一种文本格式。不是所有的编程语言都能读取 Python 中的数据类型，但都支持 JSON 的简单数据类型。因此可以实现json数据，跨平台，跨语言工作。使用 json() 方法将 json 数据格式转换为列表/字典。
　　
　　
　　实战练习——QQ音乐周杰伦歌曲
　　# 引用requests库 import requests# 调用get方法，利用General里的Requests URL对应的真实地址爬取XHR的json数据res_music = requests.get('https://c.y.qq.com/soso/fcgi-b ... %2339;)# 使用json()方法，将response对象，转为列表/字典json_music = res_music.json()# 一层一层地取字典，获取歌单列表list_music = json_music['data']['song']['list']# list_music是一个列表，music是它里面的元素for music in list_music: # 以name为键，查找歌曲名 print(music['name']) # 查找专辑名 print('所属专辑：'+music['album']['name']) # 查找播放时长 print('播放时长：'+str(music['interval'])+'秒') # 查找播放链接 print('播放链接：https://y.qq.com/n/yqq/song/'+music['mid']+'.html\n\n') 查看全部

　　js 爬虫抓取网页数据(网络抓取和网络爬虫：这两个术语齐头并进，但略有不同)
　　网络抓取和网络爬虫：这两个术语齐头并进，但略有不同。大多数人对这两个术语感到困惑，因为它们看起来相同，因为它们在某些方面相似。本文将带您清楚地了解这两个术语的含义。
　　什么是网页抓取？
　　简单来说，网页抓取就是从 网站 或网页中提取网页数据。然后将提取的数据保存为特定的文件格式。网页抓取可以手动完成；但是，网络爬虫用于自动执行此过程。
　　作为可以指出的一个关键方面，网络爬虫仅以针对目标网站 的集中方法提取特定数据。然后存储提取的网络数据以供进一步分析。
　　什么是网络爬虫？
　　网络爬虫或数据爬虫处理大型数据集，并不局限于小型工作负载。通俗地说，网络爬取（和索引）是搜索引擎所做的。基本上，这就是您在搜索结果页面上看到的内容。网络爬虫（也称为蜘蛛或机器人）通过单击每个可用链接来爬取网络以查找特定信息。
　　网页抓取和网页抓取
　　让我们这样分解一下，大致了解什么是爬行和爬行。
　　网络爬虫系统地浏览并点击网络的不同目标或任何其他来源以检测变化并通知它们，而网络抓取是将爬取的内容以特定格式下载到您的计算机/数据库中。
　　数据抓取者知道要抓取什么，因此他们会寻找要抓取的特定数据。最常见的是，爬虫正在寻找价格、数据、描述和标题等市场数据。这些数据可用于未来的分析和制定有助于发展业务的业务决策。
　　从这里开始，网络抓取和网络爬虫之间的显着差异将在单独的部分中讨论。
　　网页抓取过程
　　网页抓取过程可以通过以下三个步骤进行说明；
　　1. 请求-响应
　　• 首先，您需要向目标网站 请求特定URL 的内容。
　　• 作为响应，爬虫获取HTML 格式的数据。
　　2. 解析和提取
　　• 解析适用于任何计算机语言。此过程涉及将代码作为文本并生成计算机可以理解和使用的结构。
　　3.下载数据
　　• 作为最后一部分，下载的数据将保存在 JSON、CSV 或数据库中以供以后分析。
　　网络爬取过程
　　1. 选择开始种子 URL。
　　2.添加到边框
　　3.从边界中选择 URL
　　4.获取特定URL对应的网页
　　5. 解析网页获取新的 URL
　　6.所有新发现的 URL 都添加到边界
　　7.重复步骤 3 直到边界为空
　　移动
　　• Web 抓取- 仅抓取数据（仅获取和下载特定数据）。
　　• 网络爬虫- 只爬取数据（特别选择的目标）。
　　重复数据删除
　　• 网页抓取 - 不是一个重要因素，因为它可以手动完成，因此更小。
　　• 网络爬虫- 爬虫过滤掉重复数据。
　　劳动力
　　• 网页抓取- 可以手动执行。
　　• 网络爬虫- 只能使用爬虫代理（机器人或蜘蛛）来实现。
　　在我们的博客中查看更多与网络抓取相关的 文章。用于抓取和爬行的住宅代理
　　到目前为止，您必须清楚地了解网络爬虫和网络抓取的全部内容。在谈到获得成功和准确的结果时，使用住宅代理网络是克服网络抓取和爬网挑战的最推荐方法。
　　使用低质量代理时会遇到的一些挑战
　　• 高频率的网络数据提取导致您的IP 被列入黑名单。
　　• 加载缓慢或不稳定。
　　• 影响整体数据完整性的数据质量。
　　更好的爬取爬取方案
　　使用具有 24/7 活跃住宅 IP 的住宅代理网络可以让您更快更准确地爬取和爬取网站
　　结合动态 P2P 网络以提高可扩展性，使用高度匿名和稳定的住宅代理网络访问任何网页。 查看全部

　　js 爬虫抓取网页数据(web自动化终极爬虫：百度音乐（静态网页）分析步骤)
　　介绍：
　　最近写了几个简单的爬虫，踩了几个深坑。在这里总结一下，给大家写爬虫时的一些思路。该爬虫的内容包括：静态页面的爬取。动态页面的抓取。网络自动化的终极爬虫。
　　分析：
　　数据获取（主要通过爬虫）
　　数据存储（python excel存储）
　　数据采集​​实践：百度音乐（静态网页）
　　分析步骤
　　1.打开百度音乐：
　　2.打开浏览器调试模式F12，选择Network+all模式
　　
　　3.在搜索框搜索歌曲（beat it），查看控制台
　　
　　4、通过以上分析：获取有效信息：
　　5、通过有效信息设计爬虫，获取数据
　　代码
　　1.View提供了访问参数url并返回结果的方法
　　def view(url):
'''
:param url: 待爬取的url链接
:return:
'''
# 从url中获取host
protocol, s1 = urllib.splittype(url)
host, s2 = urllib.splithost(s1)
# 伪装浏览器，避免被kill
headers = {
'Host': host,
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
}
# 代理
proxies = {
"http": "dev-proxy.oa.com:8080",
"https": "dev-proxy.oa.com:8080",
}
# 利用requests封装的get方法请求url，并添加请求头和代理，获取并返回请求结果。并进行异常处理
try:
res = requests.get(url, headers=headers, proxies=proxies)
res.encoding = 'utf-8'
if res.status_code == 200:
# 请求成功
# 获取网页内容，并返回
content = res.text
return content
else:
return None
except requests.RequestException as e:
# 异常处理
print(e)
return None
　　2 .search_baidu_song 提供参数song_name的歌曲搜索并获取搜索结果
　　def search_baidu_song(song_name):
'''
获取百度音乐搜索歌曲结果
:param song_name: 待搜索歌曲名
:return: 搜索结果
'''
def analyse():
'''
静态网页分析，利用BeautifulSoup，轻松获取想要的数据。需要对html有了解。
:return:
'''
# 初始化BeautifulSoup对象，并指定解析器为 lxml。还有其他的解析器：html.parser、html5lib等
# 详细教程可访问：http://cuiqingcai.com/1319.html《Python爬虫利器二之Beautiful Soup的用法》
html = BeautifulSoup(content, "lxml")
# beautifulsoupzui常用方法之一: find_all( name , attrs , recursive , text , **kwargs )
# find_all() 方法搜索当前tag的所有tag子节点, 并判断是否符合过滤器的条件
# tag标签名为'div'的并且标签类名为class_参数（可为 str、 list、 tuple）,
search_result_divs = html.find_all('div', class_=['song-item clearfix ', 'song-item clearfix yyr-song'])
for div in search_result_divs:
# find() 方法搜索当前tag的所有tag子节点, 并返回符合过滤器的条件的第一个结点对象
song_name_str = div.find('span', class_='song-title')
singer = div.find('span', class_='singer')
album = div.find('span', class_='album-title')
# 此部分需要对html页面进行分析，一层层剥开有用数据并提取出来
if song_name_str:
# 获取结点对象内容，并清洗
song_name_str = song_name.text.strip()
else:
song_name_str = ''
if singer:
singer = singer.text.strip()
else:
singer = ''
if album:
album = album.find('a')
if album:
# 获取标签属性值
# 方法二：属性值 = album['属性名']
album = album.attrs.get('title')
if album and album != '':
album = album.strip()
else:
album = ''
else:
album = ''
# print song_name + " | " + singer + " | " + album
songInfoList.append(SongInfo(song_name_str, singer, album))
songInfoList = []
url = urls.get('baidu_song')
url1 = url.format(song_name=song_name, start_idx=0)
content = self.view(url1)
if not content:
return []
analyse(content)
url2 = url.format(song_name=song_name, start_idx=20)
content = self.view(url2)
analyse(content)
return songInfoList[0:30]
　　这样我们就得到了百度网歌搜索结果的数据。然后就是保存数据了，这个我们最后会讲。
　　网易云音乐（动态网页）
　　当我们通过上述静态网页获取方式获取网易云音乐的数据时，可能会遇到这样一个问题：网页的源代码没有可用的数据，只有网页的骨架。数据根本找不到，但是打开开发者工具查看DOM树，就可以找到想要的数据了。这时候我们遇到一个动态网页，数据是动态加载的。无法获取网页数据。
　　目前有两种解决方案：
　　通过查看访问动态数据界面获取数据。获取网页源代码，通过网络自动化工具获取数据。
　　（目前网易云已经不能单纯通过访问url获取数据了，我们可以使用web自动化工具selenium和PhantomJS获取网页源代码） 方案一实现（通过查看动态数据接口获取数据）：开启网易云音乐：打开浏览器调试模式F12，选择网络+全部模式
　　
　　在搜索框中搜索歌曲（击败它），检查控制台
　　
　　过滤到XHR的请求，发现请求名是一样的。这时候，我们看这些名字，看到Request URL中查找关键字搜索的请求。这个请求是一个 POST 请求。这应该是获取搜索数据的接口，通过查看响应或者预览来查看请求返回结果。正是我们想要的。
　　
　　我们先不要太高兴，我们还没有弄清楚表单数据是如何组成的。params + encSecKey 究竟是如何生成的。我看过网上关于爬网易评论“如何爬网易云音乐？”的评论数。》，得知网易对api进行了加密。因为个人道教太浅了，看不懂这里加密参数的顺序和内容。所以这个方案放弃了。实在不甘心，只好改方案二。
　　选项 2 实现：
　　既然第一个方案暂时行不通，也不能影响我们的工作进度，我们继续换一种思路走。我认为使用 web 自动化测试工具 selenium 可以模拟手动操作浏览器。用这种方式导出网页数据应该没问题，我想马上就做。
　　安装selenium的环境配置
　　建议自动使用python包管理工具：pip install -y selenium
　　其他方法请参考：selenium + python自动化测试环境搭建
　　2.安装PhantomJS
　　PhantomJS 是一个基于 webkit 的 JavaScript API。它使用 QtWebKit 作为其核心浏览器功能，并使用 webkit 来编译、解释和执行 JavaScript 代码。您可以在基于 webkit 的浏览器中做的任何事情，它都能做到。它不仅是一个不可见的浏览器，提供诸如 CSS 选择器、对 Web 标准的支持、DOM 操作、JSON、HTML5、Canvas、SVG 等，它还提供处理文件 I/O 的操作，让您可以读写文件到操作系统等。PhantomJS的用途很广泛，比如网络监控、网页截图、免浏览器网页测试、页面访问自动化等等。
　　下载 PhantomJS
　　目前官方支持三种操作系统，包括windows\Mac OS\Linux这三大主流的环境。你可以根据你的运行环境选择要下载的包
　　1.安装 PhantomJS
　　下载后解压文件，将phantomjs.exe放到pythond目录下（C:\Python27\phantomjs.exe）。这样后续加载就不需要指定目录了。也可以放在特定的目录下，使用时可以指定phantomjs.exe的路径。双击打开phantomjs.exe，验证安装成功。如果出现下图，则安装成功。
　　
　　2.实现的代码步骤：
　　def dynamic_view(url):
'''
使用自动化工具获取网页数据
:param url: 待获取网页url
:return: 页面数据
'''
# 初始化浏览器driver
driver = webdriver.PhantomJS()
# 浏览器driver访问url
driver.get(url)
# 坑：不同frame间的转换(网易云在数据展示中会将数据动态添加到'g_iframe'这个框架中，如果不切换，会报"元素不存在"错误。)
driver.switch_to.frame("g_iframe")
# 隐式等待5秒，可以自己调节
driver.implicitly_wait(5)
# 设置10秒页面超时返回，类似于requests.get()的timeout选项，driver.get()没有timeout选项
driver.set_page_load_timeout(10)
# 获取网页资源（获取到的是网页所有数据）
html = driver.page_source
# 坑：退出浏览器driver，必须手动退出driver。
driver.quit()
# 返回网页资源
return html
　　
　　def search_163_song(song_name):
pass
　　也用于通过 BeautifulSoup 对网页资源进行对象化，通过过滤对象获取数据。没想到网易云音乐的数据也可以通过这种方式获取。对于大多数 网站 来说，能够做到这一点就足够了。
　　选择 PhantomJS 是因为它不需要可视页面，而且它节省了内存使用。但也有问题，请继续往下看。看起来快完成了。
　　3. 发现
　　解决方案：使用 Web 自动化获取数据。通过请求动态数据接口获取数据方案实现：
　　计划一：
　　使用网页自动化工具获取数据：配置同网易云配置，模仿用户操作浏览器打开网页，用户登录，进入搜索页面，获取页面数据
　　def spotify_view(url):
'''
使用自动化工具获取网页数据
:param url: 待获取网页url
:return: 页面数据
'''
spotify_name = 'manaxiaomeimei'
spotify_pass = 'dajiagongyong'
spotify_login = 'https://accounts.spotify.com/en/login'
# 初始化浏览器driver
driver = webdriver.PhantomJS()
# 模拟用户登录()
# 浏览器driver访问登录url
driver.get(spotify_login)
# 休息一下等待网页加载。(还有另一种方式：driver.implicitly_wait(3))
time.sleep(3)
# 获取页面元素对象方法（本次使用如下）：
# find_element_by_id : 通过标签id获取元素对象 可在页面中获取到唯一一个元素，因为在html规范中。一个DOM树中标签id不能重复
# find_element_by_class_name : 通过标签类名获取元素对象，可能会重复（有坑）
# find_element_by_xpath : 通过标签xpath获取元素对象，类同id，可获取唯一一个元素。
# 获取页面元素对象--用户名
username = driver.find_element_by_id('login-username')
# username.clear()
# 坑：获取页面元素对象--密码
# 在通过类名获取标签元素中，遇到了无法定位复合样式，这时候可采用仅选取最后一个使用的样式作为参数，即可（稳定性不好不建议使用。尽量使用by_id）
# password = driver.find_element_by_class_name('form-control input-with-feedback ng-dirty ng-valid-parse ng-touched ng-empty ng-invalid ng-invalid-required')
password = driver.find_element_by_class_name('ng-invalid-required')
# password.clear()
# 获取页面元素对象--登录按钮
login_button = driver.find_element_by_xpath('/html/body/div[2]/div/form/div[3]/div[2]/button')
# 通过WebDriver API调用模拟键盘的输入用户名
username.send_keys(spotify_name)
# 通过WebDriver API调用模拟键盘的输入密码
password.send_keys(spotify_pass)
# 通过WebDriver API调用模拟鼠标的点击操作，进行登录
login_button.click()
# 休息一下等待网页加载
driver.implicitly_wait(3)
# 搜索打开歌曲url
driver.get(url)
time.sleep(5)
# 搜索获取网页代码
html = driver.page_source
return html
　　
　　打完跑步后，一切都很好。突然代码报错（如下图）。查了资料后，代码也做了修改。
　　
　　网络产品
　　将 clear() 添加到输入元素以清除原创字符。更换浏览器
　　方案实施：
　　计划一：
　　获取到对象后，为对象添加clear方法（username.clear()、password.clear()）
　　实施成果
　　方案 1 失败。原因不清楚，大部分webdriver不兼容PhantomJS。
　　场景二：
　　换个浏览器，这次选择使用chrome浏览器来自动化操作。
　　安装 chrome 自动化控制插件。
　　我认为这将是获取数据的方式。烧鹅，还是没拿到，报错（如下图）
　　
　　此时：是时候查看请求并找出令牌是什么了。并尝试将令牌添加到请求标头。
　　
　　查看 cookie
　　
　　但是我们登录后cookies列表中并没有这样的cookie！
　　
　　据预测，该 cookie 应在网络播放器加载时播种。验证它：
　　
　　从上表可以看出。加载播放器时会播种此令牌。
　　至此，问题解决了一大半。 查看全部

　　js 爬虫抓取网页数据(那些动用浏览器内核（PhantomJS、Selenium等）的方案都太重了)
　　那些使用浏览器内核的（PhantomJS、Selenium等）太重了，
　　上面链接中的博客通过抓取拉狗网的Ajax请求的数据示例，解释了如何抓取前端渲染的网页，也就是题主所说的“网页的内容是由JavaScript生成的”。摘录如下：
　　链接：http://xlzd.me/2015/12/19/python-crawler-04
来源：xlzd 杂谈
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
　　在爬取网页的时候，有时候我们发现HTML里面没有我们需要的数据，这个时候我们应该怎么办呢？
　　
　　我们的目的是捕捉拉狗网Python分类下全国目前显示的所有招聘信息。首先，在浏览器中单击它以查看它。如果你足够细心或者网络连接速度很慢，你会发现在点击 Python 类别后跳转到的新页面上，职位发布出现在页面框架之后。至此，我们几乎可以确定招聘信息不在页面的 HTML 源代码中。我们可以通过command+option+u查看网页的源代码（Windows和Linux的快捷键是ctrl+u），在源代码中。页面上显示的招聘信息不会出现。
　　至此，我看到的大部分教程都会教用什么库，如何模拟浏览器环境，如何完成网页的渲染，然后拿到里面的信息……永远记住，对于爬虫程序，模拟浏览器往往是最后的手段。只有实在没有办法的时候，才考虑模拟浏览器环境，因为那样的内存开销真的很大，效率很低。
　　那么我们该如何处理呢？经验是，这种情况下，大部分浏览器在请求并解析HTML后，会根据js的“指令”再发送一次请求，得到页面显示的内容，然后通过js渲染到界面。好消息是，此类请求的内容往往是 json 格式，因此我们可以省去解析 HTML 的工作，而不是加重爬虫的任务。
　　那，继续打开Chrome的开发者工具，当我们点击“下一步”时，浏览器发送如下请求：
　　
　　注意 positionAjax.json 请求。它的Type是xhr，全称是XMLHttpRequest。XMLHttpRequest 对象可以部分更新网页，而无需将整个页面提交给服务器。好了，既然是最有可能的，那我们就点进去好好看看吧：
　　
　　点击后，我们在右下角找到了上面的详细信息。几个选项卡的内容表明：
　　通过对内容的观察，返回的确实是一个json字符串，内容中收录了这个页面的每一条招聘信息。至少我们这里已经明确了，不用解析html就可以得到hook招募的信息。那么，应该如何模拟请求呢？我们切换到 Headers 列，注意三个地方：
　　
　　上面的截图显示了这个请求的请求方法、请求地址等信息。
　　
　　上面的截图显示了这个请求的请求头。一般来说，我们需要注意Cookie/Host/Origin/Referer/User-Agent/X-Requested-With等参数。
　　
　　上面的截图显示了这个请求的提交数据。根据观察，kd代表我们查询的关键字，pn代表当前页码。
　　那么，我们的爬虫需要做的就是根据页码不断的向这个接口发送请求，解析其中的json内容，并存储我们需要的值。这里有两个问题：什么时候结束，如何获取json中有价值的内容。
　　让我们返回并重新观察返回的 json。格式化后的层次关系如下：
　　
　　很容易发现，content下的hasNextPage就是是否有下一页，而content下的result是一个列表，每一个都是一个招聘启事。在 Python 中，json 字符串到对象的映射可以通过 json 库来完成：
　　import json
json_obj = json.loads("{'key': 'value'}") # 字符串到对象
json_str = json.dumps(json_obj) # 对象到字符串
　　json字符串的“[]”映射到Python的类型列表，“{}”映射到Python的dict。至此，分析过程就彻底结束了，可以愉快的写代码了。具体代码这里不给出。我希望你能自己完成。如果您在写作过程中遇到问题，可以联系我寻求帮助。
　　概括
　　本篇博客介绍一些数据不在HTML源代码中时的爬取方法，适用于某些情况。 查看全部

　　js 爬虫抓取网页数据(某个站点对数据的显示方式略有不同演示怎样抓取站点的数据)
　　有时出于各种原因，我们需要从某个站点采集数据，但是因为不同站点显示数据的方式略有不同！
　　本文使用Java为大家展示如何抓取网站的数据：(1)抓取原创网页数据；(2)抓取网页Javascript返回的数据。
　　一、获取原创网页。
　　在这个例子中，我们将从上面获取 ip 查询的结果：
　　第一步：打开这个网页，然后输入IP：111.142.55.73，点击查询按钮，可以看到网页上显示的结果：
　　
　　第二步：查看网页的源码，我们看到源码中有这么一段：
　　
　　由此可以看出，再次请求网页后，才显示查询结果。
　　看看查询后的网页地址：
　　
　　也就是说，我们只有通过访问这样的URL才能得到ip查询的结果。接下来看代码：
　　公共 void captureHtml(String ip) 抛出异常 {
　　字符串 strURL = "" + ip;
　　URL url = 新 URL(strURL);
　　HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
　　InputStreamReader 输入 = 新 InputStreamReader(httpConn
　　.getInputStream(), "utf-8");
　　BufferedReader bufReader = new BufferedReader(input);
　　字符串行 = "";
　　StringBuilder contentBuf = new StringBuilder();
　　while ((line = bufReader.readLine()) != null) {
　　contentBuf.append(line);
　　}
　　字符串 buf = contentBuf.toString();
　　int beginIx = buf.indexOf("查询结果[");
　　int endIx = buf.indexOf("以上四项依次显示");
　　字符串结果 = buf.substring(beginIx, endIx);
　　System.out.println("captureHtml()的结果：\n" + result);
　　} 使用HttpURLConnection连接网站，使用bufReader保存网页返回的数据，然后通过自定义解析方式显示结果。
　　这里我只是随便解析了一下。如果解析非常准确，需要我自己处理。
　　解析结果如下：
　　captureHtml() 的结果：
　　查询结果[1]：111.142.55.73 ==>> 1871591241 ==>> 福建漳州移动
　　二、获取网页 JavaScript 返回的结果。
　　有时网站为了保护自己的数据，不会直接在网页源码中返回数据，而是使用JS异步返回数据，这样可以避免工具抓取网站数据比如搜索引擎。
　　先看看这个页面：
　　
　　第一种方式查看网页源代码，但是没有找到运单的跟踪信息，因为它是通过JS的方式获取结果的。
　　但是有时候我们非常需要获取JS数据，这个时候我们应该怎么做呢？
　　这时候我们就需要用到一个工具：HTTP Analyzer，这个工具可以截取Http的交互内容，我们利用这个工具来达到我们的目的。
　　先点击开始按钮后，开始监听网页的交互行为。
　　我们打开网页：，可以看到HTTP Analyzer列出了网页的所有请求数据和结果：
　　
　　为了更方便的查看JS的结果，我们先清除数据，然后在网页中输入快递号：7，点击查询按钮，然后查看HTTP Analyzer的结果：
　　
　　这是点击查询按钮后HTTP Analyzer的结果，我们继续查看：
　　
　　
　　从上面两张图可以看出，HTTP Analyzer可以截取JS返回的数据并显示在Response Content中，同时可以看到JS请求的网页地址。
　　这种情况下，我们只需要分析HTTP Analyzer的结果，然后模拟JS的行为来获取数据，也就是我们只需要访问JS请求的网页地址就可以获取数据，当然前提是就是数据没有加密，我们记下JS请求的URL：
　　然后让程序请求这个网页的结果！
　　这是代码：
　　public void captureJavascript(String postid) 抛出异常 {
　　字符串 strURL = "" + postid
　　+ "&channel=&rnd=0";
　　URL url = 新 URL(strURL);
　　HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
　　InputStreamReader 输入 = 新 InputStreamReader(httpConn
　　.getInputStream(), "utf-8");
　　BufferedReader bufReader = new BufferedReader(input);
　　字符串行 = "";
　　StringBuilder contentBuf = new StringBuilder();
　　while ((line = bufReader.readLine()) != null) {
　　contentBuf.append(line);
　　}
　　System.out.println("captureJavascript() 的结果：\n" + contentBuf.toString());
　　看到了，爬取JS的方式和之前爬取原创网页的代码一模一样，我们只是做了一个分析JS的过程。
　　下面是运行程序的结果：
　　captureJavascript() 的结果：
　　运单跟踪信息 [7]
　　这些数据就是JS返回的结果，达到了我们的目的！
　　希望这篇文章可以对需要的朋友有所帮助。如需程序源代码，请点击这里下载！ 查看全部

　　js 爬虫抓取网页数据(Python爬虫可以爬取什么网络爬虫(又被称为网页蜘蛛))
　　蟒蛇爬虫？数据提取？
　　嗯，是的，爬虫的基本功，拼接url或者传参的时候。
　　如何通过python爬虫获取网页中的pdf文件？
　　先爬出链接URL，然后getstream下载pdf文件，然后使用pdf模块读取。
　　如何学习爬虫技术爬取数据
　　每个人写的程序的用法都不一样，可以自己看文档，应该有格式！不要浪费你的积分！
　　Python爬虫可以爬什么
　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中，更常被称为网络追逐者）是根据一定规则自动爬取万维网上信息的程序或脚本。其他不太常用的名称是 ant、autoindex、emulator 或 worm。
　　其实通俗的说就是通过程序在网页上获取你想要的数据，也就是自动抓取数据
　　爬虫能做什么？
　　你可以使用爬虫爬取图片、爬取视频等你想爬取的数据，只要你可以通过浏览器访问的数据都可以通过爬虫获取。
　　如何使用Python爬虫爬取JS动态过滤内容
　　浏览器，以谷歌浏览器为例，在上面输入你的网址。
　　然后按F12打开调试窗口，然后尝试勾选左边的选项之一，马上在右边的调试窗口中看到有输出。
　　找到第一个输出行，点击表头，可以看到每一个都使用了post方式。
　　所以你只需要构造相应的header并发布，就可以得到你想要的数据。
　　尝试每个请求并单击它
　　是你要构建的数据
　　FormData 是你要构造的数据
　　构造数据并使用 post 函数将其发送到 网站
　　这得到的是网页格式数据。
　　而这个分发返回json数据，然后编码成dict格式提取数据。
　　如何使用python爬虫抓取vjudge上的数据
　　python爬虫获取指定输入，可以使用正则表达式匹配指定内容。如果你使用re模块或者scrapy框架，可以使用xpath来匹配！
　　如何使用 python 爬虫抓取财务数据
　　618ip代理是一款功能强大的动态ip更换软件，覆盖全国各城市。
　　该软件可用于游戏试玩、游戏挂机、营销、优化、文档共享、管理、问答推广、数据采集、点赞、回访效率提升、用户注册等。
　　爬虫爬取网页时如何使用python自动翻页
　　看完你的网站，每次下一页都不一样，每页的链接也不一样。这种分析对你来说肯定是不够的，因为你永远不知道会出现什么结果。建议您使用优采云采集器，这是目前最好的网络数据工具采集，很容易解决这类问题。 查看全部

　　js 爬虫抓取网页数据(别的项目组什么项目突然心血来潮想研究一下爬虫、分析的简单原型)
　　由于其他项目组都在做舆情预测项目，我只是手头没有项目，突然心血来潮想研究一个简单的爬虫原型和分析。网上这方面的资料很多，看得我眼花缭乱。对于我这样的新手，想做一个简单的爬虫程序，所以HttpClient + jsoup是个不错的选择。前者是用来管理请求的，后者是用来解析页面的，主要是后者的select语法和jquery很像，对我这个用js的人来说太方便了。
　　昨天和他们聊天时，他们使用了几个知名的开源框架。聊了几句，他们发现自己根本无法爬取动态网页，尤其是一些重要的数字，比如评论数和回复数。等等我有一个大致的了解。比如TRS的爬虫需要为js调用编写js脚本，但分析量巨大。他们的技术人员告诉我们，如果他们匹配这样的模板，他们每天只能匹配2到3个。，更何况我们这些中途修士。碰巧是一个相当大的挑战，所以我昨天答应他们，看看他们是否能找到一个相对简单的解决方案，当然，不管效率如何。
　　举个简单的例子，如下图
　　“我有话要说”后面的1307是后载的，但这些数字往往对舆情分析更重要。
　　对需求有了大致的了解后，我们来分析如何解决它们。通常，我们对请求得到的响应中收录js代码和html元素，所以像jsoup这样的html解析器很难在这里利用，因为它所能得到的html，1307还没有生成。这时候就需要一个可以运行js的平台，运行js代码后的页面会被html解析，这样才能正确得到结果。
　　因为懒，一开始写脚本的方式被我抛弃了，因为分析一个页面太痛苦了，代码乱成一锅粥。看的太累了。所以我的首要任务是，为什么我不能让这个地址在某个浏览器中运行，然后将运行结果交给html解析器解析，那么整个问题就解决了。这样，我的临时解决方案是在爬虫服务器上打开一个后台浏览器，或者是有浏览器内核的程序，把url地址交给它去请求，然后从浏览器中取出页面的元素给它到 html 解析器进行解析以获取您想要的信息。
　　明天再说吧，先休息吧。 查看全部

　　js 爬虫抓取网页数据(Python爬虫如何写爬虫“贼船”等上了贼船才发现)
　　写爬虫是一项考验综合实力的工作。有时，您可以轻松获取所需的数据；有时候，你努力了，却一无所获。
　　很多Python爬虫入门教程都是用一行代码把你骗进“海盗船”，等你上了贼船才发现水这么深~比如爬一个网页就可以了一个非常简单的代码行：
　　r = requests.get('http://news.baidu.com')
　　
　　很简单，但它的作用只是爬取一个网页，而一个有用的爬虫远不止是爬取一个网页。
　　一个有用的爬虫，只用两个词衡量：
　　但是要实现这两个字，还需要下一番功夫。自己努力是一方面，但同样很重要的一点是你想要达到的网站的目标是它给你带来了多少问题。综合来看，写爬虫有多难。
　　网络爬虫难点一：只爬 HTML 页面但可扩展
　　这里我们以新闻爬虫为例。大家都用过百度的新闻搜索，我就用它的爬虫说说实现的难点。
　　新闻网站基本不设防，新闻内容全部在网页的html代码中，抓取整个网页基本上就是一行。听起来很简单，但对于一个搜索引擎级别的爬虫来说，就不是那么简单了，要及时爬取上万条新闻网站的新闻也不是一件容易的事。
　　我们先来看一下新闻爬虫的简单流程图：
　　
　　从一些种子页开始，种子页往往是一些新闻网站的首页。爬虫爬取网页，从中提取网站 URL，放入URL池中进行爬取。这从几页开始，然后继续扩展到其他页面。爬虫爬取的网页越来越多，提取的新网址也会成倍增加。
　　如何在最短的时间内抓取更多的网址？
　　这是难点之一，不是目的URL带来的，而是对我们自身意愿的考验：
　　如何及时掌握最新消息？
　　这是效率之外的另一个难点。如何保证时效？上千条新闻网站时刻都在发布最新消息。爬虫如何在织网抓取“旧”新闻的同时兼顾“新”新闻的获取？
　　如何存储大量捕获的新闻？
　　爬虫的爬取会翻出几年前和几十年前的每一个新闻页面网站，从而获取大量需要存储的页面。就是存储的难点。
　　如何清理提取的网页内容？
　　快速准确地从新闻网页的html中提取想要的信息数据，如标题、发布时间、正文内容等，给内容提取带来困难。
　　网络爬虫难点二：需要登录才能抓取想要的数据
　　人们很贪婪，想要无穷无尽的数据，但是很多数据并不容易提供给你。有一大类数据，只有账号登录才能看到。也就是说，爬虫在请求的时候必须登录才能抓取数据。
　　如何获取登录状态？ 查看全部

　　js 爬虫抓取网页数据(
什么是HTML源码中却发现不了的网页？有两种方法)
　　
　　我们之前抓取的网页大多是从 HTML 静态生成的内容，而我们可以直接从 HTML 源代码中找到的数据和内容。但是，并不是所有的网页都是这样的。
　　部分网站内容是由前端JS动态生成的。由于网页显示的内容是JS生成的，所以我们在浏览器上可以看到，但是在HTML源代码中找不到。比如今日头条：
　　浏览器渲染的网页是这样的：
　　
　　今日头条
　　查看源码，其实是这样的：
　　
　　HTML 源代码
　　网页的新闻在HTML源代码中找不到，都是由JS动态生成和加载的。
　　在这种情况下，我们应该如何抓取网页呢？有两种方式：
　　1、从网页响应中找到JS脚本返回的JSON数据；2、使用Selenium模拟对网页的访问
　　这里只介绍第一种方法。有专门的文章介绍 Selenium 的使用。
　　一、从网页响应中查找JS脚本返回的JSON数据
　　即使网页内容是由JS动态生成和加载的，JS也需要调用一个接口，然后根据接口返回的JSON数据进行加载和渲染。
　　这样我们就可以找到JS调用的数据接口，从数据接口中找到网页中最后渲染的数据。
　　以今日头条为例进行演示：
　　1、找到JS请求的数据接口
　　F12打开网页调试工具
　　
　　网页调试工具
　　选择“Network”选项卡后，我发现有很多响应，所以让我们过滤并仅查看 XHR 响应。
　　（XHR是Ajax中的一个概念，意思是XMLHTTPrequest）
　　然后我们发现了很多缺失的链接，随便点一个看：
　　我们选择城市，预览中有一串json数据：
　　
　　让我们再次点击查看：
　　
　　原来都是城市列表，应该是用来加载地区新闻的。
　　现在你大概明白如何找到JS请求的接口了吧？但是刚才没有找到我们想要的消息，我们再找找吧：
　　有一个焦点，我们点击查看：
　　
　　首页图片新闻呈现的数据是一样的，所以应该有数据。
　　查看其他链接：
　　
　　这应该是热搜关键词
　　
　　这是图片新闻下的新闻。
　　我们打开一个界面链接看看：
　　
　　返回一串乱码，但从响应中查看正常编码数据：
　　
　　有了对应的数据接口，我们就可以按照前面的方法去请求并得到数据接口的响应了
　　2、请求和解析数据接口数据
　　先完整代码：
　　#编码：utf-8
　　导入请求
　　导入 json
　　url = '#39;
　　wbdata = requests.get(url).text
　　数据 = json.loads(wbdata)
　　新闻 = 数据['data']['pc_feed_focus']
　　对于新闻中的 n：
　　title = n['title']
　　img_url = n['image_url']
　　url = n['media_url']
　　打印（网址，标题，img_url）
　　返回结果如下：
　　
　　和往常一样，稍微解释一下代码：
　　代码分为四部分，
　　第 1 部分：导入相关库
　　#编码：utf-8
　　导入请求
　　导入 json
　　第二部分：对数据接口的http请求
　　url = '#39;
　　wbdata = requests.get(url).text 查看全部

　　js 爬虫抓取网页数据(4.有MFC、Qt等，Ruby在web领域的优势)
　　前言
　　Python在很多方面都有优势，比如大数据处理、网络爬虫等，当然我们也可以在这些领域使用替代语言或者工具。那么你认为python在哪些领域具有绝对优势或明显优势呢？
　　以下纯属个人观点，欢迎多角度喷。
　　以下不仅适用于 Python，其中一些要点也适用于 C++、Java、PHP、Ruby、Lisp、Lua、Javascript。只是用Python等来说明。
　　1. 语法本身的不同只是为了方便。
　　语法糖，在大型项目中不太重要。
　　例如：
　　a = 1
b = 2
　　和：
　　a, b = 1, 2
　　保存了一行代码。但是在不支持这种语法糖的语言中，这只是一个简单/繁琐的区分，而不是可以/不能。
　　2. 功能/对象模型决定了思维方式。
　　在支持 FP 的语言中，程序员以 FP 的方式编写代码。
　　在支持 OOP 的语言中，程序员以 OOP 的方式编写代码。
　　3. 语言的适用范围只与库有关，与语言本身无关。
　　比如网络爬虫，大家都用Python，因为Python有很多优秀的网络爬虫库。
　　如果你说任何一种语言，总有一天有人会写出一个比 Python 的爬虫库更简单、更有用、更强大、更高效的库。会不会改变Python在网络爬虫领域的优势？我认为这是完全可能的。只是现在有了一个优秀的网络爬虫库（并且可以满足当前所有的需求），大家都不愿意重新发明轮子了。
　　就像C++在GUI领域的优势在于MFC、Qt等一样，Ruby在Web领域的优势在于Rails。
　　而且从产品的角度来说，比如我现在想做一个网站，应该用什么来写。优先级不是语言，而是库。也就是比较Rails或者django哪个更适合我网站上面的特性，而不是比较Python和Ruby。
　　4. 程序员的感受。
　　有些程序员有语言倾向，这是正常的。否则，你就不会整天在网上争论。
　　有些人甚至使用他们最喜欢的语言来实现该语言没有的功能（参见 node.js）。
　　只要有足够的时间和足够的程序员，每种语言都会在各个领域拥有出色的库（参见猴子和打字机）。 查看全部

　　js 爬虫抓取网页数据(借助mysql模块保存数据（假设数据库）的基本流程和流程)
　　在node.js中，配合cheerio模块和request模块，可以非常方便的抓取特定URL页面的数据。
　　一个简单的如下
　　var request = require('request');
var cheerio = require('cheerio');
request(url,function(err,res){
if(err) return console.log(err);
var $ = cheerio.load(res.body.toString());

//解析页面内容
});
　　有了基本流程，现在试着找一个网址（url）。以博客园的搜索页面为例。
　　通过搜索 关键词 node.js
　　
　　获取以下网址：
　　点击第二页，网址如下：
　　分析 URL 并发现 w= ? 是要搜索的 关键词 和 p= 吗？是页码。
　　在请求模块的帮助下请求一个 URL
　　var request = require('request');
var cheerio = require('cheerio');
var key = 'node.js', page = 1;
var url = 'http://zzk.cnblogs.com/s?t=b&w='+ key +'&p='+ page;
request(url, function(err, res) {
if (err) return console.log(err);
var $ = cheerio.load(res.body.toString());
var arr = [];
//内容解析


});
　　现在 URL 已经可用，分析 URL 对应的页面内容。
　　
　　页面还是很规律的。
　　标题 摘要 作者 发布时间 推荐时间 评论 浏览量 文章Link
　　使用浏览器开发工具
　　
　　寻找
　　...
　　对应每个 文章
　　点击每一项，有以下内容
　　
　　class="searchItemTitle" 收录 文章 标题和 文章 URL 地址
　　class="searchItemInfo-userName" 收录作者
　　class="searchItemInfo-publishDate" 收录发布时间
　　class="searchItemInfo-views" 收录查看次数
　　借助cheerio模块解析文章，抓取具体内容
　　
　　
　　var request = require('request');
var cheerio = require('cheerio');
var key = 'node.js', page = 1;
var url = 'http://zzk.cnblogs.com/s?t=b&w='+ key +'&p='+ page;
request(url, function(err, res) {
if (err) return console.log(err);
var $ = cheerio.load(res.body.toString());
var arr = [];
//内容解析
$('.searchItem').each(function() {
var title = $(this).find('.searchItemTitle');
var author = $(this).find('.searchItemInfo-userName a');
var time = $(this).find('.searchItemInfo-publishDate');
var view = $(this).find('.searchItemInfo-views');
var info = {
title: $(title).find('a').text(),
href: $(title).find('a').attr('href'),
author: $(author).text(),
time: $(time).text(),
view: $(view).text().replace(/[^0-9]/ig, '')
};
arr.push(info);
//打印
console.log('============================= 输出开始 =============================');
console.log(info);
console.log('============================= 输出结束 =============================');
});
});
　　查看代码
　　您可以运行它，看看是否正常捕获数据。
　　
　　现在有数据数据可以保存到数据库中。这里以mysql为例，使用mongodb更方便。
　　借助mysql模块保存数据（假设数据库名为test，表为blog）。
　　
　　
　　
　　var request = require('request');
var cheerio = require('cheerio');
var mysql = require('mysql');
var db = mysql.createConnection({
host: '127.0.0.1',
user: 'root',
password: '123456',
database: 'test'
});
db.connect();
var key = 'node.js', page = 1;
var url = 'http://zzk.cnblogs.com/s?t=b&w='+ key +'&p='+ page;
request(url, function(err, res) {
if (err) return console.log(err);
var $ = cheerio.load(res.body.toString());
var arr = [];
//内容解析
$('.searchItem').each(function() {
var title = $(this).find('.searchItemTitle');
var author = $(this).find('.searchItemInfo-userName a');
var time = $(this).find('.searchItemInfo-publishDate');
var view = $(this).find('.searchItemInfo-views');
var info = {
title: $(title).find('a').text(),
href: $(title).find('a').attr('href'),
author: $(author).text(),
time: $(time).text(),
view: $(view).text().replace(/[^0-9]/ig, '')
};
arr.push(info);
//打印
console.log('============================= 输出开始 =============================');
console.log(info);
console.log('============================= 输出结束 =============================');
//保存数据
db.query('insert into blog set ?', info, function(err,result){
if (err) throw err;
if (!!result) {
console.log('插入成功');
console.log(result.insertId);
} else {
console.log('插入失败');
}
});
});
});
　　查看代码
　　运行它以查看数据是否保存到数据库中。
　　
　　现在一个基本的抓取，保存。但是它只爬取一次，只能爬取关键词为node.js页码1的URL页面。
　　把关键词改成javascript，页码为1，清空blog表，再次运行，看看表能不能保存javascript相关的数据。
　　
　　现在去博客园搜索javascript，看看搜索结果是否与表格中的内容对应。呵呵，别看，我一定能配得上的~~
　　仅仅爬取一页的内容肯定是不够的。最好能自动爬取其他页面的内容。 查看全部

　　js 爬虫抓取网页数据(代码也可以从我的开源项目HtmlExtractor中获取。。
)
　　代码也可以从我的开源项目 HtmlExtractor 中获得。
　　我们在爬取数据的时候，如果目标网站是以Js的方式动态生成数据，以滚动页面的方式进行分页，那我们怎么爬取呢？
　　如今日头条网站：
　　我们可以使用 Selenium 来做到这一点。虽然 Selenium 是为 Web 应用程序的自动化测试而设计的，但它非常适合数据抓取，并且可以轻松绕过 网站 的反爬虫限制，因为 Selenium 直接在浏览器中运行，就像真正的用户一样.
　　使用Selenium，我们不仅可以爬取Js动态生成数据的网页，还可以爬取通过滚动页面进行分页的网页。
　　首先，我们使用maven来导入Selenium依赖：
　　< dependency >
< groupId >org.seleniumhq.selenium
< artifactId >selenium-java
< version >2.47.1
　　然后就可以编写代码进行爬取了：
<p>import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;

import java.util.List;
import java.util.Random;

/**
* 如何抓取Js动态生成数据且以滚动页面方式分页的网页
* 以抓取今日头条为例说明：http://toutiao.com/
* Created by ysc on 10/13/15.
*/
public class Toutiao {
public static void main(String[] args) throws Exception{

//等待数据加载的时间
//为了防止服务器封锁，这里的时间要模拟人的行为，随机且不能太短
long waitLoadBaseTime = 3000 ;
int waitLoadRandomTime = 3000 ;
Random random = new Random(System.currentTimeMillis());

//火狐浏览器
WebDriver driver = new FirefoxDriver();
//要抓取的网页
driver.get( "http://toutiao.com/" );

//等待页面动态加载完毕
Thread.sleep(waitLoadBaseTime+random.nextInt(waitLoadRandomTime));

//要加载多少页数据
int pages= 5 ;
for ( int i= 0 ; i 查看全部

　　js 爬虫抓取网页数据(什么是爬虫爬虫获取网页并提取和保存信息的自动化程序)
　　一、什么是爬虫
　　爬虫是自动程序，可以获取网页并提取和保存信息。
　　1） 我们可以把互联网比作一个大网，爬虫（web crawlers）就是在网络上爬行的蜘蛛。把网络的节点比作单个网页，爬到这个就相当于访问了这个页面，获取了它的信息。节点之间的连接可以比作网页和网页之间的链接关系，这样蜘蛛经过一个节点后，可以继续沿着节点连接爬行到达下一个节点，即继续获取后续的网页通过一个网页，让整个网络的节点都可以被蜘蛛抓取，并且可以抓取到网站的数据。
　　2）虽然我们可以在不使用爬虫的情况下手动从网页中提取信息，但是如果等价物特别大或者想要快速获取大量数据，则必须使用程序。Crawler 是一个自动化程序，可以代替我们完成这项工作。可以在爬取过程中进行各种异常、错误重试等操作，保证爬取持续高效运行。
　　二、爬取过程
　　1、获取网页
　　爬虫首先要做的就是获取网页，即获取网页的源代码，然后从源代码中提取出想要的信息。
　　一般来说，如果你向网站服务器发送请求，返回的响应体就是网页的源代码。为了构造一个请求并发送给服务器，然后接收响应并解析出来，Python提供了很多库来帮助我们实现这个操作，比如urllib、request等，我们可以使用这些库来帮助我们实现 HTTP 请求操作。
　　2、提取信息
　　获取到网页的源代码后，下一步就是分析网页的源代码，从中提取出我们想要的数据。有两种提取方法：
　　3、保存数据
　　提取信息后，提取的数据一般保存在某处，以备后续使用。保存方式有很多种，可以简单的保存为TXT文本或者JSON文本，也可以保存到数据库，比如MySQL和MongoDB等，或者保存到远程服务器，比如使用SFTP进行操作。 查看全部

　　js 爬虫抓取网页数据(谷歌爬虫能抓取和收录什么类型的JavaSscript事件？（一）)
　　早在 2008 年，Google 就成功抓取了 JavaScript，但很可能仅限于某种方式。
　　今天，谷歌显然不仅可以制定他们的抓取和收录 JavaScript 类型，而且在渲染整个网页方面也取得了重大进展（尤其是最近 12 到 18 个月）。
　　在 Merkle，我们的 SEO 技术团队希望更好地了解 Google 爬虫可以抓取哪些类型的 JavaScript 事件和 收录。经过研究，我们发现了惊人的结果，并确认 Google 不仅可以执行各种 JavaScript 事件，还可以动态生成收录 内容。怎么做？Google 可以读取 DOM。
　　很多搞SEO的人不明白什么是文档对象模型（DOM）
　　
　　当浏览器请求一个页面时
　　在 Web 浏览器中使用时，DOM 本质上是一个应用程序接口或 API，用于标记和构建数据（例如 HTML 和 XML）。该接口允许 Web 浏览器将它们组合成一个文档。
　　DOM 还定义了如何获取和操作结构。尽管 DOM 是一种独立于语言的 API（不依赖于特定的编程语言或库），但它通常用于 Web 应用程序中的 JavaScript 和动态内容。
　　DOM 代表接口或“桥”，将网页与编程语言连接起来。解析 HTML 并执行 JavaScript 的结果就是 DOM。网页的内容不仅（不仅）是源代码，而且是 DOM。这使它变得非常重要。
　　
　　js 如何通过 DOM 接口工作
　　我们很高兴地发现 Google 可以读取 DOM，并且可以解析信号和动态插入的内容，例如标题标签、页面文本、标题标签和元注释（例如：rel = canonical）。您可以阅读完整的详细信息。
　　因为想知道会爬取哪些JavaScript特性和收录，所以分别在Google爬虫上创建了一系列测试。通过创建控件，确保可以独立理解 URL 活动。下面，让我们详细介绍一些有趣的测试结果。它们分为5类：
　　JavaScript 重定向
　　JavaScript 链接
　　动态插入内容
　　动态插入元数据和页面元素
　　rel = "nofollow" 的一个重要例子
　　1. JavaScript 重定向
　　我们首先测试了常见的 JavaScript 重定向。以不同方式表达的 URL 会发生什么？我们为两个测试选择了 window.location 对象：测试 A 使用绝对 URL URL 调用 window.location，而测试 B 使用相对路径。
　　结果：重定向很快就被谷歌跟踪了。从收录的角度来看，它们被解释为301——最终状态URL，而不是谷歌收录中的重定向URL。
　　在随后的测试中，我们在权威网页上使用完全相同的内容来完成使用 JavaScript 重定向到同一站点的新页面。原创网址在 Google 热门查询的首页上排名。
　　结果：果然，重定向被谷歌跟踪了，但是原创页面不是收录。新的URL是收录，它立即在同一个查询页面的同一个位置上排名。这让我们感到惊讶。从排名的角度来看，JavaScript 重定向行为（有时）似乎与永久性 301 重定向非常相似。
　　下次，您的客户想要为他们的 网站 完成 JavaScript 重定向操作，您可能不需要回答，或者回答：“请不要”。因为这好像有转职排名信号的关系。这个结论得到了引用谷歌指南的支持：
　　使用 JavaScript 重定向用户可能是一种合法的做法。例如，如果您将登录用户重定向到内部页面，则可以使用 JavaScript 来完成此操作。在仔细检查 JavaScript 或其他重定向方法时，请确保您的网站遵循我们的指南并考虑其意图。请记住，将 301 重定向重定向到您的 网站 是最好的，但是如果您没有访问您的 网站 服务器的权限，您可以为此使用 JavaScript 重定向。
　　2. JavaScript 链接
　　我们使用多种编码方法测试了不同类型的 JS 链接。
　　我们测试下拉菜单的链接。历史搜索引擎一直无法跟踪此类链接。我们要确定是否会跟踪 onchange 事件处理程序。重要的是，这只是特定类型的执行，而我们需要的是：其他变化的影响，而不是像上面JavaScript重定向的强制操作。
　　结果：链接被完全抓取和跟踪。
　　我们还测试了常见的 JavaScript 链接。以下是最常见的 JavaScript 链接类型，而传统 SEO 推荐纯文本。这些测试包括 JavaScript 链接代码：
　　作用于外部 href 键值对 (AVP)，但在标签内（“onClick”）
　　使用 href 内部 AVP ("javascript: window.location")
　　在 a 标签之外执行，但在 href ("javascript: openlink()") 中调用 AVP
　　等等
　　结果：链接被完全抓取和跟踪。
　　我们接下来的测试是进一步测试事件处理程序，比如上面的onchange测试。具体来说，我们要使用鼠标移动的事件处理程序，然后隐藏 URL 变量，该变量仅在事件处理程序（在本例中为 onmousedown 和 onmouseout）被触发时执行。
　　结果：链接被完全抓取和跟踪。
　　构造链接：我们知道谷歌可以执行JavaScript，但我们想确认他们是否可以读取代码中的变量。所以在这个测试中，我们连接了可以构造 URL 字符串的字符。
　　结果：链接被完全抓取和跟踪。
　　3. 动态插入内容
　　显然，这些是要点：动态插入文本、图像、链接和导航。高质量的文本内容对于搜索引擎理解网页的主题和内容至关重要。在这个充满活力的网站时代，它的重要性是毋庸置疑的。
　　这些测试旨在检查在两种不同场景中动态插入文本的结果。
　　1. 测试搜索引擎是否可以统计动态插入的文本，文本来自页面的HTML源代码。
　　2. 测试搜索引擎是否可以统计动态插入的文本，并且该文本来自页面的HTML源代码之外（在外部JavaScript文件中）。
　　结果：两种情况下都可以抓取文本和收录，页面根据内容排名。凉爽的！
　　为了深入了解，我们测试了一个用JavaScript编写的客户端全局导航，导航中的链接是通过document.writeIn函数插入的，确认可以完全爬取和跟踪。需要指出的是，Google 可以解释网站 使用AngularJS 框架和HTML5 History API (pushState) 构建，可以渲染和收录 它，并且可以像传统的静态网页一样进行排名。这就是不禁止 Google 爬虫获取外部文件和 JavaScript 的重要性，这可能也是 Google 将其从 Ajax Supporting SEO Guide 中删除的原因。当您可以简单地呈现整个页面时，谁需要 HTML 快照？
　　经过测试，发现无论是什么类型的内容，结果都是一样的。例如，在加载到 DOM 后将获取图像并收录。我们甚至做了这样一个测试：通过动态生成结构数据来制作面包屑（breadcrumb navigation），并插入到DOM中。结果呢？成功插入后的面包屑出现在搜索结果（搜索引擎结果页面）中。
　　值得注意的是，Google 现在推荐使用 JSON-LD 标签来形成结构化数据。我相信未来会有更多基于此的东西。
　　4. 动态插入元数据和页面元素
　　我们动态地将各种对 SEO 至关重要的标签插入到 DOM 中：
　　标题元素
　　元描述
　　元机器人
　　规范标签
　　结果：在所有情况下，标签都可以被抓取并表现得像 HTML 源代码中的元素。
　　一个有趣的补充实验可以帮助我们理解优先级的顺序。当出现相互矛盾的信号时，哪一个会获胜？如果源代码中没有index和nofollow标签而DOM中没有index和follow标签会发生什么？在这个协议中，HTTP x-robots 响应头的行为如何作为另一个变量？这将是未来全面测试的一部分。但是，我们的测试表明，当发生冲突时，Google 会忽略源代码中的标签并支持 DOM。
　　5. rel="nofollow" 的一个重要例子
　　我们想要测试 Google 如何响应出现在源代码和 DOM 之间的链接级别的 nofollow 属性。我们还创建了一个没有 nofollow 的控件。
　　源代码中的 nofollow 按我们的预期工作（不跟踪链接）。但是DOM中的nofollow无效（链接被跟踪，页面为收录）。为什么？因为修改 DOM 中 href 元素的操作发生得太晚了：谷歌在执行添加 rel="nofollow" 的 JavaScript 函数之前，已经准备好抓取链接并排队等待 URL。但是，如果将href="nofollow"的a元素插入到DOM中，nofollow和链接是同时插入的，所以会被跟踪。
　　结果
　　从历史的角度来看，各种 SEO 建议都尽可能关注“纯文本”内容。动态生成的内容、AJAX 和 JavaScript 链接会损害主流搜索引擎的 SEO。显然，这对谷歌来说不再是问题。JavaScript 链接的操作方式类似于普通的 HTML 链接（这只是表面，我们不知道程序在幕后做了什么）。
　　JavaScript 重定向的处理方式与 301 重定向类似。
　　动态插入的内容，即使是元标记，例如 rel 规范注释，无论是在 HTML 源代码中还是在解析初始 HTML 后触发 JavaScript 生成 DOM，都以相同的方式处理。
　　Google 依赖于完全呈现页面和理解 DOM，而不仅仅是源代码。不可思议！（记住要允许 Google 爬虫获取那些外部文件和 JavaScript。）
　　谷歌已经以惊人的速度在创新方面将其他搜索引擎甩在了后面。我们希望在其他搜索引擎中看到相同类型的创新。如果他们要在新的网络时代保持竞争力并取得实质性进展，就意味着他们必须更好地支持 HTML5、JavaScript 和动态网站。
　　对于SEO，不了解以上基本概念和谷歌技术的人应该学习学习，以追赶当前的技术。如果你不考虑 DOM，你可能会失去一半的份额。 查看全部

　　js 爬虫抓取网页数据(爬虫之web自动化终极杀手-百度音乐（静态网页）分析)
　　爬虫网络自动化的终极杀手
　　2017/9/14 晚上 11:43:07
　　带领：
　　最近写了几个简单的爬虫，踩了几个深坑。这里总结一下，给大家写爬虫的一些思路。本爬虫的内容包括：静态页面的爬取。动态页面的爬行。网络自动化的终极爬虫。
　　分析：
　　数据获取（主要是爬虫）
　　* 静态网页抓取
　　* 动态网页抓取
　　数据存储（python excel存储）
　　* Python Excel 操作，保存结果
　　实际数据获取：百度音乐（静态网页）
　　分析步骤
　　1、打开百度音乐：
　　2.打开浏览器调试模式F12，选择Network+all模式
　　
　　3.在搜索框中搜索歌曲（beat it），查看控制台
　　
　　* 过滤请求：ctrl + f 输入搜索关键字
　　* 根据请求界面的特点查看主要请求
　　* 分析请求（请求头，查询字符串，响应）
　　4.通过以上分析：获取有效信息：
　　* 歌曲搜索请求界面为歌曲名称
　　* 获取请求方法(post, get) 百度音乐搜索歌曲是获取请求
　　* 请求头（假装浏览器避免被拒绝）
　　* 请求返回结果（html 或 json） 百度音乐的返回结果为 html。
　　5.通过有效信息设计爬虫，获取数据
　　代码
　　1.View提供了访问参数url并返回结果的方法
　　 def view(url):
&#39;&#39;&#39;
:param url: 待爬取的url链接
:return:
&#39;&#39;&#39;
# 从url中获取host
protocol, s1 = urllib.splittype(url)
host, s2 = urllib.splithost(s1)
# 伪装浏览器，避免被kill
headers = {
&#39;Host&#39;: host,
&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36&#39;,
&#39;Accept&#39;: &#39;text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8&#39;,
&#39;Accept-Encoding&#39;: &#39;gzip, deflate&#39;,
&#39;Accept-Language&#39;: &#39;zh-CN,zh;q=0.8&#39;,
}
# 代理
proxies = {
"http": "dev-proxy.oa.com:8080",
"https": "dev-proxy.oa.com:8080",
}
# 利用requests封装的get方法请求url，并添加请求头和代理，获取并返回请求结果。并进行异常处理
try:
res = requests.get(url, headers=headers, proxies=proxies)
res.encoding = &#39;utf-8&#39;
if res.status_code == 200:
# 请求成功
# 获取网页内容，并返回
content = res.text
return content
else:
return None
except requests.RequestException as e:
# 异常处理
print(e)
return None
　　2 .search_baidu_song 提供参数song_name 搜索歌曲并获取搜索结果
　　 def search_baidu_song(song_name):
&#39;&#39;&#39;
获取百度音乐搜索歌曲结果
:param song_name: 待搜索歌曲名
:return: 搜索结果
&#39;&#39;&#39;
def analyse():
&#39;&#39;&#39;
静态网页分析，利用BeautifulSoup，轻松获取想要的数据。需要对html有了解。
:return:
&#39;&#39;&#39;
# 初始化BeautifulSoup对象，并指定解析器为 lxml。还有其他的解析器：html.parser、html5lib等
# 详细教程可访问：http://cuiqingcai.com/1319.html《Python爬虫利器二之Beautiful Soup的用法》
html = BeautifulSoup(content, "lxml")
# beautifulsoupzui常用方法之一: find_all( name , attrs , recursive , text , **kwargs )
# find_all() 方法搜索当前tag的所有tag子节点, 并判断是否符合过滤器的条件
# tag标签名为&#39;div&#39;的并且标签类名为class_参数（可为 str、 list、 tuple）,
search_result_divs = html.find_all(&#39;div&#39;, class_=[&#39;song-item clearfix &#39;, &#39;song-item clearfix yyr-song&#39;])
for div in search_result_divs:
# find() 方法搜索当前tag的所有tag子节点, 并返回符合过滤器的条件的第一个结点对象
song_name_str = div.find(&#39;span&#39;, class_=&#39;song-title&#39;)
singer = div.find(&#39;span&#39;, class_=&#39;singer&#39;)
album = div.find(&#39;span&#39;, class_=&#39;album-title&#39;)
# 此部分需要对html页面进行分析，一层层剥开有用数据并提取出来
if song_name_str:
# 获取结点对象内容，并清洗
song_name_str = song_name.text.strip()
else:
song_name_str = &#39;&#39;
if singer:
singer = singer.text.strip()
else:
singer = &#39;&#39;
if album:
album = album.find(&#39;a&#39;)
if album:
# 获取标签属性值
# 方法二：属性值 = album[&#39;属性名&#39;]
album = album.attrs.get(&#39;title&#39;)
if album and album != &#39;&#39;:
album = album.strip()
else:
album = &#39;&#39;
else:
album = &#39;&#39;
# print song_name + " | " + singer + " | " + album
songInfoList.append(SongInfo(song_name_str, singer, album))
songInfoList = []
url = urls.get(&#39;baidu_song&#39;)
url1 = url.format(song_name=song_name, start_idx=0)
content = self.view(url1)
if not content:
return []
analyse(content)
url2 = url.format(song_name=song_name, start_idx=20)
content = self.view(url2)
analyse(content)
return songInfoList[0:30]
　　这样，我们就得到了百度网歌搜索结果的数据。然后就是保存数据，这个我们最后再说。
　　网易云音乐（动态网页）
　　当我们通过上述静态网页数据获取方式获取网易云音乐的数据时，可能会遇到这样一个问题：没有可查看网页源代码的数据，只有网页的骨架。数据根本找不到，但是当你打开开发者工具查看DOM树时，你可以找到你想要的数据。这时候我们遇到了动态网页，数据是动态加载的。无法获取网页数据。
　　目前有两种解决方案：
　　通过查看访问动态数据界面获取数据。使用网络自动化工具获取网页的源代码以获取数据。
　　（目前网易云已经不能再单纯通过访问url获取数据，我们可以使用web自动化工具selenium和PhantomJS获取网页源代码。） 方案一的实现（通过查看访问动态数据接口获取数据） )：打开网易云音乐：打开浏览器调试模式F12，选择网络+所有模式
　　
　　在搜索框中搜索歌曲（击败它），检查控制台
　　
　　过滤请求是XHR，发现请求的名字是一样的。这时候我们看一下这些名字，就看到了Request URL中查找关键字搜索的请求。这个请求是一个 POST 请求。这应该是获取搜索数据的接口，通过查看响应或者预览来查看请求的返回结果。正是我们想要的。
　　
　　我们不要高兴得太早，我们还没有弄清楚Form Data是如何组成的。params + encSecKey 是如何生成的？我看过网络爬虫《如何爬取网易云音乐的评论？》》，得知网易对api做了加密，因为个人道教太浅，看不懂这里加密参数的顺序和内容，所以放弃了这个计划，我真的不甘心，只好改了到选项二。
　　方案二实现：
　　由于该解决方案暂时行不通，因此不会影响我们的工作进度。让我们改变我们的想法并继续前进。我想到了使用web自动化测试工具selenium来模拟浏览器的人工操作。用这种方式导出网页数据应该没有问题，我想马上去做。
　　环境配置安装selenium
　　建议自动使用python包管理工具：pip install -y selenium
　　其他方法可以参考：selenium+python自动化测试环境搭建
　　2. 安装 PhantomJS
　　PhantomJS 是一个基于 webkit 的 JavaScript API。它使用 QtWebKit 作为其核心浏览器功能，并使用 webkit 编译、解释和执行 JavaScript 代码。你可以在基于 webkit 的浏览器中做的任何事情，它都能做到。它不仅是一个隐形浏览器，还提供CSS选择器，支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，还提供处理文件I/O的操作，使可以对操作系统进行文件读写等。 PhantomJS 的用途非常广泛，比如网络监控、网页截图、无需浏览器的网页测试、页面访问自动化等。
　　下载 PhantomJS
　　目前官方支持三种操作系统，包括windows\Mac OS\Linux三种主流环境。可以根据自己的运行环境选择要下载的包
　　3. 安装 PhantomJS
　　下载完成后，解压文件，将phantomjs.exe放到pythond目录下（C:\Python27\phantomjs.exe）。这样后续的加载就不需要指定目录了。也可以放在特定目录下，使用时指定phantomjs.exe路径即可。双击打开phantomjs.exe，验证安装成功。如果出现下图，则安装成功。
　　
　　4.代码实现步骤：
　　 def dynamic_view(url):
&#39;&#39;&#39;
使用自动化工具获取网页数据
:param url: 待获取网页url
:return: 页面数据
&#39;&#39;&#39;
# 初始化浏览器driver
driver = webdriver.PhantomJS()
# 浏览器driver访问url
driver.get(url)
# 坑：不同frame间的转换(网易云在数据展示中会将数据动态添加到&#39;g_iframe&#39;这个框架中，如果不切换，会报"元素不存在"错误。)
driver.switch_to.frame("g_iframe")
# 隐式等待5秒，可以自己调节
driver.implicitly_wait(5)
# 设置10秒页面超时返回，类似于requests.get()的timeout选项，driver.get()没有timeout选项
driver.set_page_load_timeout(10)
# 获取网页资源（获取到的是网页所有数据）
html = driver.page_source
# 坑：退出浏览器driver，必须手动退出driver。
driver.quit()
# 返回网页资源
return html
　　
　　 def search_163_song(song_name):
pass
　　同样是使用BeautifulSoup对Web资源进行对象化，通过对象过滤来获取数据。没想到网易云音乐的数据也可以通过这种方式获取。如果你能做到这一点，你就可以应付大部分网站。
　　选择 PhantomJS 是因为它不需要可视化页面，并且节省了内存使用。但是也有一个问题，请大家继续往下看。眼见为实。
　　5. .Spotify
　　解决方案：通过网络自动化获取数据。通过请求动态数据接口获取数据计划实现：
　　方案一：
　　使用web自动化工具获取数据：配置类似网易云配置，模拟用户操作浏览器打开网页，用户登录，进入搜索页面，获取页面数据
　　 def spotify_view(url):
&#39;&#39;&#39;
使用自动化工具获取网页数据
:param url: 待获取网页url
:return: 页面数据
&#39;&#39;&#39;
spotify_name = &#39;manaxiaomeimei&#39;
spotify_pass = &#39;dajiagongyong&#39;
spotify_login = &#39;https://accounts.spotify.com/en/login&#39;
# 初始化浏览器driver
driver = webdriver.PhantomJS()
# 模拟用户登录()
# 浏览器driver访问登录url
driver.get(spotify_login)
# 休息一下等待网页加载。(还有另一种方式：driver.implicitly_wait(3))
time.sleep(3)
# 获取页面元素对象方法（本次使用如下）：
# find_element_by_id : 通过标签id获取元素对象 可在页面中获取到唯一一个元素，因为在html规范中。一个DOM树中标签id不能重复
# find_element_by_class_name : 通过标签类名获取元素对象，可能会重复（有坑）
# find_element_by_xpath : 通过标签xpath获取元素对象，类同id，可获取唯一一个元素。
# 获取页面元素对象--用户名
username = driver.find_element_by_id(&#39;login-username&#39;)
# username.clear()
# 坑：获取页面元素对象--密码
# 在通过类名获取标签元素中，遇到了无法定位复合样式，这时候可采用仅选取最后一个使用的样式作为参数，即可（稳定性不好不建议使用。尽量使用by_id）
# password = driver.find_element_by_class_name(&#39;form-control input-with-feedback ng-dirty ng-valid-parse ng-touched ng-empty ng-invalid ng-invalid-required&#39;)
password = driver.find_element_by_class_name(&#39;ng-invalid-required&#39;)
# password.clear()
# 获取页面元素对象--登录按钮
login_button = driver.find_element_by_xpath(&#39;/html/body/div[2]/div/form/div[3]/div[2]/button&#39;)
# 通过WebDriver API调用模拟键盘的输入用户名
username.send_keys(spotify_name)
# 通过WebDriver API调用模拟键盘的输入密码
password.send_keys(spotify_pass)
# 通过WebDriver API调用模拟鼠标的点击操作，进行登录
login_button.click()
# 休息一下等待网页加载
driver.implicitly_wait(3)
# 搜索打开歌曲url
driver.get(url)
time.sleep(5)
# 搜索获取网页代码
html = driver.page_source
return html
　　
　　点击运行后，一切都平静了。代码突然报错（如下图）。查了资料，修改了代码。
　　
　　网络开通计划
　　在 input 元素中添加 clear() 以清除原创字符。更换浏览器
　　方案实施：
　　方案一：
　　获取到对象后，添加清除对象的方法（username.clear(), password.clear()）
　　实施结果
　　场景 1 失败。原因不明，大部分是webdriver与PhantomJS不兼容。
　　场景2：
　　换浏览器，这次选择使用chrome浏览器进行自动操作。
　　安装chrome自动化控制插件。
　　 # 初始化浏览器driver
driver = webdriver.Chrome()
　　我以为可以通过这种方式获得数据。Burning Goose，还是没有获得，报错（如下图）
　　
　　这里：您应该检查请求并找出令牌是什么。并尝试将令牌添加到请求标头中。
　　
　　查看 cookie
　　
　　但是我们登录后的cookie列表中并没有这样的cookie！
　　
　　预计这个cookie应该在网络播放器加载时植入。验证一下：
　　
　　从上表可以看出。当玩家加载时植入令牌。
　　至此，问题已经解决了大半。
　　继续“爬虫战斗：爬虫网络自动化的终极杀手（第​​ 2 部分）” 查看全部

　　js 爬虫抓取网页数据(某团没事商铺数据的获取，主要是一个_token的解密JS地址
)
　　文章内容
　　私信小编01可以获得大量Python学习资料
　　前言
　　这周有很多事情，我采访了一家公司。它被认为是成功的。薪水比现在的薪水高，但我会继续努力。前几天发现几个反了网站 还没解决，脑子挺大的，哎，就是因为js太复杂了，把代码扣了又扣，所以要补对于 JS。
　　这次是从某群的okshop获取数据，主要是_token的解密JS
　　地址链接：aHR0cHM6Ly9oei5tZWl0dWFuLmNvbS9tZWlzaGkv
　　一、页面分析
　　开启开发者模式抓数据链，本次请求的主要加密参数为_token，uuid可从源码获取
　　
　　二、_token解密
　　搜索_token，出来直接点进去，然后再搜索，可以找到加密位置，点断点再次请求
　　
　　调试进去，可以看到主要的加密功能
　　
　　最后一步就是扣他加密的JS，我试着扣了，哎，不行，我还是太傻了，解压不了完整的，怎么办？ ? ?
　　三、获取加密方式
　　这个时候怎么办？直接把他的JS代码拉出来就行了。它是一个带三个参数的匿名函数。
　　
　　那么其中_token加密参数就是方法中的第一个字典参数，key是17
　　
　　我们在外面声明一个全局变量var data;
　　
　　最后我们执行的时候可以看到_token出来了
　　
　　四、索取源码
　　import requests,json,execjs
with open(&#39;./new.js&#39;,encoding=&#39;utf-8&#39;) as f:
js_func = execjs.compile(f.read())
_token = js_func.eval(&#39;data&#39;)
print(_token)
headers = {
&#39;Connection&#39;: &#39;keep-alive&#39;,
&#39;Accept&#39;: &#39;application/json&#39;,
&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36&#39;,
&#39;Sec-Fetch-Site&#39;: &#39;same-origin&#39;,
&#39;Sec-Fetch-Mode&#39;: &#39;cors&#39;,
&#39;Sec-Fetch-Dest&#39;: &#39;empty&#39;,
&#39;Referer&#39;: &#39;https://hz.meituan.com/meishi/pn2/&#39;,
&#39;Accept-Language&#39;: &#39;zh-CN,zh;q=0.9&#39;,
}
params = (
(&#39;cityName&#39;, &#39;杭州&#39;),
(&#39;cateId&#39;, &#39;0&#39;),
(&#39;areaId&#39;, &#39;0&#39;),
(&#39;sort&#39;, &#39;&#39;),
(&#39;dinnerCountAttrId&#39;, &#39;&#39;),
(&#39;page&#39;, &#39;1&#39;),
(&#39;userId&#39;, &#39;&#39;),
(&#39;uuid&#39;, &#39;dc27c2b094a34e0a9c63.1605940296.1.0.0&#39;),
(&#39;platform&#39;, &#39;1&#39;),
(&#39;partner&#39;, &#39;126&#39;),
(&#39;originUrl&#39;, &#39;https://hz.meituan.com/meishi/pn1/&#39;),
(&#39;riskLevel&#39;, &#39;1&#39;),
(&#39;optimusCode&#39;, &#39;10&#39;),
(&#39;_token&#39;, _token),
)
response = requests.get(&#39;https://hz.meituan.com/meishi/ ... 39%3B, headers=headers, params=params)
js_data = json.loads(response.text)
print(response.text)
for data in js_data[&#39;data&#39;][&#39;poiInfos&#39;]:
print(data[&#39;title&#39;],data[&#39;address&#39;],data[&#39;poiId&#39;])
　　 查看全部

　　js 爬虫抓取网页数据(新浪新闻国内新闻页静态网页数据在函数中的应用)
　　昨天，一个朋友来找我。新浪新闻国内新闻页面的其他部分是静态网页，但左下方的最新新闻部分不是静态网页，也没有json数据。让我帮你抓住它。大概看了一下，是js加载的，数据在js函数里，很有意思，所以分享给大家看看！
　　抓取目标
　　
　　我们今天的目标是上图的红框部分。首先，我们确定这部分内容不在网页的源代码中，而是属于js加载的部分。点击翻页后没有json数据传输！
　　
　　但是我发现有一个js请求，点击请求，是一行js函数代码，我们复制到json的view viewer，然后格式化看看结果
　　
　　
　　发现可能有我们需要的内容，比如url、title、intro这3个参数，猜测是对应的新闻网址、标题、介绍
　　
　　只是它的内容，需要处理，我们写在代码里看看
　　开始写代码
　　先导入库，因为需要截取字符串的最后一部分，所以使用requests库来获取请求，重新匹配内容即可。然后我们先匹配上面的3个item
　　
　　可以看到，url中有\\，标题和介绍都是\u4e09的形式。这些是我们需要处理的后续步骤！
　　先用replace函数去掉url中的\\，就可以得到url了，下面的\u4e09是unicode编码，可以直接解码内容，直接写代码
　　
　　eval函数用于解码，解码内容可以是u"+unicode编码内容+"!
　　这样就把这个页面上所有的新闻和URL相关的内容都取出来了，在外层加了一个循环来爬取所有的新闻页面，任务就完成了！
　　
　　后记
　　新浪新闻的页面js功能比较简单，可以直接抓取数据。如果是比较复杂的功能，就需要了解前端知识。这就是学习爬虫需要学习前端知识的原因！
　　ps：上面使用的json查看器是第三方网站，直接百度可以查到很多。当然也可以直接修改上面抓包的内容，然后用json读取数据！
　　基础代码不多，如果有看不清楚的小伙伴可以私信我获取代码或者一起研究爬虫！ 查看全部

　　js 爬虫抓取网页数据(谷歌爬虫是如何抓取javascript的？不能处理javascript?)
　　我们测试了谷歌爬虫是如何抓取javascript的，以下是我们从中学到的知识。
　　认为 Google 无法处理 javascript？再想一想。audette audette 分享了一系列的测试结果，他和他的同事们测试了谷歌会抓取和收录什么类型的javascript函数。
　　
　　长话短说
　　1. 我们进行了一系列测试，并确认 Google 可以以多种方式执行和收录
javascript。我们还确认 Google 可以渲染整个页面并读取 dom，其中可以收录
动态生成的内容。
　　2. dom中的seo信号（页面标题、meta描述、canonical标签、meta robots标签等）都是关注的。动态插入
　　dom 的内容也可以被抓取和收录
。另外，在某些情况下，dom甚至可能比html更好
　　源代码语句优先。虽然这需要更多的工作，但这是我们的几个测试之一。
　　简介：google 执行javascript &amp; 读取dom
　　早在2008年，google就成功爬取了javascript，但很可能仅限于某种方式。
　　今天，很明显，谷歌不仅可以计算出他们抓取和收录
的 javascript 类型，而且在呈现整个网页方面也取得了重大进展（尤其是在过去的 12 到 18 个月内）。
　　在merkle中，我们的seo技术团队想更好地了解什么类型的javascript可以被谷歌爬虫抓取和收录
　　事件。经过研究，我们发现了惊人的结果，并确认 Google 不仅可以执行各种 javascript
　　事件，并且可以包括动态生成的内容。怎么做？谷歌可以读取dom。
　　什么是dom？
　　很多搞seo的人不明白什么是文档对象模型（dom）。
　　
　　当浏览器请求一个页面时会发生什么，以及 dom 如何参与其中。
　　在 Web 浏览器中使用时，dom 本质上是一个应用程序接口或 api，用于标记和构建数据（例如 html 和 xml）。该接口允许 Web 浏览器将它们组合成一个文档。
　　dom 还定义了如何获取和操作结构。尽管 dom 是一种独立于语言的 API（不绑定到特定的编程语言或库），但它通常用于 javascript 和 Web 应用程序的动态内容。
　　dom 代表一个接口或“桥”，它将网页与编程语言连接起来。解析html并执行javascript的结果是dom。网页的内容不是（不仅）源代码，而是dom。这使它变得非常重要。
　　
　　javascript 如何通过 dom 接口工作。
　　我们很高兴地发现 Google 可以读取 dom，并且可以解析信号和动态插入的内容，例如标题标签、页面文本、标题标签和元注释（例如：rel = canonical）。您可以阅读完整的详细信息。
　　这一系列的测试和结果
　　因为想知道哪些javascript函数会被抓取和收录，所以分别在Google爬虫上做了一系列的测试。通过创建控件，确保可以独立理解 url 活动。下面，让我们详细介绍一些有趣的测试结果。它们分为5类：
　　javascript重定向
　　javascript链接
　　动态插入内容
　　动态插入元数据和页面元素
　　rel = "nofollow" 的一个重要例子
　　
　　示例：用于测试 Google 抓取工具理解 javascript 能力的页面。
　　1. javascript 重定向
　　我们首先测试了常见的javascript重定向，不同方式表达的URL会有什么结果呢？我们选择了 window.location
　　该对象执行两个测试：测试 a 使用绝对路径 url 调用 window.location，测试 b 使用相对路径。
　　结果：重定向很快就被谷歌跟踪了。从收录
的角度来看，它们被解释为 301——最终状态 URL 替换了谷歌收录
的重定向 URL。
　　在后续的测试中，我们在权威网页上使用了完全相同的内容，使用javascript完成了一个新的页面重定向到同一个站点。原创
网址在 Google 热门查询的首页上排名。
　　结果：果然，重定向被谷歌跟踪了，但是没有收录
原创
页面。新的 url 被收录
在内，并立即在同一查询页面中的同一位置排名。这让我们感到惊讶。从排名的角度来看，JavaScript 重定向行为（有时）似乎与永久性 301 重定向非常相似。
　　下次，您的客户想要为他们的网站完成 javascript 重定向操作，您可能不需要回答，或者回答：“请不要”。因为这好像有转职排名信号的关系。引用谷歌的指导方针支持这一结论：
　　使用 javascript 重定向用户可能是一种合法的做法。例如，如果您将登录用户重定向到内部页面，您可以使用
　　javascript 完成此操作。在仔细检查 javascript 或其他重定向方法时，请确保您的网站遵循我们的指南并考虑其意图。记住
　　301 重定向是重定向到您网站的最佳方式，但如果您无权访问您的网站服务器，您可以为此使用 javascript 重定向。
　　2. javascript 链接
　　我们用多种编码方式测试了不同类型的js链接。
　　我们测试下拉菜单的链接。历史搜索引擎一直无法跟踪此类链接。我们要确定是否会跟踪 onchange 事件处理程序。重要的是，这只是特定类型的执行，而我们需要的是：其他变化的影响，而不是像上面javascript重定向的强制操作。
　　
　　示例：google 工作页面上的语言选择下拉菜单。
　　结果：链接被完全抓取和跟踪。
　　我们还测试了常见的 javascript 链接。下面是最常见的 javascript 链接类型，而传统的 seo 推荐纯文本。这些测试包括 javascript 链接代码：
　　作用于外部 href 键值对 (avp)，但在标签内（“onclick”）
　　函数 href 内部 avp("javascript: window.location")
　　在 a 标签之外执行，但在 href 中调用 avp("javascript: openlink()")
　　等等
　　结果：链接被完全抓取和跟踪。
　　我们接下来的测试是进一步测试事件处理程序，比如上面的onchange测试。具体来说，我们要使用鼠标移动的事件处理程序，然后隐藏 url 变量，该变量仅在事件处理函数（本例中为 onmousedown 和 onmouseout）被触发时执行。
　　结果：链接被完全抓取和跟踪。
　　构造链接：我们知道谷歌可以执行javascript，但是我们想确认他们是否可以读取代码中的变量。所以在这个测试中，我们连接了可以构造url字符串的字符。
　　结果：链接被完全抓取和跟踪。
　　3. 动态插入内容
　　显然，这些是要点：动态插入文本、图像、链接和导航。高质量的文本内容对于搜索引擎理解网页的主题和内容至关重要。在这个动态网站的时代，它的重要性是毋庸置疑的。
　　这些测试旨在检查在两种不同场景中动态插入文本的结果。
　　1)。测试搜索引擎是否可以统计动态插入的文本，文本来自页面的html源代码。
　　2)。测试搜索引擎是否可以统计动态插入的文本，并且文本来自页面的html源代码之外（在外部javascript文件中）。
　　结果：两种情况下，文本都可以被抓取并收录，页面根据内容进行排名。凉爽的！
　　为了深入了解，我们测试了一个用javascript编写的客户端全局导航，导航中的链接全部通过
　　document.writein 函数插入并确认它们可以被完全抓取和跟踪。需要指出的是：谷歌可以解释angularjs框架的使用和
　　html5历史api（pushstate）搭建的网站可以渲染和收录，和传统静态网页一样排名。这并不是禁止 Google 抓取工具
　　获取外部文件和javascript的重要性，这可能是google从《Ajax Supporting SEO指南》开始的
　　删除它的原因。当您可以简单地渲染整个页面时，谁需要 html 快照？
　　经过测试，发现无论是什么类型的内容，结果都是一样的。例如，图像将在加载到 dom 后被捕获并收录
在内。我们甚至做了这样的测试：通过动态生成
　　将数据构造成面包屑（面包屑导航），并插入到dom中。结果呢？
　　成功插入后的面包屑出现在搜索结果（搜索引擎结果页面）中。
　　值得注意的是，Google 现在推荐使用 json-ld 标签来形成结构化数据。我相信未来会有更多基于此的东西。
　　4. 动态插入元数据和页面元素
　　我们动态地将各种对 seo 至关重要的标签插入到 dom 中：
　　标题元素
　　元描述
　　元机器人
　　规范标签
　　结果：在所有情况下，标签都可以被抓取并表现得像 html 源代码中的元素。
　　一个有趣的补充实验可以帮助我们理解优先级的顺序。当出现相互矛盾的信号时，哪一个会获胜？如果源代码中没有index和nofollow标签，dom
　　如果没有index和follow标签，会发生什么？在这个协议中，http x-robots
　　如何将响应头的行为用作另一个变量？这将是未来全面测试的一部分。但是，我们的测试表明，当发生冲突时，Google 会忽略源代码中的标签并支持 dom。
　　5. rel="nofollow" 的一个重要例子
　　我们想测试谷歌如何响应出现在源代码和dom的链接级别的nofollow属性。我们还创建了一个没有 nofollow 的控件。
　　
　　对于nofollow，我们分别测试源码和dom生成的注解。
　　源代码中的 nofollow 按预期工作（不跟踪链接）。和 dom 中的 nofollow
　　但它失败了（跟踪链接并收录
页面）。为什么？因为修改dom中href元素的操作发生得太晚了：Google正在执行添加
　　在 rel="nofollow" 的 javascript 函数之前，链接已准备好被抓取，队列正在等待 url。但是，如果会有href
　　将=”nofollow”的a元素插入到dom中，nofollow和链接同时插入，所以会被跟踪。
　　结果
　　从历史的角度来看，各种 seo 建议都尽可能关注“纯文本”内容。以及动态生成的内容，ajax 和 javascript
　　链接会损害主流搜索引擎的 seo。显然，这对谷歌来说不再是问题。javascript 链接类似于普通的 html
　　链接模式操作（这只是表面，我们不知道程序在幕后做了什么）。
　　JavaScript 重定向的处理方式与 301 重定向类似。
　　动态插入内容，甚至元标记，例如rel规范注释，无论是在html源代码中还是在解析初始html后触发javascript生成dom都以相同的方式处理。
　　Google 依赖于能够完全呈现页面并理解 dom，而不仅仅是源代码。太不可思议了！（记住要允许 Google 爬虫获取这些外部文件和 javascript。）
　　谷歌已经以惊人的速度在创新方面将其他搜索引擎甩在了后面。我们希望在其他搜索引擎中看到相同类型的创新。如果他们要在新的网络时代保持竞争力并取得实质性进展，就意味着他们必须更好地支持html5、javascript和动态网站。
　　对于seo，不了解以上基本概念和google技术的人，应该学习学习，追赶当前的技术。如果你不考虑dom，你可能会失去一半的份额。
　　并非本文所表达的所有观点均由搜索引擎领域（搜索引擎网站）提供，部分观点由客座作者提供。所有作者的名单。 查看全部

　　js 爬虫抓取网页数据(网络蜘蛛虽以与数据的纠葛(图))
　　2.1.1 爬虫与数据的纠葛
　　在浩瀚的互联网中，有这样一种“爬虫类生物”穿梭于万维网，吞下携带信息的网页，然后传递给搜索引擎进行转换、吸收，最终为人类快速“孵化”出结构化数据查找并显示。这种“生物”被称为“网蜘蛛”。现实中，蜘蛛的形状实在是太可怕了，以至于大多数人都忽略了它们对人类有益的事实。虽然网络蜘蛛以数据为食，但数据的生产者网站需要爬虫的帮助才能将网页提交给搜索引擎。
　　网站需要爬虫的帮助，爬虫需要不断的爬取新的数据才能完成任务。但是爬虫只是程序员写的程序，数据抓取的工具。在有心人的操作下，网络蜘蛛会变成“恶意爬虫”，为自己窃取目标网站的数据，同时将其带到网站上。巨大的压力影响了网站的正常运行。
　　
　　上图中的蜘蛛网类似于互联网的网络结构。蜘蛛网上的蜘蛛就像互联网上的网络爬虫。蜘蛛顺着网页线，从当前节点爬到下一个节点，不断向前，一层一层，最后把网站上的数据吃光。
　　2.1.2种网络爬虫
　　根据实现方式的不同，网络爬虫主要分为以下两种：
　　爬行动物种类
　　描述
　　万能网络爬虫
　　需要有一个初始网址，在爬取过程中，不断获取新的网址进行数据抓取
　　专注于网络爬虫
　　专注于数据捕获的特定主题
　　通用网络爬虫，顾名思义，就是一种以通用为主要目的的网络爬虫。这种爬虫需要一个初始 URL。首先抓取初始URL对应的网页，然后解析网页中的URL，将新的URL加入到抓取队列中，然后进行下一轮的抓取。一般网络爬虫的爬取过程如下图所示：
　　
　　顾名思义，专注于网络爬虫，专注于数据捕获的特定主题。它需要在一般的网络爬虫的基础上定义主题，并在抓取过程中过滤主题，以保证抓取到特定主题的内容。
　　除了一般的网络爬虫和聚焦网络爬虫，还有增量网络爬虫和深度网络爬虫。我们在学习网络爬虫的种类时，需要重点了解每个爬虫的爬取过程，然后尝试用代码模拟实现，这样才能彻底的理解。
　　要进一步了解爬虫的机制，需要掌握爬虫的核心原理。
　　2.1.3 爬虫核心原理
　　了解爬虫的核心原理，需要回答这两个问题：爬虫为什么可以抓取数据？爬虫抓取什么格式的数据？
　　第一个问题：爬虫为什么可以抓取数据？
　　最常用的互联网工具是浏览器，浏览器和爬虫的数据抓取过程非常相似。打开浏览器，在地址栏中输入网址，然后按回车键，可以在浏览器中看到该网址对应的网页数据。之所以能看到网页的内容，是因为浏览器在本地抓取网页，然后解析网页中的js脚本，对网页的文本数据进行样式渲染。
　　浏览器通过http协议与网页所在的服务器进行交互，服务器根据浏览器的http请求将请求的网页返回给浏览器。爬虫的数据抓取也是基于同样的原理，通过http协议与http服务器交互。对于 http 服务器，浏览器和爬虫都是 http 客户端。
　　
　　要了解爬虫的核心原理，首先需要掌握http协议。下一节将从全局角度解释http协议。Python 提供了 urllib 和 requests 模块，通过这些模块，你可以在 Python 程序中发起 http 请求。
　　第二个问题：爬虫抓取什么格式的数据？
　　爬虫向网页所在的服务器发起请求后，服务器通常以HTML格式的文本数据进行响应。HTML 是一种用于描述网页的标记语言。内容用尖括号和标签名称标记。每个标签名称代表一个特定的语义。http 服务器的响应不一定是 HTML。很多情况下会返回json格式的文本数据。我们在编写爬虫程序的时候，需要具体问题具体分析。
　　HTML标签通常成对出现，分为开始标签和结束标签，结束标签中带有/符号。例如，标记页面的标题，标记页面的段落
　　和
　　, 标记网页链接的总和。HTML 格式的简单示例：
　　

Python网络爬虫核心原理及实战

在广袤的互联网中，有这样一种"爬虫生物"，穿梭于万维网中，将承载信息的网页吞食，
然后交由搜索引擎进行转化，吸收，并最终"孵化"出结构化的数据，供人快速查找，展示。
这种"生物"，其名曰"网络蜘蛛"。

下一页
　　爬取HTML文本后，爬虫需要解析HTML格式的数据，获取需要的内容。例如，要解析出上面 html 示例中 h1 标签的标题：
　　Python网络爬虫核心原理及实战
　　解析出p标签中的段落：
　　在浩瀚的互联网中，有这样一种“爬虫类生物”穿梭于万维网，吞下携带信息的网页，然后传递给搜索引擎进行转换、吸收，最终为人类快速“孵化”出结构化数据查找并显示。这种“生物”被称为“网蜘蛛”
　　解析出a标签中​​的url：
　　/?id=666
　　Beautifule Soup 是 Python 社区中一个强大的解析库。使用 Beautifule Soup，您可以轻松解析 HTML 中的数据。数据解析完成后，还需要进行存储、预处理、特征提取、数据挖掘、可视化等操作。有兴趣的同学可以进一步学习大数据分析、挖掘等相关知识。
　　2.1.4个关键知识点（1) Crawler是程序员编写的程序，数据抓取工具
　　（2)根据实现方式的不同，网络爬虫主要分为通用网络爬虫，重点是网络爬虫
　　（3)爬虫的数据抓取主要是通过http协议与http服务器交互。对于http服务器来说，无论是浏览器还是爬虫，都是http客户端。
　　（4) 爬虫向网页所在的服务器发起请求后，服务器以HTML格式的文本数据响应。
　　2.1.5 课后练习（1) 写一个算法简单模拟一般网络爬虫的爬取过程
　　（2)写一个简单的html解析工具，解析出1.1.第3节中html实例的title、tag、url。
　　炸薯条老师录制的全套Python3视频教程B站链接： 查看全部

　　js 爬虫抓取网页数据(图来说明架构的设计思想(一)说明)
　　前言：
　　（原文链接：
　　/bone_ace/article/details/55000416
　　)
　　在爬虫开发过程中，一些业务场景需要同时爬取数百甚至数千个网站。这时候就需要一个支持多爬虫的框架了。设计时应注意以下几点：
　　代码重用，功能模块化。如果为每个网站写一个完整的爬虫，肯定收录
很多重复的工作。不仅开发效率不高，而且整个爬虫项目后期会变得臃肿不堪，难以管理。易于扩展。多爬虫框架，最直观的需求就是方便扩展，添加一个要爬取的目标网站，我只需要写少量必要的内容（比如爬取规则、解析规则、入库规则），这样是最快的和最好的。健壮性和可维护性。这么多网站同时爬取，报错的概率就更大了，比如断网、中途反爬、爬到“脏数据”等等。因此，有必要做好日志监控，实时监控爬虫系统状态，准确定位错误信息；另外，对于各种异常的处理，如果你放假回来发现爬虫因为一个小问题死掉了，那你浪费几天就太可惜了（虽然实际上我是亲自远程查看爬虫状态的）时）。分散式。多站点爬取，数据量一般比较大，而且可以分布式扩展，这也是必备的功能。分布式，需要关注消息队列，多节点统一去重。爬虫优化。这是个大话题，但最基本的，框架应该是基于异步的，或者使用协程+多进程。结构简洁，
　　要求如上，已经说的很清楚了。下面介绍一个架构设计，去年做的。现在让我分享一下。具体代码实现暂不公开。
　　文本：
　　下面将通过两张图来说明该架构的设计思路。
　　
　　框架主要分为下载器和分析器两部分。Downloader负责抓取网页，Analyzer负责解析网页并存入数据库。两者依靠消息队列MQ进行通信，两者可以分布在不同的机器上，也可以分布在同一台机器上。两者的数量也是灵活可变的。比如可能有五台机器在做下载，两台机器在做解析，可以根据爬虫系统的状态及时调整。从上图可以看出MQ有两个管道：HTML/JS文件和要爬取的种子。下载器从待爬取的种子中获取种子，根据种子信息调用对应的抓取模块抓取网页，然后保存在HTML/JS文件的通道中；Analyzer从HTML/JS文件中获取一个网页内容，根据内容调用相应的分析模块进行信息分析，将目标字段放入数据库，必要时解析出新的种子进行爬取到MQ。可以看出Downloader收录
User-Agent池、Proxy池和Cookie池，可以适应复杂网站的爬取。模块的调用使用工厂模式。
　　
　　这张图片是上一张图片的另一种表示。Htmls queue 和 Seed 是可以独立分离的队列，甚至可以开号，它们之间没有联系。可根据爬虫状态和硬件环境灵活调整。此外，8G 内容允许 Redis 将 50 到 8000 万个种子存储为一个 Seeds 队列。分布式爬虫有一个很关键的点：去重。可以看出，多个分析器共享一个重复数据删除队列，以保证数据的一致性和非重复性。重复数据删除队列可以放在一台机器上。Bloomfilter算法基于Redis实现（详见《基于Redis的Bloomfilter重复数据删除（附Python代码）》，理论上8G内存可以满足30亿个URL的重复数据删除）。如果允许丢失的概率更高，则可以对其进行重复数据删除。更多的。
　　结论：
　　写一个支持分布式多爬虫的框架，具体实现还是有难度的。除了实现主要功能之外，还要注意严格的代码规范和高效健壮的爬虫的要求。这样做之后，你肯定会成长很多！ 查看全部