内容采集(百度数据收录接口的特点及功能特点-苏州安嘉)
　　安装本插件后，您可以输入百度贴吧网址或内容关键词，一键采集百度贴吧话题内容回复您的论坛、群组或门户栏目。同时支持定时采集自动发布、批量发布、马甲回复等多种实用功能。
　　
　　这个插件的特点
　　01、可以批量注册马甲用户，发帖和评论使用的马甲与真实注册用户发布的马甲一模一样。
　　02、可以批量采集和批量发布，任何百度贴吧主题内容和回复都可以在短时间内发布到您的论坛和门户。
　　03、可定时采集自动发布，实现无人值守自动更新网站内容，让您拥有24小时发布内容的智能编辑器
　　04、采集返回的内容可以进行简繁体、伪原创等二次处理。
　　05、支持前台采集，可以授权指定的普通注册用户在前台使用这个采集器，让普通注册会员帮你采集内容。
　　06、采集内容图片可以正常显示并保存为帖子图片附件或门户文章附件，图片永不丢失。
　　07、Picture 附件支持远程FTP存储，让您可以将图片分离到另一台服务器。
　　08、 图片将带有您的论坛或门户网站设置的水印。
　　09、已经采集的内容不会重复两次采集，内容不会重复或冗余。
　　10、采集或门户文章和群组发布的帖子与真实用户发布的完全相同。其他人无法知道他们是否以采集器 发布。
　　11、的浏览量会自动随机设置。感觉你的帖子或门户文章的浏览量和真实的一样。
　　12、可以指定帖子发布者（主持人）、portal文章作者、群发者。
　　13、采集的内容可以发到论坛任意版块、门户任意栏目、群任意圈。
　　14、发布的内容可以推送到百度data收录界面进行SEO优化，加速网站百度索引量和收录量。
　　15、不限制采集的内容量，不限制采集的次数，让你的网站快速填充优质内容。
　　16、插件内置自动文本提取算法，无需自己编写采集规则，支持采集any网站任何栏目内容。
　　17、可以一键获取当前实时热点内容，然后一键发布。
　　18、马甲回复帖子的时间经过科学处理。并非所有回复者都在同一时间。感觉你的论坛不是在回复马甲，而是在回复真实用户。
　　19、支持采集指定贴吧内容，实现针对性采集某一个百度贴吧内容。 查看全部

　　内容采集(不要私信要短篇小说《大千世界》的全文了)
　　内容采集知乎专栏/微信公众号/新浪博客/豆瓣等，原则上只接受单篇采集（无论你的目的是转载还是推广）。所以不要私信要短篇小说《大千世界》的全文了。一旦违规，第一次可以删除，第二次会有提示和再一次删除，到时候再执行操作吧。
　　这个范围好大好大的问题，先收集齐一定数量的信息，然后综合各家知识进行补充和阐述，再引用一些高质量的资料和原文参考即可。
　　引用作者主要还是看你怎么引用，你说的“附加说明”指的是引用的内容放在你的原文之后，你把转载的部分单独提出来还是全部都要提。如果你们觉得文中有不适合引用的内容，你可以利用搜索引擎查找对应内容，然后给引用文字写上注明。如果文中就不需要引用，单纯引用原文也是可以的，但是一定要注明。
　　我是来看答案的
　　我觉得按照微信或者其他平台来设计，按照我们实际工作的经验来说。大多数情况下，相关的政策或者说监管部门会要求引用文章需要注明来源，但不能明显表示是转载或者引用，但也不能转载或者引用。好像有一种说法是，引用都不能算，毕竟有些内容包含传播性质。实际工作中，实际各方利益才是限制转载和引用的关键。
　　那个可以参考我之前发布的两篇：[投稿指南]作者不明条例篇， 查看全部

　　内容采集(新站上线后采集内容是否对站点产生不利影响呢？)
　　很多新网站上线的时候，为了节省时间，很多seoer直接向采集提交了很多内容。这些采集 内容会对网站产生不利影响吗？事实上，这取决于情况。比如新网站上线后，你的采集内容是一些类型不好的内容，这样的内容会被百度认为垃圾，但是如果你采集有一些高质量的内容，百度为什么要破解下来吗？所以有个误区，采集不等于采集低质量内容。
　　
　　但是对于新网站来说，如果前期很多内容都是基于采集，但是排名不理想，这些结果已经说明了这些页面质量不高的事实，所以我们必须尽快处理这些内容。个人建议还是删除这些页面，然后做一个404页面，告诉百度不要抓取页面内容，删除后尽快提交百度资源平台的死链接提交。
　　如果网站的流量一直在下降，你又找不到原因，不妨用这些步骤一一诊断。
　　如果流量继续下降，网站一定要说明下降的词汇量大于上升的词汇量，所以我们会尽快检查，哪个词汇量下降了，我们会用表格来整理一下，而我们需要去百度资源平台查看索引情况。如果索引也下降了，就说明我们的上级索引页已经被删除了。我们需要检查一下我们的网站有什么问题，比如服务器防火墙有没有屏蔽蜘蛛，或者我们的页面被黑了等等。如果索引正常没有变化，那么我们需要提供一些关键词以及一些在百度资源平台上提交反馈的链接。
　　流量下降的大部分原因是由于降级。 网站评级被降级，词库暴跌。如果你对自己的网站quality 有信心，建议做301重定向到另一个域名。这个方法也比较实用。我以前在车站也遇到过类似的情况。国庆节前词库不断上升，国庆节后词库不断下降。后来发现是因为收录导致索引没有添加新页面，也就是上面提到的drop。词汇量大于上升的词汇量，所以整体在下降。我每天都在不断变化，词汇也在慢慢回归。原因不是收录，与网站评分有很大关系。 查看全部

　　内容采集(企业获取用户信息可以是实时数据采集的方式吗？)
　　内容采集主要是为了通过爬虫去获取其他用户（机构）的内容，在提取精准到机构的内容后可以采集到外部信息。企业获取用户信息有三种方式：1.签约数据供应商，按时付费收集，2.抓取外部，或通过cc协议免费抓取企业ceo信息、竞争对手信息、热点新闻等。企业获取用户信息可以是实时数据，如热点新闻报道的机构名、搜索关键词词频进行展示推广，也可是静态数据，如机构的注册、运营公司、运营公司的机构代表、注册时间、注册人数、注册地址、注册类型等。
　　一个相对完整的用户信息包括：用户名、注册时间、注册机构、注册类型、所属行业等。企业采集用户信息可以有两种方式：1.业务外包给有数据资源的企业开发爬虫，获取企业内部用户信息，并提取出所需内容；2.企业与数据供应商合作，通过scrapy或kafka等技术抓取不同行业（如：酒店、餐饮等）的不同用户信息。但采集的同时，可能会对整个网站内的用户进行全量采集，再给不同企业用户采集不同的内容。
　　爬虫可以分为：1.正则匹配。2.对话采集。正则匹配主要是在企业特征有缺失，无法很好匹配的情况下使用。对话采集主要用于恶意行为（如：机构恶意注册、竞争对手恶意投放、注册机构少或只有竞争对手和机构，如搜索机构）的监控。企业获取用户信息可以是实时数据，如热点新闻报道的机构名、搜索关键词词频进行展示推广，也可是静态数据，如机构的注册、运营公司、运营公司的机构代表、注册时间、注册人数、注册地址、注册类型等。
　　企业获取用户信息可以是实时数据，如热点新闻报道的机构名、搜索关键词词频进行展示推广，也可是静态数据，如机构的注册、运营公司、运营公司的机构代表、注册时间、注册人数、注册地址、注册类型等。企业获取用户信息可以是实时数据，如热点新闻报道的机构名、搜索关键词词频进行展示推广，也可是静态数据，如机构的注册、运营公司、运营公司的机构代表、注册时间、注册人数、注册地址、注册类型等。
　　企业获取用户信息可以是实时数据，如热点新闻报道的机构名、搜索关键词词频进行展示推广，也可是静态数据，如机构的注册、运营公司、运营公司的机构代表、注册时间、注册人数、注册地址、注册类型等。深圳某金融企业获取用户信息部分数据，供大家研究交流和参考。根据实际需求选择爬虫技术。 查看全部

　　内容采集(内容采集,也可以用爬虫实现页面浏览器的跳转.)
　　内容采集,也可以用爬虫的形式采集,包括但不限于标题爬虫,内容爬虫,篇章爬虫,人物爬虫等方式.最好需要用javascript实现页面浏览器的跳转.通过页面技术上的实现,传播你的知识,让更多人知道.ps:我是知乎新手,回答不好请见谅,请大家不吝赐教.
　　姑且强答一发，我记得知乎现在采用类似jsoup的网页解析，爬虫可以跟访问页面的浏览器一起解析页面然后获取对应的资料。这个是由你提到的地理定位服务器管理页面是分析访问页面的地理信息后获取地址返回你。关于如何解决问题，你可以用爬虫来采集你那里的地址，然后结合页面特征。
　　如果你是用本地浏览器来获取的，应该是由于非直达的数据或是浏览器自身缓存机制问题，从而导致了楼主所说的需求。我觉得这不是问题，虽然有时会让人烦恼，但多关注细节，问题就迎刃而解了，
　　可以用过cors来解决这种情况，具体的关于cors请求发送参数等请自行百度。现在网页上浏览器有很多爬虫可以实现爬取，urlrank之类的功能也比较多，题主是要爬取啥，爬取的结果在哪里展示，弄清楚这些问题能解决很多问题。
　　爬取浏览器页面，
　　你是要抓哪种数据？url有urlretrieve，headers可以考虑用requests，全局的比如localtime这些找找能不能到。ps:更多爬虫技术方面的问题可以参考我的回答， 查看全部

　　内容采集(SqlServer2000开发环境VS2003or.net1.12000)
　　运行环境
　　windows nt/xp/2003 或以上
　　.net 框架1.1
　　SQLServer 2000
　　开发环境VS 2003
　　目的学习网络编程后，总有事情要做。
　　所以我想到了创建一个网页内容采集器。
　　作者主页：
　　下载链接：
　　使用方法测试数据来自cnBlog。
　　见下图
　　
　　用户首先填写“起始页”，即采集从哪个页面开始。
　　然后填写数据库连接字符串，这里定义采集的数据会插入到哪个数据库，然后选择表名，不用说了。
　　网页编码，如果不出意外，中国大陆可以使用UTF-8
　　爬取文件名的规则：呵呵 这个工具显然是给程序员用的。您必须直接填写常规规则。比如cnblogs都是数字，所以\d
　　建表帮助：用户指定创建几个varchar类型和几个text类型，主要针对短数据和长数据。如果您的表中已经有列，请避免使用它们。程序中没有验证。
　　在网络设置中：
　　采集Content 标签前后：
　　例如，两者都有
　　xxx
　　如果我想要采集xxx，写“
　　到
　　" 的意思是，当然是
　　到
　　介于两者之间的内容。
　　以下文本框用于显示内容。
　　点击“获取网址”查看它抓取的网址是否正确。
　　点击“采集”将采集内容放入数据库，然后使用Insert xx()（选择xx）直接插入目标数据。
　　程序代码量很小（也很简单），需要做一些改动。
　　不足
　　应用于正则表达式、网络编程
　　因为是最简单的东西，没有多线程，没有其他优化方法，不支持分页。
　　我测试了一下，得到了38条数据，使用了700M内存。 . . .
　　如果有用，可以改。方便程序员使用，无需编写大量代码。 查看全部

　　内容采集(搜索引擎对网站的收录适用网站会怎么做：打游击战呗)
　　如何防止网站内容被采集一、一句话概括：js生成的内容网站没有办法采集。
　　二、如何防止网站内容被采集
　　在实现很多反采集的方法时，需要考虑是否会影响搜索引擎对网站的爬取，所以先分析一下一般的采集器和搜索引擎爬虫采集的区别。
　　相似之处：
　　一个。两者都需要直接抓取网页的源代码才能有效工作，
　　B.两者都会在单位时间内多次抓取访问到的网站内容；
　　c.宏观来看，两个IP都会发生变化；
　　d。两者大多不耐烦破解你对网页的一些加密（验证），比如网页内容是通过js文件加密的，比如浏览内容需要输入验证码，比如，您需要登录才能访问内容。
　　区别：
　　搜索引擎爬虫首先忽略整个网页源代码脚本和样式以及html标签代码，然后对剩余的文本进行词法、句法分析等一系列复杂的处理。 采集器一般是通过html标签的特性来抓取需要的数据。创建采集规则时，需要填写目标内容的开始标记和结束标记，以便定位到需要的内容；或者使用创建特定网页的特定正则表达式来过滤掉需要的内容。无论是开始结束标签的使用，还是正则表达式的使用，都会涉及到html标签（网页结构分析）。
　　那就来提出一些反采集的方法
　　1、限制IP地址单位时间内的访问次数
　　分析：普通人不可能一秒访问同一个网站5次，除非是程序访问。有了这个偏好，就只剩下搜索引擎爬虫和烦人的采集器了。
　　缺点：一刀切，这也会妨碍搜索引擎回复网站的收录
　　适用网站：不依赖搜索引擎的网站
　　采集器会做什么：减少单位时间内的访问次数，降低采集效率
　　2、shield ip
　　分析：通过后台计数器记录访问者的ip和频率，人工分析访问记录，屏蔽可疑IP。
　　缺点：貌似没有缺点，就是站长有点忙
　　适用网站：所有网站，站长可以知道哪些机器人是谷歌或百度
　　采集器 会做什么：打游击战！使用ip代理采集改一次，但是会降低采集器的效率和网速（使用代理）。
　　3、使用js加密网页内容
　　注：这个方法我没接触过，不过好像是从别处传来的
　　分析：不用分析，搜索引擎爬虫和采集器通杀
　　适用网站：我真的很讨厌搜索引擎和采集器的网站
　　采集器会这样：你太好了，你再好他也不会来接你了
　　4、Hidden 网站copyright 或者网页中一些随机的垃圾文字，这些文字样式写在css文件中
　　分析：采集虽然无法阻止，但是采集之后的内容会填充你的网站版权声明或者一些垃圾文字，因为一般采集器不会同时出现采集你的css 文件，文本不带样式显示。
　　适用网站：所有网站
　　采集器 会做什么：对于受版权保护的文本，易于处理，替换它。对于随机的垃圾文本，没办法，抓紧。
　　5、用户登录可以访问网站content
　　分析：搜索引擎爬虫不会为每一种这样的网站设计登录程序。听说采集器可以为某个网站设计一个模拟用户登录和提交表单行为。
　　适用网站：我真的很讨厌搜索引擎，想屏蔽大部分采集器的网站
　　采集器 会做什么：为用户登录的行为制作一个模块并提交表单
　　6、使用脚本语言进行分页（隐藏分页）
　　分析：再次，搜索引擎爬虫不会分析各种网站隐藏页面，影响搜索引擎的收录。但是采集在写采集规则的时候，需要分析目标页面的代码，稍微懂脚本的人就会知道页面的真实链接地址。
　　适用网站：不高度依赖搜索引擎的网站，以及采集你的人不懂脚本知识
　　采集器会做什么：应该说采集器会做什么，反正他要分析你的网页代码，顺便分析你的分页脚本，不会多花时间。
　　7、防盗链措施（只允许通过本站页面查看，如：Request.ServerVariables("HTTP_REFERER")）
　　分析：ASP和PHP可以通过读取请求的HTTP_REFERER属性来判断请求是否来自网站，从而限制采集器，同时也限制了搜索引擎爬虫，严重影响了搜索引擎对网站的响应@部分反水蛭内容收录。
　　适用网站：我对网站搜索引擎收录没有太多想法 查看全部

　　内容采集(优采云采集器使用教程–采集内容发布规则设置图第一步
)
　　优采云采集器使用教程-采集内容发布规则设置
　　在讲如何查找网站、采集文章链接和内容之前，先说一下内容发布的相关设置。
　　因为我在教程中设置了发布规则，这里我将简要介绍每个项目。
　　如下图
　　
　　第一步，我们点击这里的内容发布规则
　　第二步，点击网页发布规则列表后面的加号
　　第三步出现模块管理（教程目录写好，我们的模块文件放在优采云program下的\Module\目录下），选择wordpress.post模块
　　第四步，网页编码选择UTF-8（wordpress程序是国外的，国际上一般是UTF8编码，国内有的会是GBK编码。比如Discuz论坛程序有两个安装包：UTF8和GBK。 )
　　第五步，网站地址填上我们网页的地址，加上接口文件名。比如你的接口文件名是jiekou.php网站，那么填写这个地址
　　第六步选择不登录作为登录方式。我们的界面文件免登录。
　　第七步，点击以下获取列表。通常你会得到wordpress的文章分类列表。然后选择一个列表，你选择哪个列表，采集的文章就会被发送到哪个列表。
　　然后在下面随机写一个配置名称并保存。
　　然后我们勾选我们刚刚保存的发布配置并启用它。
　　
　　那别忘了点击右下角的保存，或者点击保存退出！
　　 查看全部

　　短视频内容分析采集管理软件的数据信息化管理(组图)
　　短视频内容分析采集管理软件是一款视频内容分析软件，可以采集视频对采集的视频数据信息进行数字化管理，对采集到达的视频内容进行分析和内容管理.
　　功能介绍
　　1.所有视频数据信息的数据库管理，方便查找和对比分析
　　2. 支持获取主播下所有视频，通过单个视频地址获取视频数据
　　3.最大亮点：随时可以追踪各主播发布的最新视频，发现主播最新动态
　　4.记录每个视频的“上传时间”
　　5.视频内容支持翻页查看，除了可以记录视频时长、点赞数、评论数、分享数等。
　　6.企业版用户可以共享多台电脑的数据，实现团队数据协同工作。
　　如何使用
　　1.软件设置项
　　1.1.第一次使用软件，必须点击“设置”图标设置视频下载和保存目录的目录路径
　　1.2.可以设置下载目录，也可以设置视频封面的缩略图大小；
　　1.3.如果使用企业版，需要设置数据库访问地址、账号和密码，个人版不需要设置；
　　2. 主播管理
　　2.1.设置类别，为每个广播者定义类别
　　2.2.添加主机
<p>一个。添加抖音播主信息，在app内播放主主页，点击右上角“...”，然后点击“分享”，最后点击“复制链接”获取主主页URL地址 查看全部

　　内容采集 基本功能特点-基本功能
　　优采云采集器基本功能特性
　　1、Rule 自定义-通过采集rule 的定义，您可以搜索所有网站采集 几乎任何类型的信息。
　　2、Multitasking，多线程-多信息采集任务可以同时执行，每个任务可以使用多个线程。
　　3、所见即所得-task 采集process 所见即所得。过程中遍历的链接信息、采集信息、错误信息等会及时反映在软件界面中。
　　4、数据保存-数据side采集side自动保存在关系数据库中，数据结构可自动适配。软件可以根据采集规则自动创建数据库，以及其中的表和字段，或者通过引导数据库的方式灵活地将数据保存到客户现有的数据库结构中。
　　5、断点再采-信息采集任务停止后可以从断点恢复采集。从此，你再也不用担心你的采集任务被意外中断了。
　　6、网站Login-支持网站Cookie，支持网站可视化登录，甚至登录时需要验证码的网站也可以采集。
　　7、Scheduled tasks-这个功能可以让你的采集任务有规律的、定量的或者一直循环执行。
　　8、采集范围限制-采集的范围可以根据采集的深度和URL的标识进行限制。
　　9、File Download-采集收到的二进制文件（如图片、音乐、软件、文档等）可以下载到本地磁盘或采集结果数据库。
　　10、Result 替换-您可以根据规则将采集的结果替换为您定义的内容。
　　11、条件保存-您可以根据一定条件决定保存和过滤哪些信息。
　　12、过滤重复内容——软件可以根据用户设置和实际情况自动删除重复内容和重复网址。
　　13、特殊链接识别-使用此功能识别由JavaScript动态生成的链接或其他奇怪链接。
　　14、数据发布-您可以通过自定义接口将采集的结果数据发布到任何内容管理系统和指定的数据库。目前支持的目标发布媒体包括：数据库（access、sql server、my sql、oracle）、静态htm文件。
　　15、 保留编程接口-定义多个编程接口。用户可以在活动中使用PHP和C#编程扩展采集功能。
　　优采云采集器特色：
　　1、支持网站所有编码：完美支持采集所有网页编码格式，程序还可以自动识别网页编码。
　　2、多种发布方式：支持当前所有主流和非主流cms、BBS等网站节目，通过系统发布可以实现采集器和网站节目的完美结合模块。
　　3、Automatic：无人值守的工作。程序配置完成后，程序会根据您的设置自动运行，无需人工干预。 查看全部

　　微信公众号内容采集，比较怪异，其参数，post参数需要话费时间去搞定
　　微信公众号采集的内容很奇怪。它的参数和后期参数需要时间来弄清楚。这里采集是topic标签的内容，用pdfkit打印出来的内容。
　　
　　这里实现了两个版本。第一个是直接网络访问。它的真实地址，post URL，也有更多的参数。我没试过。得到的内容只是其中的一部分，并不理想。第二个版本是使用无头浏览器直接访问，获取网页源代码，分析，获取你想要的内容。
　　这个人渣现在比较懒，代码都是以前用的，现成的，复制的，修改的，直接用！
　　版本一：
　　#微信公众号内容获取打印pdf<br />#by 微信：huguo00289<br />#https://mp.weixin.qq.com/mp/ho ... %3Bbr /># -*- coding: UTF-8 -*-<br />import requests<br />from fake_useragent import UserAgent<br />import os,re<br />import pdfkit<br /><br /><br />confg = pdfkit.configuration(<br />    wkhtmltopdf=r&#39;D:\wkhtmltox-0.12.5-1.mxe-cross-win64\wkhtmltox\bin\wkhtmltopdf.exe&#39;)<br /><br />class Du():<br />    def __init__(self,furl):<br />        ua=UserAgent()<br />        self.headers={<br />            "User-Agent": ua.random,<br />                      }<br />        self.url=furl<br /><br /><br />    def get_urls(self):<br /><br />        response=requests.get(self.url,headers=self.headers,timeout=8)<br />        html=response.content.decode(&#39;utf-8&#39;)<br />        req=re.findall(r&#39;var data={(.+?)if&#39;,html,re.S)[0]<br />        urls=re.findall(r&#39;,"link":"(.+?)",&#39;,req,re.S)<br /><br /><br />        urls=set(urls)<br />        print(len(urls))<br /><br /><br />        return urls<br /><br /><br /><br />    def get_content(self,url,category):<br />        response = requests.get(url, headers=self.headers, timeout=8)<br />        print(response.status_code)<br />        html = response.content.decode(&#39;utf-8&#39;)<br />        req = re.findall(r&#39;
　　(.+?)varfirst_sceen__time',html,re.S)[0]#获取标题
　　h1=re.findall(r' (.+?)',req,re.S)[0]
　　h1=h1.strip()
　　pattern=r"[\/\\\:\*\?\"\\|]"
　　h1=re.sub(pattern,"_",h1)#用下划线替换
　　打印(h1)#获取详情
　　detail=re.findall(r'
　　(.+?) 查看全部

　　腾讯新闻、新浪新闻的详细采集过程(详细分析)
　　腾讯新闻和新浪新闻采集procedure详情
　　一、QQ新闻采集1.by category采集QQ新闻List 分析流程：采集的网页地址：
　　
　　2.先进入一个类别（娱乐）分析数据是如何传输的
　　
　　在娱乐分类页面，向下滑动新闻加载更多数据。同时，使用Chrome的Network，可以发现有一个加载下一页的url接口： 通过分析，上面的接口是获取新闻列表的数据接口。接下来我们将模拟爬取url接口数据的请求。而且我们发现只需要修改请求url中的page参数就可以获取到新闻页面的数据。这让我们更方便的遍历获取新闻数据。
　　
　　5. 接下来我们可以编写代码请求接口，解析返回的json数据。具体代码：
　　```java
public static void main(String[] args) {
//循环10次 采集10页
for (int i = 1; i < 10; i++) {
String url="https://pacaio.match.qq.com/xw ... 3B%3B
String s = get(url);
JSONObject jsonObject = JSONObject.parseObject(s);
JSONArray jsonArray = jsonObject.getJSONArray("data");
if (jsonArray.isEmpty())
continue;
for (Object o : jsonArray) {
JSONObject jsonObject1 = JSONObject.parseObject(String.valueOf(o));
//新闻id
String sourceid = jsonObject1.getString("app_id");
//作者
String source = jsonObject1.getString("source");
//标题
String topic = jsonObject1.getString("title");
//新闻详细内容的地址
String sourceurl = jsonObject1.getString("url");
//新闻的创建时间
String datetime = jsonObject1.getString("update_time");
//新闻的评论数
int like_count = jsonObject1.getInteger("comment_num");
//新闻的缩略图
JSONArray jsonArray1 = jsonObject1.getJSONArray("multi_imgs");
System.out.println(topic);
System.out.println(sourceurl);
}
}
}
//get请求的工具方法
private static String get(String url) {
String result = "";
BufferedReader in = null;
try {
URL realUrl = new URL(url);
URLConnection connection = realUrl.openConnection(); // 打开和URL之间的连接
// 设置通用的请求属性
connection.setRequestProperty("Accept-Charset", "UTF-8");
connection.setRequestProperty("content-type", "text/html; charset=utf-8");
connection.setRequestProperty("accept", "*/*");
//connection.setRequestProperty("Cookie", "tt_webid=20 B, session, HttpOnly www.toutiao.com/");
connection.setRequestProperty("Cookie", "utm_source=vivoliulanqi; webpSupport=%7B%22lossy%22%3Atrue%2C%22animation%22%3Atrue%2C%22alpha%22%3Atrue%7D; tt_webid=6977609332415530509; ttcid=1b2305f8baa44c8f929093024ae40dbf62; csrftoken=f8363c5a04097f7fd5d2ee36cf5bbd40; s_v_web_id=verify_kqbxnll7_QA9Z6n7G_LFul_4hTP_9jZf_zgZYUK3ySQOT; _ga=GA1.2.2038365076.1624601292; _gid=GA1.2.2124270427.1624601292; MONITOR_WEB_ID=518b84ad-98d5-4cb4-9e4e-4e3c3ec3ffe2; tt_webid=6977609332415530509; __ac_nonce=060d5aa4200b3672b2734; __ac_signature=_02B4Z6wo00f010CALQgAAIDA8HHBwRR4FntApCmAALEAeRZEDep7WW-RzEt50sUvtrkCpbRJMhboWeZNJ2s66iti2ZD-7sSiClTqpKs6b7ppQUp1vD8JHANxzSZ1srY4FF1y1iQitM1bQvYIf3; ttwid=1%7CTBE591UU7daDw3rsqkr6wXM1DqlOA3iyjUnPK-W6ThQ%7C1624615515%7Ccb0f077482096b50d19757a23f71240547d6b0c767bf9ab90fa583d022f47745; tt_scid=af-M9Xg-rmZAnPsCXhZu.2.DfKZe95AyPKJFzU0cL1KarDLfV3JYeIf.G28mIwhI57a0");
connection.setRequestProperty("connection", "Keep-Alive");
connection.setRequestProperty("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36");
connection.connect(); // 建立实际的连接
Map map = connection.getHeaderFields(); // 获取所有响应头字段
in = new BufferedReader(new InputStreamReader(
connection.getInputStream(),"utf-8"));
String line;
while ((line = in.readLine()) != null) {
result += line;
}
} catch (Exception e) {
e.printStackTrace();
}
// 使用finally块来关闭输入流
finally {
try {
if (in != null) {
in.close();
}
} catch (Exception e2) {
e2.printStackTrace();
}
}
return result;
}
```
　　2.采集腾讯新闻内容分析流程。上面我们采集得到了列表数据，得到了新闻内容地址：
　　
　　打开新闻链接的内容，分析如何获取内容。
　　
　　3. 打开新闻页面后，在chrome浏览器中按住Ctrl+U查看内容的资源文件：
　　
　　4. 复制资源文件中的html内容，美化成漂亮的格式。分析如何获取新闻的文字和图片。
　　
　　5. 经过分析，我们要使用的数据在html中有一个js变量（json_content）。
　　
　　具体代码
<p> //采集腾讯内容

public static void main(String[] args) {
String s = get("https://xw.qq.com/cmsid/20210630A09TUE00");
String[] split = s.split("json_content\":");
if (split.length 查看全部

　　
如何使用Scrapy结合PhantomJS采集天猫商品内容的小程序？
　　
　　1、介绍
　　最近在看Scrapy爬虫框架，尝试用Scrapy框架写一个简单的小程序，可以实现网页信息采集。在尝试的过程中遇到了很多小问题，希望大家给点建议。
　　本文主要结合PhantomJS采集天猫品内容介绍如何使用Scrapy。文章中自定义了一个DOWNLOADER_MIDDLEWARES，使用采集动态网页内容需要加载js。看了很多关于DOWNLOADER_MIDDLEWARES的资料，总结起来，使用简单，但是会阻塞框架，所以性能不好。有资料提到自定义DOWNLOADER_HANDLER或者使用scrapyjs可以解决框架阻塞的问题。有兴趣的朋友可以去研究一下。我不会在这里谈论它。
　　2、具体实现2.1、环境要求
　　准备Python开发运行环境需要进行以下步骤：
　　Python--从官网下载、安装和部署环境变量（本文使用的Python版本为3.5.1）
　　lxml--从官网库下载对应版本的.whl文件，然后在命令行界面执行“pip install .whl文件路径”
　　Scrapy--在命令行界面执行“pip install Scrapy”。详情请参考《Scrapy的首次运行测试》
　　selenium--执行“pip install selenium”的命令行界面
　　PhantomJS-官网下载
　　以上步骤展示了两种安装方式： 1、安装本地下载的wheel包； 2、使用Python安装管理器进行远程下载安装。注意：包版本需要与python版本匹配
　　2.2，开发测试流程
　　首先找到需要采集的网页，这里简单搜索一个天猫产品，网址，页面如下：
　　
　　然后开始写代码，下面的代码默认在命令行界面执行
　　1)，创建一个scrapy爬虫项目tmSpider
　　E:\python-3.5.1>scrapy startproject tmSpider
　　2)，修改settings.py配置
　　配置如下：
　　DOWNLOADER_MIDDLEWARES = {
'tmSpider.middlewares.middleware.CustomMiddlewares': 543,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None
}
　　3)，在项目目录下创建一个middlewares文件夹，然后在该文件夹下创建一个middleware.py文件，代码如下：
　　# -*- coding: utf-8 -*-
from scrapy.exceptions import IgnoreRequest
from scrapy.http import HtmlResponse, Response
import tmSpider.middlewares.downloader as downloader
class CustomMiddlewares(object):
def process_request(self, request, spider):
url = str(request.url)
dl = downloader.CustomDownloader()
content = dl.VisitPersonPage(url)
return HtmlResponse(url, status = 200, body = content)

def process_response(self, request, response, spider):
if len(response.body) == 100:
return IgnoreRequest("body length == 100")
else:
return response
　　4)，使用selenium和PhantomJS编写一个网页内容下载器，也在上一步创建的middlewares文件夹下创建一个downloader.py文件，代码如下：
　　# -*- coding: utf-8 -*-
import time
from scrapy.exceptions import IgnoreRequest
from scrapy.http import HtmlResponse, Response
from selenium import webdriver
import selenium.webdriver.support.ui as ui
class CustomDownloader(object):
def __init__(self):
# use any browser you wish
cap = webdriver.DesiredCapabilities.PHANTOMJS
cap["phantomjs.page.settings.resourceTimeout"] = 1000
cap["phantomjs.page.settings.loadImages"] = True
cap["phantomjs.page.settings.disk-cache"] = True
cap["phantomjs.page.customHeaders.Cookie"] = 'SINAGLOBAL=3955422793326.2764.1451802953297; '
self.driver = webdriver.PhantomJS(executable_path='F:/phantomjs/bin/phantomjs.exe', desired_capabilities=cap)
wait = ui.WebDriverWait(self.driver,10)

def VisitPersonPage(self, url):
print('正在加载网站.....')
self.driver.get(url)
time.sleep(1)
# 翻到底，详情加载
js="var q=document.documentElement.scrollTop=10000"
self.driver.execute_script(js)
time.sleep(5)
content = self.driver.page_source.encode('gbk', 'ignore')
print('网页加载完毕.....')
return content
def __del__(self):
self.driver.quit()
　　5) 创建爬虫模块
　　在项目目录E:python-3.5.1tmSpider，执行如下代码：
　　E:\python-3.5.1\tmSpider>scrapy genspider tmall 'tmall.com'
　　执行后会在项目目录E:python-3.5.1tmSpidermSpiderspiders下自动生成tmall.py程序文件。该程序中的解析函数处理scrapy下载器返回的网页内容。 采集网页信息的方法可以是：
　　# -*- coding: utf-8 -*-
import time
import scrapy
import tmSpider.gooseeker.gsextractor as gsextractor
class TmallSpider(scrapy.Spider):
name = "tmall"
allowed_domains = ["tmall.com"]
start_urls = (
'https://world.tmall.com/item/526449276263.htm',
)

# 获得当前时间戳
def getTime(self):
current_time = str(time.time())
m = current_time.find('.')
current_time = current_time[0:m]
return current_time
def parse(self, response):
html = response.body
print("----------------------------------------------------------------------------")
extra=gsextractor.GsExtractor()
extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "淘宝天猫_商品详情30474","tmall","list")
result = extra.extract(html)
print(str(result).encode('gbk', 'ignore').decode('gbk'))
#file_name = 'F:/temp/淘宝天猫_商品详情30474_' + self.getTime() + '.xml'
#open(file_name,"wb").write(result)
　　6)，启动爬虫
　　在E:python-3.5.1tmSpider项目目录下执行命令
　　E:\python-3.5.1\simpleSpider>scrapy crawl tmall
　　输出结果：
　　
　　提一下，上面的命令一次只能启动一个爬虫。如果你想同时启动多个爬虫怎么办？然后需要自定义一个爬虫启动模块，在spider下创建模块文件runcrawl.py，代码如下
　　# -*- coding: utf-8 -*-
import scrapy
from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from tmall import TmallSpider
...
spider = TmallSpider(domain='tmall.com')
runner = CrawlerRunner()
runner.crawl(spider)
...
d = runner.join()
d.addBoth(lambda _: reactor.stop())
reactor.run()
　　执行runcrawl.py文件并输出结果：
　　
　　3、展望
　　通过自定义DOWNLOADER_MIDDLEWARES调用PhantomJs实现爬虫后，纠结了很久框架阻塞的问题，一直在想解决办法。后面会研究scrapyjs、splash等调用浏览器的方式，看看能不能有效的解决这个问题。
　　4、相关文件
　　1、Python即时网络爬虫：API说明
　　5、汇聚GooSeeker开源代码下载源码
　　1、GooSeeker开源Python网络爬虫GitHub源码
　　6、文档修改历史
　　1, 2016-07-04: V1.0 查看全部

　　优云客SEO：讨论一个大家都关注的SEO话题，搜索引擎如何识别内容转载和采集
　　这个话题是前段时间一个朋友问的问题，只是给大家解释一下。理解和应用到位最直接的效果就是不用担心抄袭带来的SEO负面影响。虽然有云客老师在SEO培训课上没有讲这个话题，但是这次分享给大家学习。 采集这个话题大家应该都知道，包括很多人也羡慕一些网站采集。排名已经很好了，但是自己做原创也没有用。这里有个问题，为什么别人采集没问题，你采集容易出问题。如果是新站的SEO优化，如果百度认为网站不是采集而是转载。对于百度来说，内容的传播分为有价值和无价值。把这点学透了，自然就能明白采集和非采集的真正含义，这样SEO采集的内容会有更好的效果。
　　
　　有云客SEO：讨论一个大家关注的SEO话题，搜索引擎如何识别内容转贴和采集！
　　关于内容采集从搜索引擎的角度来看，基本上要做好以上三点才能做好这点的转载。比如我们常见的内容采集就是提取网页的主要内容，然后有些图片和版面乱七八糟的。这种内容肯定容易出问题。所以，比如说有云客先生，我们做了一个内容，被新浪转发了。显然，新浪不可能认为采集被转发了。虽然我上面说的是内容版权，但百度官方白皮书也明确指出，转载必须收录内容版权，否则很容易成为一文不值的垃圾邮件。
　　百度站长平台原文：
　　
　　
　　这里百度解释的很清楚，一个是采集内容书质量中等，但是下面写了一段，采集其他地方的内容至少没有经过编辑。这是采集的回答并转载了差异。对于心战，游云客老师教你一招。当内容为采集时，新展会带上出处版权，并做一个锚文本链接到出处，让搜索引擎能够充分识别出内容的出处。如果是这样的话，你采集采集也很容易被认为是转载的。
　　老站可以去采集不带锚文本，但最好带上源码。不管是新站还是老站，采集之后的内容一定不能全是采集，而是有选择性的采集，也就是我上面提到的针对性采集，针对性采集有的价值。因为很多时候原文不一定有价值，你采集回来质量就差了，比如内容页有空的内容页，有口水的内容页等等。
　　SEO需要找到一些有价值的SEO话题，多关注百度官方平台的内容，更容易学到很多SEO细节！ 查看全部

　　如何获取文章标题、文章作者文章来源、发布时间和文章内容
　　前言：本文为“无分页的普通文章采集方法”的第二部分。在上一节的基础上，添加采集节点的第二步：“设置字段获取规则”会给出详细的说明。为与上一篇保持一致，本文将继续沿用之前的章节标记。
　　从第一部分继续。
　　2.1 添加采集节点：第二步设置内容字段获取规则
<p>点击“保存信息并进入下一步设置”后，可以进入“添加采集节点：第二步设置内容字段获取规则”页面，如图（图22）， 查看全部

　　
智能云采集任何内容众大云采集8.1和“一键采集贴”
　　
　　【插件功能】
　　安装本插件后，您可以输入天涯论坛帖子的网址，一键获取天涯论坛帖子的主题内容和回复数据到您的论坛。
　　[采集器开发经验]
　　本插件集成了“智能云采集什么内容众大云采集8.1”和“一键采集贴吧内容官方版1.0”的所有开发体验，并在此基础上增加了许多新功能，解决了用户的一些问题。
　　[本插件的特点]
　　1、可以批量生成真实的马甲用户数据作为发帖人和回复人。感觉你的论坛很受欢迎。
　　2、 除了天涯论坛帖子采集的话题内容外，帖子的内容也会是采集。我觉得你的论坛内容丰富，可读性强。
　　3、马甲回复帖子的时间经过科学处理。并非所有回复者都在同一时间。感觉你的论坛不是在回复马甲，而是在回复真实用户。
　　4、批量生成的帖子和回复马甲有真实的头像和昵称，由Zhongdayun采集的网络爬虫实时随机生成。
　　5、Bulk生成的马甲用户可以导出uid列表，可以在本插件之外的其他插件中使用。
　　6、采集天涯论坛帖子内容图片可以正常显示并保存为帖子图片附件。
　　7、图片附件支持远程FTP存储。
　　8、 图片将从您的论坛中添加水印。
　　9、每天都会自动推送天涯论坛的优质帖子，一键发布到您的论坛。
　　10、已采集过的天涯论坛帖子内容不会重复采集，内容不会多余。
　　11、采集发布的帖子与真实用户发布的帖子几乎一模一样。
　　12、无量采集，不限采集次。
　　[这个插件给你带来的价值]
　　1、 使您的论坛非常受欢迎且内容丰富。
　　2、 除此插件外，还可以使用批量生成的马甲。相当于购买了这个插件，马甲代插件免费赠送。
　　3、使用一键采集代替人工发帖，省时省力，不易出错。
　　[用户保护]
　　1、严格遵守官方插件开发规范。此外，我们的团队也会对插件进行大量的测试，以确保插件的安全、稳定和成熟。
　　2、 购买本插件后，如因服务器运行环境、插件冲突、系统配置等原因无法使用插件，可联系技术人员()。如果问题在48小时内没有解决，将全额退款给消费者！ ！如果您购买插件后无法使用，请不要担心。如果实在用不上，一分钱也不收。
　　3、在使用过程中，如果有BUG或者用户体验不佳，可以向技术人员反馈（邮件：）。经评估，情况属实，将在下一个升级版本中解决。请关注插件升级更新。
　　【官方QQ群：235307918】
　　在线安装：@csdn123com_tianya.plugin
　　在试用版中安装： 查看全部

　　我在idata，你问我吧不在同一个城市的app营销啊
　　内容采集跨行，跨省，跨国，跨市县级，跨区县级采集全国，全省，全市，全县，全区，全市县，全县级市，...所有银行卡号的查询代码，以及详细的银行卡账户号码的采集代码。内容采集技术包括：预设关键字查询，集中查询，分散查询；采集全国银行卡，手机银行，信用卡，网银，支付宝，财付通，天猫商城，京东商城等海量网站页面数据。
　　是时候祭出这张图了。我在idata，
　　你用花呗干嘛？
　　你不玩手游的话，
　　话说小米是如何用“智能硬件”来赚钱的？真相：金山在为小米做网络营销
　　为啥会邀请我这个问题，我没有开过农行啊我！！手机能干嘛，电脑也能干嘛，但是为了生活会用到各种啊(换手机，换电脑)嗯，貌似目前专业来说没有软件app能做到微信个人号和新媒体号，但是可以自己开发一个新媒体号。互联网当老大，赚钱才是王道啊当网瘾少年，补觉吧，游戏才是王道啊我木有做过任何客户端app，我也木有开发任何网页或者app啊！！！如果你是问app的开发，你问我吧不在同一个城市的app营销啊？目前我所了解到的我是这么做的设定移动端开发人员上移动，移动端pc开发人员上网站开发人员。
　　交通+洗车有， 查看全部

　　徐三seo：百度版权保护的常见类型及解决办法
　　版权保护是百度近期为保护原创而推出的重大调整，但在后台可以清晰识别。非法采集及相关内容转载，更重要的是版权保护 通过有效程序，一键式与版权机构的在线关联，可以有效帮助原创作者维权和索赔。
　　详情请参考：
　　针对徐三seo相关账号的版权保护问题，我们发现百度的版权保护可以通过文章采集识别全网内容，特别是对于新媒体平台，比如今日头条自媒体的内容。常见的类型主要有：
　　1、非法转载
　　主要指那些网站不正规的采集，以及采集工具的使用，批量采集行为，通常这些内容可以通过版权保护得到有效识别。
　　值得一提的是，你的文章提交以及你自己博客的链下建设内容，通常都能被正常识别。当然，我们以后维权的时候可以自己选择，不用担心合理转载。链的影响。
　　2、real-time采集
　　对于实时采集的内容，理论上可以通过对比搜索引擎文档指纹来检测百度的版权保护，但徐三硕认为，现实中需要一定的时间。
　　值得一提的是，版权保护可以检测到不是百度收录的页面，但徐三叔认为一定是被索引的内容。
　　3、网站Mirror
　　网站mirror，与实时采集不同，这里有两种情况：
　　①整个网站的内容完全匹配：几乎完全一样网站。
　　②整个站点的内容不完全匹配：主框架略有不同，通常在头部调用一些垃圾内容，试图增加伪原创的系数，但从版权保护的后台数据来看，这种近似很简单。还可以识别手稿的行为。
　　1、平安关键词ranking
　　由于采集的成本大幅增加，有利于遏制采集，防止采集的优质内容造成关键词排名的大幅波动。
　　2、提供高质量的搜索结果
　　版权保护大大降低了维权成本，为原创内容提供了经济利益的保护。维权成功后，原创2000字左右的内容一般每篇可赔偿300元。 .
　　后台粗略计算一下，如果徐三书发起维权，好像要10万多。
　　3、建立良性搜索生态
　　毫无疑问，百度推出版权保护是为了净化百度搜索结果，将更多优质有价值的内容置于顶部，提升搜索用户的实际体验，打造可持续的搜索生态。
　　总结：从目前来看，徐三瑞认为，如果你是熊掌的运营商，快速获取百度原创标签似乎是一件非常重要的事情。是检索权限的有力保障。 . 查看全部

　　没有干货采集内容对SEO是否有效？(图)
　　[GOGO Chuang:] 这么久才打开消息功能，真是可惜。这篇文章是为了新鲜尝试这个渣图的消息功能。没有干货。
　　采集 内容对 SEO 有效吗？
　　有人说采集内容对搜索引擎不友好，排名不容易。这是必然的，也是不可避免的。
　　对于大多数网站来说，采集 的内容一定不如 UGC 或精心编辑的内容有效。但是，搜索引擎可用的原创 内容数量没有以前那么多。毕竟内容制作平台已经转移，早就不再集中在网站上。其他几个搜索引擎还在互相追赶，更不用说小网站了。
　　所以采集内容仍然有效，但采集内容的后期处理成本越来越高。
　　采集内容后处理
　　担心采集的内容效果不好或者容易被K，主要看如何对内容进行后期处理。例如：
　　这就像从沃尔玛拿一篮猕猴桃，完好无损地放进家乐福。最多只能是原价，因为猕猴桃还是猕猴桃，产品不变。但是把猕猴桃挤成汁（变形），加一点水装瓶（改变颗粒大小），在711卖（换平台），价格可以翻倍（增值）
　　为什么？
　　因为形状变了，果汁是不同于水果的商品，果汁更容易吸收
　　因为平台变了，711定价本身比沃尔玛家乐福高一点
　　因为粒度变了，一切都会在一命二二三三重生。
　　前三个的变化导致价值翻倍
　　如果把“采集内容”比作“猕猴桃”，“采集内容”的后处理策略如下：
　　表格
　　组织内容的方式有无数种。无论是将相同的内容拆分并分发到多个地方，还是将多个相关内容聚合在一个地方，或者其他方式，都可以让搜索引擎更容易接受。
　　平台
　　技术行业有专长。从新浪对一些垂直行业内容的抓取，到相应的行业垂直网站，绝对比放在新浪上更合适。把专业的内容放到专业的网站。
　　粒度
　　内容也被抓取。粒度越细，在搜索引擎中的原创度就越高。举个极端的例子，星座股被命名为八卦、算命、生日、风水、算命、qq图片、动态图片……这种类型的站，有哪些内容不重复？
　　收获
　　采集的目的是填补内容的漏洞，让同一主题的内容比其他的更丰富、更充实，增加页面内容的价值。
　　采集Content 完整流程
　　关于“采集内容处理”，从抓取到上线的整个过程，必须解决以下问题：
　　采集 内容从何而来？
　　采集如何抓取内容？
　　采集如何处理内容？
　　采集 内容从何而来？
　　对于认真认真的人，更适合定位采集，购买专业数据。
　　针对采集，只抓取几个特定的​​网站特定范围，与本站内容漏洞高度相关。
　　对于那些不正式做网站的人来说，还有更多的选择。可以抓取到点点滴滴的内容，而且数量大，所以不需要限制某些网站的抓取。有人称之为 pan采集
　　设置几个主题，直接抓取各个大平台的搜索结果。大平台是什么意思？海量内容集中的地方：各种搜索引擎、各种门户、今日头条、微信微博、优酷土豆等
　　采集如何抓取内容？
　　定位采集：
　　稍微，你可以做你平时做的任何事情。
　　Pan采集：
　　目标爬虫仅限于网页模板。在此基础上增加了几种内容分析算法来提取内容，改为通用爬虫。
　　很多浏览器插件，比如印象笔记，都有很多类似“只看文字”的功能。单击可仅显示当前网页的文本信息。很多人已经将这样的算法移植到python、php、java等搜索编程语言中。
　　采集如何处理内容？
　　两个连续的过程：
　　原创内容的处理
　　整理处理后的内容
　　原创内容的处理
　　百度专利称，除了根据文本判断内容相似度外，搜索引擎还会判断html的dom节点的位置和顺序。如果两个网页的html结构相似，也可能被视为重复内容。 .
　　所以采集的内容不能直接上传，必须清理源码。每个人都有不同的方式，个人一般是这样的：
　　
'''
html清洗
保留主要标签：p、img
#删除标签中不重要的属性
'''

a = re.sub(r'','',content).strip()
b = re.sub(r']*?>','<p>',a)
newcontent = re.sub(r'alt="[^"]*?"','alt="%s"' % title,b).lower()

#删除中文字数 < 100字的
text = re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，:：。？、~@#￥%……&*（）“”《》]+".decode("utf8"), "".decode("utf8"),newcontent)
text2 = re.sub(']*?>','',text)
words_number = len(text2)

　　删除垃圾邮件
　　如“XXX网络编辑：XXX”、邮箱地址等。 .
　　整理处理后的内容
　　其实在形式上的变化，我之前写过一篇关于“组织内容”的几种方式的文章，见：【SEO】网站content怎么用？ 查看全部

　　阿里旗下的千牛-工作台，你可以内容采集
　　内容采集，你可以内容采集。阿里旗下的千牛-工作台我的产品。然后找到相应领域的人，采集他们的作品。网站的话，可以百度搜索目标行业门户网站，从那获取你感兴趣的内容，然后转载一下他们的文章即可。
　　你可以关注我们的微信公众号“川师材料库”，我们的采集服务已经上线，只要注册，直接发送你的邮箱地址就能获取我们的采集服务。
　　你可以使用webvpn
　　1、去可靠的第三方，比如说“真懂网”。
　　2、自己去买，去找。（确定有用。
　　3、买了再找可靠第三方，比如你那大学同学了。
　　阿里巴巴这种大网站，有数据采集功能，有个页面可以选国家、城市、日期，还可以导出excel。
　　可以通过爬虫软件爬一爬阿里巴巴的网站，
　　本人在不久前用trackin，纯采集，安全性比较高，可惜好像最近开始限制分享了。
　　最近也在研究写爬虫，网上有视频教程，
　　推荐几个我比较喜欢的，你可以看一下，可以得到你所需要的。
　　一般抓一抓是找不到答案的，问题的答案都在源头之上，你需要把它解析出来，用全局的方式进行下载，
　　1.百度，例如（百度搜索）；2.谷歌（），3.必应（），4.汤臣一品（），4.1111（）,5.qq（），6.他的自由（）， 查看全部