官方数据:优采云采集器︱爬取外网数据（twitter、facebook）

　　官方数据:优采云采集器︱爬取外网数据（twitter、facebook）

　　————————————————————————————

　　海外数据采集有两种方式：云端采集+单机采集。 优采云采集器是嵌入式浏览器，即火狐浏览器，不可修改。 同时，通过修改内嵌的VPN来获取外网的权限也是不一样的。

　　如果你的某个浏览器可以通过插件访问外网，你能不能用优采云调用它，然后访问外网？

　　不能。

　　1、云采集+外网（优采云服务器）

　　如果使用优采云云爬取外网内容，实现云采集，只能购买其海外版一年，2999元/年，试用期3天；

　　该版本服务器位于海外。 只要设置好流程，你就可以自由抓取80%国外网页上的任何内容。

　　数据量是无限的。

　　2.单机采集+外网（自己电脑）

　　如果用自己的机器采集外网内容，需要全球稳定的VPN，设置流程，购买无限专业版。

　　专业版49元/月，399元/年。

　　数据量是无限的。

　　三、关于*敏*感*词*

　　半年累计消费达到500才能开具*敏*感*词*，title可以写到公司。

　　四、建议

　　不知道我们现在对海外内容的需求大不大，根据不同需求提出建议：

　　（需求大，每天几十万数据） 海外需求大，每天几十万数据，建议购买海外版2999元/年，总费用2999元/年；

　　（需求大，每天几万条） 需要的数据量小，平均每天1万条。 建议购买相对稳定的VPN+专业版，总费用735元/年-1095元/年。

　　————————————————————————————

　　汇总:优采云采集发布到mysql_[优采云教程]优采云采集：mysql入库模板的编写数

　　现在很多节目是不能邮寄的。 最好的方案是使用mysql来存储和发布。 但是对于这个发布模块的写法，很多人并不熟悉。 这里雨果天晴工作室给大家做一个教程。 不会做的可以联系客服定制！

　　我们想将采集的数据发布到自定义数据库中。 本教程以将数据导入本地mysql数据库为例，讲解发布模块的制作。

　　我们打开数据库发布模块创建工具如下图：

　　点击“Repository”按钮，打开如下图：

　　右击“更多”按钮：删除或导入导出数据库发布模块，如下图：

　　点击“编辑”按钮：修改已经编写好的数据库发布模块。

　　点击“新建”按钮：新建一个数据库发布模块，如下图：

　　选择下面的数据库类型。 本例以mysql为例，所以这里选择MySql。

　　我以收录两个数据表的数据库中建立一个数据库为例，如下：

　　新闻数据库中有两张数据表，分别是newstitle和newscontent。 我想把采集的数据的标题放到newstitle中，再把采集的内容放到newscontent中，同时使用两个表存在。

　　Newsid 进行关联。 即需要两条insert语句，需要将第一个表的数据插入到第二个表中，如下图所示：

　　采集器 rule采集的值和release module字段的值用tag表示，如上图所示。

　　系统标签中有一个[文章编号：表名XXX]，就是获取上一张表的自增ID。

　　如果需要使用storage模块，需要对数据库有一定的了解，这里就不讲数据库知识了，这里是告诉大家在采集器中使用storage的步骤。

　　这里写sql语言，点击右下角的“保存模块”按钮，然后给这个模块起个名字，方便我们后面使用。

　　数据库发布模块后缀为：.dbm。

　　然后返回数据库存储配置管理界面如下图：

　　第一步：选择要使用的数据库发布模块。

　　第二步：配置登录信息，包括数据库地址、用户名和密码，点击“获取数据库列表”按钮验证是否可以成功登录数据库，再点击“测试连接数据库”验证是否正常

　　连接到我们选择的数据库。

　　设置完成后，我们可以测试数据库存储模块是否写入成功，如下：

　　给标签赋值后，我们点击“测试存储”按钮进行测试如下图：

　　测试成功后，给配置起个名字，在规则中使用。

　　上面规则中的第三步：发布内容设置，选择方法3，选择我们要使用的数据库发布配置。