解决方案:优采云爬虫采集器使用体验

　　解决方案:优采云爬虫采集器使用体验

　　我正在参加“掘金·首发计划”

　　前言

　　接到项目后，领导给了3个实习生，200个网站（中外文都有，好像500个栏目），需要1.5个月的时间完成采集的工作。

　　软件选择

　　领导用优采云软件选型，实习生因为疫情需要远程办公，不得不使用这款相对容易上手的软件。

　　配置模板

　　优采云生成爬虫模板（列表+详细网页）是傻瓜式。没有爬虫经验的小伙伴，看教程即可完成模板的生成。

　　自动识别列表页（标题、时间、url）、详情页（标题）、自动识别翻页链接、点击界面生成xpath表达式、生成新闻发布时间、新闻详情、栏目等字段模板对于不易点击的内容，还可以手动输入xpath表达式，对数据进行后处理，如静态字符、字符截取、正则表达式提取等图片，自动下载文件。

　　而且爬虫模板可以用账号同步到另一台服务器，方便多人分工。项目使用企业版（3个并发），又买了一个并发，一共4个并发，费用1w/年。

　　数据导出设置和计划任务 定时任务，数据自动导出是本地设置，不与账号同步。这样对于项目来说比较麻烦，实习生需要配置模板，然后去服务器设置定时​​任务。自动导出数据的设置。而且连接数据库也没有统一存放的地方，需要模板。（有方案，可以把数据库连接和字段对应保存下来，重复使用）

　　计划任务保存在内存中，不保存文件。如果同时有太多的定时任务，可能会出现任务丢失的问题。客服给的建议是10G内存可以启动10个任务。在实际操作中，任务之间的间隔是3分钟。bug图片下载 操作系统兼容性问题 我在两台windows 2012上部署了优采云软件，其中一台连接本地数据库有问题，读写数据也有问题。客服说本地数据库使用的indexdb由于数据量大，连接有问题，需要换数据库。

　　免费的:分享免费网络推广的8种工具(免费网络推广的工具有哪些)

　　1、SEO/SEM：在互联网时代，大家遇到问题首先想到的就是搜索引擎。如何让你的网站排在搜索结果的前面至关重要，这也是SEO/SEM经久不衰的重要原因。2、广APP

　　1、SEO/SEM：在互联网时代，大家遇到问题首先想到的就是搜索引擎。如何让你的网站排在搜索结果的前面至关重要，这也是SEO/SEM经久不衰的重要原因。

　　2、APP广告：每个人的手机里或多或少都会安装一些软件，包括微信、qq、抖音、今日头条等，每天有几亿人的活跃。只要找到你的目标人群，投放效果就不会差。

　　3、数据库营销：包括IM推广、EDM邮件发送、SMS短信发送等，转化率取决于人群匹配度。一般来说，成本低，回报可以接受。

　　4、分类信息网站：比较有名的有、赶集网等，不同行业效果差异较大，可以根据自己的情况自行处理。

　　5、社区推广：以内容为中心，结合自身行业，将目标用户圈在一起，形成社区，定期组织社交活动。这种方式受到很多教育公司的青睐，适用于转化时间比较长的产品。

　　6、自媒体渠道：包括今日头条、微信公众号、百家号、网易号等，定期产出优质原创内容。

　　7、裂变营销：通过一定的奖励机制让用户为你推广。多家知识付费平台正在采用

　　8、资源合作：通过网站交换链接、广告互换、内容合作、用户资源合作等方式，实现相似目标网站之间的相互促进。最常见的资源协作形式是网站链接策略，它利用网站合作伙伴之间的访问和资源协作来相互促进。