解决方案:网站自动采集系统性能效果速度等方面主要参考一下

　　解决方案:网站自动采集系统性能效果速度等方面主要参考一下

　　网站自动采集系统性能效果速度等方面主要参考一下几个方面：

　　1、计算机硬件配置要高，高速采集对读写操作有很高要求，操作系统一般建议选择x86系统，由于笔记本很多系统只支持x64，x86支持最多32位，x64能支持更多。

　　2、采集硬件设备要能支持读取视频的常见帧频，不然采集出来慢、不清晰、噪声大，笔记本采集的是3k视频，25帧频最好。

　　3、采集软件和网站系统适配性要好，智能识别、自动转码。软件一般建议选择文本处理软件，如小q文本，支持多种文本编辑器及格式，易操作，效率高，相对于pdf和word比较好。

　　4、网站系统稳定，适用于流量较大的大型网站，不易发生网站突然无法访问，或者防火墙，防止网站无法正常发送请求或者直接无法调用某些接口，软件安全方面要看产品本身的安全机制，网站做了加密也是一个参考因素，安全性需要好一些，易于管理。

　　谢邀。关于自动采集器，我了解过很多家。客户的要求看似都差不多，

　　1、网站内容特征简单。如新闻、贴吧、博客、小说等。

　　2、网站内容特征复杂。如图片、音频、视频等。

　　3、网站内容质量高。如国家级、省市级、、国际级机构官网、企业网站、运营商一线等。

　　4、操作简单，软件性能稳定，一键采集。

　　5、我个人比较喜欢的一个点：支持多个网站批量提取的功能。因为我现在也是做关于it方面的网站，所以自动采集网站这块的对接我还是比较熟悉。在大致了解了网站常见需求后，开始找寻性价比比较高的推荐，由于技术、产品经理的资源和专业性，大部分需求都能满足。

　　这里我把常见的需求列了一下：

　　1、要求网站全部采用简单、正规的服务器，

　　2、笔记本电脑建站的同时还需要相应的设备ip地址，通过ssl证书配置来解决这个问题。

　　3、基于以上的要求，我现在的系统采用了第3点里面的“可部署多网站服务器”以及“操作简单的软件”，同时也根据功能扩展了网站系统采用django框架。一个非常典型的场景就是，我使用小q文本采集，但是我的网站内容主要是“国家级，省市级、国际级机构官网”，在其他类型的网站采集不是很有需求，那么我使用小q文本的时候，我不需要配置资源，甚至都不需要重新更换服务器，我只需要添加模板实现采集即可。

　　这个时候，可以直接用小q文本的框架，而不需要去做小q网站后端框架。当我需要多个网站同时发送请求的时候，可以使用django的wsgitutorial。