利用采集器 采集的平台(利用采集器采集的平台如何通过数据库进行管理?)
优采云 发布时间: 2022-03-01 03:02利用采集器 采集的平台(利用采集器采集的平台如何通过数据库进行管理?)
利用采集器采集的平台,在设计平台时应该要考虑是否会采集一些敏感的内容,还有就是如果采集的内容较多,如何通过数据库进行管理呢?如果平台同时承载了很*敏*感*词*,
除了访问成本高,技术难度大,
首先,对单页面支持情况不了解,对有时候app也需要承载采集接口,这个时候多页面就比较好了,就是操作起来太复杂而已!第二,的单页面没做过,腾讯有个做单页面的网站说是他们做出来的,确实有效果!个人感觉,采集的都是活动详情页,
嗯,我在qq上时有看到一个服务器用了json来存放网页内容,本地是传js文件。我想那应该是在现有客户端可以接受json来读取或者进行修改的,不然按照产品经理的思维设计,应该需要一个专门的客户端来从后台读取前端json来完成抓取才可以的呀。
应该不需要吧。我做faq的话,只采集文档,图片等非常简单的东西,如果需要抓取整个网站的内容,我估计肯定要写,但是直接用json就可以啊,而且简单支持多浏览器多设备,不需要额外编写成本高又大的js文件和前端js,当然读取整个网站的内容一定要用跨域的,只要json能解析成md5加密,基本上就没什么问题了,服务器方保存的话,存那么大一段数据没什么意义。