利用采集器 采集的平台(利用采集器采集的平台如何通过数据库进行管理?)

优采云 发布时间: 2022-03-01 03:02

  利用采集器 采集的平台(利用采集器采集的平台如何通过数据库进行管理?)

  利用采集器采集的平台,在设计平台时应该要考虑是否会采集一些敏感的内容,还有就是如果采集的内容较多,如何通过数据库进行管理呢?如果平台同时承载了很*敏*感*词*,

  除了访问成本高,技术难度大,

  首先,对单页面支持情况不了解,对有时候app也需要承载采集接口,这个时候多页面就比较好了,就是操作起来太复杂而已!第二,的单页面没做过,腾讯有个做单页面的网站说是他们做出来的,确实有效果!个人感觉,采集的都是活动详情页,

  嗯,我在qq上时有看到一个服务器用了json来存放网页内容,本地是传js文件。我想那应该是在现有客户端可以接受json来读取或者进行修改的,不然按照产品经理的思维设计,应该需要一个专门的客户端来从后台读取前端json来完成抓取才可以的呀。

  应该不需要吧。我做faq的话,只采集文档,图片等非常简单的东西,如果需要抓取整个网站的内容,我估计肯定要写,但是直接用json就可以啊,而且简单支持多浏览器多设备,不需要额外编写成本高又大的js文件和前端js,当然读取整个网站的内容一定要用跨域的,只要json能解析成md5加密,基本上就没什么问题了,服务器方保存的话,存那么大一段数据没什么意义。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线