解决方案:文章采集系统(我的世界我采集网）

　　解决方案:文章采集系统(我的世界我采集网）

　　文章采集系统由（我的世界采集网络）历时4年开发，在线信息采集系统由用户定义关键词的话、从互联网上检索相关数据，并对数据进行合理的拦截、分类、去重和过滤，并以文件或数据库的形式保存。

　　目录

　　文章采集系统程序

　　相关信息解读

　　扩张

　　文章采集系统程序

　　相关信息解读

　　扩张

　　编辑这一段

　　文章采集系统程序

　　系统的开发工具采用.Net的C#开发系统，数据库采用SQL Server 2000。

　　一、软件系统的总体设计要求

　　1、当网站的搜索深度为5层，网站的搜索广度为50个网页时，数据召回率达到98%。

　　2、当网站搜索深度为5层，网站搜索广度为50个网页时，数据准确率大于97%。

　　3、数据存储容量：存储容量≥100G。

　　4、单次网站搜索时，网站搜索深度：最大5级网页；网站 搜索广度：最大搜索 50 个网页。如果超过 60 秒没有结果，将自动放弃搜索。

　　5.并发搜索强度：10个线程可以同时并发搜索。

　　6.5亿汉字信息平均查询时间不到3秒。

　　2. 应用系统设计要求

　　1、要求系统能够进行多线程采集信息；

　　2. 可以自动分类索引记录；

　　3、自动过滤重复记录，自动索引记录；

　　三、应用系统功能详解

　　实时在线采集（内容抓取模块） 快速：网页抓取采用多线程并发搜索技术，可设置最大并发线程数。灵活：可同时跟踪捕获多个网站，提供灵活的网站、栏目或频道采集策略，利用逻辑关系定位采集内容。准确：不多抓少，可自定义抓取文件格式，可抓取图片和表格信息，抓取过程成熟可靠，容错性强，初始设置后可长期稳定运行完全的。高效的自动分类支持基于机器的分类——可以使用预定义的关键词和规则方法来确定类别；支持自动分类——通过机器自动学习或预学习自动分类，准确率达到80%以上。（这个比较麻烦，可以考虑不做）支持多种分类标准——比如按地区（华北、华南等）、内容（政治、科技、军事、教育等）、来源（新华网、人民网、新浪网）等等。自动网页分析和内容过滤——可以过滤掉广告、导航信息、版权等无用信息，可以剔除反动和*敏*感*词*内容。内容排名——对于不同的网站相同或相似的内容，可以自动识别并标记为相同。识别方法可以由用户自定义规则确定，也可以由内容相似度自动确定。格式转换 - 自动将 HTML 格式转换为文本文件。自动索引——自动从网页中提取标题、版本、日期、作者、栏目、分类等信息。系统管理集成单一界面——系统提供基于Web的用户界面和管理员界面，满足系统管理员和用户的双重需求。浏览器可用于远程管理分类目录、用户权限以及调整和强化分类结果。完善的目录维护——提供完善的目录添加、移动、修改、删除等管理和维护权限管理，并可设置管理目录和单个文件使用权限，加强安全管理。实时文件管理——可以浏览各个目录的分类结果，实时进行移动、重命名等调整。

　　编辑这一段

　　相关信息解读

　　配合文章采集系统，可实现整个系统在线自动安装，后台有新版本自动升级；系统文件损坏也能自动修复，站长再也不用担心

　　1、自动构建功能

　　强大的关键词管理系统

　　

　　自动批量获取指定关键词的常用相关词，轻松控制用户的搜索行为

　　自动文章采集系统四类内容

　　文章采集过程中自动去除重复内容，可自由设置各种内容的聚合数

　　三重过滤确保内容质量

　　特别是首创的任意词密度判断功能，为搜索引擎收录提供了强有力的保障

　　自动生成原创话题

　　文章采集率先使用话题作为内容组织形式，是门户网站内容制胜法宝

　　专题内容自动更新

　　主题不仅可以自动创建还可以自动更新，并且可以单独设置各种内容的更新周期

　　原创 标签通用页面

　　整个站点集成了统一通用的分类标签系统，不仅使内容相关，而且原创内容页面

　　2.个性化定制功能

　　原创 标签通用页面

　　整个站点集成了统一通用的分类标签系统，不仅使内容相关，而且原创内容页面

　　兼容多种静态模式

　　既有效保障了搜索引擎收录，又增加了网站的持续访问

　　任何顶部导航栏设置

　　可以随意添加或删除顶部导航栏，让网站具有高度的可定制性

　　任意url连接地址名

　　不仅让你的网站与众不同，还能在一定程度上提高搜索引擎排名

　　支持多种模板集

　　采用模板编译替换技术，即使只改动一个文件，也可以打造个性化的界面

　　*敏*感*词*示数量控制

　　具体可以设置专题页各类内容的显示数量，也可以设置各个列表页的显示数量

　　3. 内置站长工具

　　全程记录蜘蛛访问

　　智能识别99%的搜索引擎蜘蛛访问，全程控制蜘蛛的爬行记录

　　自动创建站点地图

　　自动生成baidu和google地图，并可分类设置，有效提升网站内容收录

　　一键查看排名和收录

　　

　　不仅可以查看Alexa排名，还可以准确掌握网站最近的收录，还可以添加网站外链

　　在 网站 中查看非法的 关键词

　　可以自动批量查询网站是否有国家禁止的违法内容

　　在线自动安装和文件修复

　　setup.php工具不仅可以自动获取授权，自动在线安装系统，还具有系统修复功能

　　后台智能自动升级

　　可自动判断当前需要升级的版本，并自动下载升级，让站长摆脱更新的烦恼

　　4、高效的性能

　　超高效自动分词技术

　　率先采用数字词库和双向分词校验，大大提高了中文分词的效率和准确性

　　高效的动态页面缓存

　　采用分模块页面缓存技术，有效保证系统负载能力和网站动态

　　代码分段调用技术

　　使系统每次调用最少的程序代码，减少分析时间，有效提高系统的执行效率

　　编译模板技术

　　所有不变的模板只需要编译一次，减少解析模板的时间，提高访问速度

　　最小化数据读取设计

　　大大降低数据库资源消耗，支持更多用户快速访问

　　图片缩略图保存

　　图片文件默认生成缩略图保存在本地，大大降低了服务器空间和带宽的压力

　　5、全站互动功能

　　个性组功能

　　话题可以分组，权限控制比论坛更自由

　　外部个人主页

　　在个人页面可以看到发起的话题、订阅的话题和好友等。

　　我的家

　　借助SNS功能，您可以跟踪我的话题动态，以及您朋友在本站的动态

　　站内好友系统

　　可以自由添加好友，还可以看到好友的动态信息

　　事实:微信小程序泛滥的今天，你知道如何测试吗？

　　点击上方头像关注我，每周早上09:00准时推送，每月不定期赠送技术书籍，小窗回复“资源”和“测试包”即可领取测试资源。

　　本文共5178字，阅读时间约13分钟

　　小程序（Mini Program）是一种无需下载安装即可使用的应用。它是嵌入在微信APP中的一种新形式的软件。实现应用“触手可及”的梦想。用户可以通过扫描或搜索打开应用程序。也体现了“用完就走”的理念，用户无需关心是否安装了太多应用。应用程序将无处不在，随时可用，但无需安装或卸载。

　　一

　　小程序介绍

　　小程序版本类型

　　小程序分为3种版本类型：开发版、试用版和正式版。

　　开发版和试用版不需要审核，需要为微信账号配置权限，扫描小程序二维码即可访问。正式版需要通过微信审核流程，也就是说在开发阶段，产品还没有成型，不管你怎么折腾，微信都有办法知道。这不像是在网上找了一个框架或者工具，本地怎么玩都没人知道。使用微信小程序开发者工具前，需要先扫码。开发版和试用版的区别在于开发版小程序的二维码有效期更短。

　　在项目中，我们一般会准备3套环境。开发版接入测试环境，试用版接入预发布环境，正式版接入生产环境。

　　前后端分离的技术架构

　　大多数小程序产品采用前后端分离的技术架构。前端虽然也有逻辑处理，但更多的是为了缓存优化体验，关键流程和状态流还是需要通过调用后端接口来实现。接触过前后端分离的Web或App项目的测试人员，在小程序产品的测试中很容易上手。

　　RESTful API、HTTP/HTTPS协议、Json数据传输、Websocket协议……这些基础知识是测试人员的必修课。还要加强分析问题、定位问题的能力。当发现问题时，需要快速判断是前端问题、后端问题还是第三方组件问题。由于小程序产品有不同类型的版本，所以还要排除是不是最新的开发版本或者是多个环境没有处理好导致字符串数据。快速定位问题需要完整的日志。不仅是后端接口日志，前端页面也应该在捕获到特殊的客户端异常时上报。这通常是开发人员容易受到监督的地方。

　　开发结构和团队情况决定了测试策略。小程序的UI测试更多的是产品和设计师要做的。测试人员需要关注前后端交互、后端接口测试自动化、兼容性测试等工作。比如前端是否在该做的地方没有做缓存，却频繁调用接口，是否影响网络体验。

　　微信通知服务逻辑

　　微信支持服务通知跳转到小程序。不关注小程序的微信用户，连服务通知这个词都不太关注。事实上，服务通知已经被大量的社交电商小程序使用，成为新的营销入口。

　　对于微信服务通知，小程序需要传递一个表单id参数给微信，然后根据服务通知模板向微信用户发送微信服务通知。但是这个表单id并不是小程序自己生成的，而是微信用户在小程序操作时微信生成返回给小程序的。也就是说，如果小程序前端页面在用户操作小程序页面时，没有采集微信提供的表单id返回给小程序后端，则小程序后台无法向用户发送微信服务通知。不同的微信用户在小程序中的操作频率不同，表单id的数量也不同。所以，

　　小程序兼容性问题

　　目前小程序不支持直接分享朋友圈，只能分享微信好友。所以很多小程序都采用了“曲线救国”的方式。通过小程序代码生成图片，用户可以退出小程序，将图片发到朋友圈。

　　由于小程序代码作为图片的一部分，涉及到小程序代码的位置和大小，不能影响原图的美观。生成的小程序代码也需要可识别，这就需要前端工程师让不同的屏幕大小适配。

　　

　　二

　　小程序测试点

　　测试点可以从：功能测试、权限测试、UI测试、兼容性测试、接口测试、网络测试、性能测试等方面考虑。

　　功能测试

　　小程序的功能测试与APP功能测试相同，针对功能业务的测试思路和使用的用例设计方法是相同的。按照设计的各个主要功能模块的划分，然后逐层细化，对每个功能尽可能覆盖全面的一个测试点。包括业务流程、数据流、函数入口有效性校验、交互校验测试。

　　为了提升用户体验，微信小程序会缓存用户的页面和数据，以便下次调用时直接使用。可能出现的问题：

　　权限测试

　　未经授权的微信登录小程序：

　　1）未授权时，使用部分业务功能时，会弹出“先授权，再操作相应功能”的提示；

　　2）向后台提交数据时，会提示补充相关身份信息后再提交。

　　授权微信登录小程序：

　　1）授权微信访问小程序，即您的微信账号可以被小程序管家获取；

　　2) 自动行使微信业务操作权限，如咨询、支付、数据查询等。

　　可以查看的数据和操作的权限应该是同步和一致的。同一个微信号可以在不同手机上登录授权查看数据权限。

　　界面测试

　　小程序的页面测试与APP的界面测试相同，重点关注页面显示元素，如菜单、对话框、窗口等可视化控件的布局和样式，文字是否正确。

　　页面是否美观，页面交互操作是否友好。操作是否设计频繁、操作方便。

　　但是要注意一点，微信小程序的页面级跳转默认不能超过10次，达到10次后无法跳转。一般在设计需求时，页面跳转次数尽量控制在10次以内。有10跳以上的应用场景，针对性开发。

　　兼容性测试

　　手机系统：在IOS上，小程序的逻辑代码运行在JavaScriptCore中，在Android上，这个任务交给X5核心来完成。所以，如果有条件，不仅要覆盖Android和IOS，还要覆盖主流的Android和IOS品牌，比如华为、小米、iPhone11、iPhoneXR等。涵盖最新的测试版和当前流行的主要版本。

　　微信版本：与微信版本的兼容问题主要体现在小程序API库的版本上。由于微信小程序SDK的API版本一直在更新，SDK API可能存在向下兼容问题。例如，在最新版本的小程序SDK上开发的程序，在低版本的SDK上无法正常运行。因此，在测试微信版本兼容性之前，需要确定小程序使用的库版本支持哪些微信版本号。

　　屏幕尺寸：微信小程序定义了一个新的尺寸单位rpx（responsive pixel）。它可以适配不同的屏幕尺寸，但是需要注意一个特殊的尺寸1rpx，因为这个尺寸在iphone7p上经常出问题。所以，只要注意。

　　接口测试

　　

　　目前大多是微服务架构，小程序调用后台接口，所以这里的接口测试和平时的接口测试是一样的，但是我们需要知道微信小程序提供的是什么类型的接口。

　　1）如果有接口文档，则参考接口文档进行接口测试。

　　2）如果没有接口文档，使用Charles或者Fiddler抓包（同app抓包）。

　　网络测试

　　网络测试可参考APP测试，包括网络切换、3G/4G/5G/wifi切换；断网测试，弱网测试，比如弱网场景超时是否合理提醒，是否有丢包重传机制。主要考察小程序在各种网络条件下的运行情况。

　　性能测试

　　小程序调用接口时，会影响服务器端的性能。比如并发量大，服务器是否有影响。小程序本身的性能包括：页面白屏时间、首屏时间、资源（CPU、流量、电量、内存等）占用、页面渲染时间等。

　　三

　　小程序常见问题

　　小程序的结构是怎样的？

　　小程序的架构：包括View视图层和AppService逻辑层。

　　小程序测试和APP测试有什么异同？

　　小程序测试和APP测试在功能测试上的逻辑是一样的，主要是了解项目的需求设计等，检查功能模块的逻辑，业务流程，同一功能不同入口的有效性检查，页面交互检查、输入输出等方面的差异包括以下几个方面：

　　小程序的测试点有哪些？

　　面试的时候可能会问你如何测试一个小程序或者给你一个小程序的功能模块来设计一个测试点。我们可以从以下几个方面进行设计。

　　最后，如果你还有什么补充的地方，欢迎在文末评论区留下你的想法

　　更多系列 文章

　　敬请关注

　　我是CoCo，计算机科学与技术专业，深圳漂厂的一名互联网农民工（女）。我在深圳。5年工作经验，3年技术文档持续输出。ITester软件测试小栈（ID：ITestingA），专注于软件测试技术和宝藏干货分享，每周准时更新原创技术文章，每月不定期赠送技术书籍，祝我们更高层次的相遇无处不在。喜欢就记住星星⭐me，每周获取最新推送，第三方转载请注明出处。

　　想获取更多最新干货内容

　　来星痕之巅跟随我吧