c 抓取网页数据(c抓取网页数据检测请求是否有效，怎么办？(一))

　　c 抓取网页数据(c抓取网页数据检测请求是否有效，怎么办？(一))

　　c抓取网页数据，往往我们会加一些入点/出点，这样能够检测请求是否有效，还能够获取具体请求过程，以便改进网页结构、规划tcp传输路径和解析服务器返回消息等。无论是用js还是c，是否还需要配置记录规则等，主要区别是：1.记录命令要么输入中文，要么命令缩写，前者便于我们识别main.js文件内容来源、命令来源、命令的逻辑来源，并无这些命令的详细解释；后者在request中定义；2.大部分情况下记录规则应用非常广泛，后缀多名/中文命令/缩写皆可，可以用bookmark方式归档使用。

　　如果针对bookmark解决这一问题，需要处理的问题在于分词。即，何时使用哪一个词汇进行导航？一方面应该对单词进行过滤。比如：“[】()”和“%20/%20*/”进行过滤，但是由于这两个字符串会被转换为自动分词算法中的词语，故而有必要对整个单词进行过滤。另一方面，可以使用bookmarklist类进行编程，比如，每一个单词里面的单词，都会被编码到一个列表，列表中的每一个键，都被编码为一个字符，对每一个字符进行转换，比如把“/"进行转换为"/**//",这样做的好处是，bookmarklist是对每一个字符进行分词，并不会造成单词丢失。

　　据我所知js没有直接方法可以生成，但是后面我实现了一个小工具使用bookmarklist就可以在不转码的情况下输入正确的网址（/），结果如下（就是一个生成列表）：//："首页"%20::%20s"page_len"//："客户端1"%20::%20ss"//："提交"%20::%20ss"//："原始页面"%20::%20ss"//："成员"%20::%20ss"//："列表"%20::%20ss"其中：main。js文件是主要，不知道对你有帮助吗？。