外媒:vivi百度知道小偷 v7.2

　　外媒:vivi百度知道小偷 v7.2

　　Vivi百度知道小偷程序功能介绍：

　　1、利用php小偷技术自动获取百度知乎的最新问答内容。

　　2、程序采用伪静态，全站为伪静态。收录最优惠。（动态浏览和静态自由切换！）

　　3.支持二级目录、二级域名。程序自带后台、页面缓存、全站伪原创

　　4.自带伪原创词库，可在后台自行修改，5456字。

　　5.四种采集方法，兼容98%空间服务器，独立模板风格。搜索引擎蜘蛛访问记录

　　

　　6.内容页面描述，自动获取答案内容的前240个字符！对 SEO 有好处！

　　7、标签链接自动获取。内容过滤功能（授权功能）。收录自定义词的内容不会 采集

　　8. 关键词内部链接（授权功能），文章内容收录指定关键词链接会自动添加！后台定制关键词！

　　9.增加问题评论功能。（授权功能）

　　10.后台在线升级功能，更新不用麻烦！（授权功能）

　　第一次使用程序时，请到后台进行相关设置，否则会出现错位、空白等现象。

　　

　　默认后台：程序地址/admin/index.php 默认账号：admin 默认密码：admin

　　发行说明：

　　2012.12.12 更新

　　1.修复搜索页面

　　2.后台增加更新提醒（授权功能）

　　3.后台添加一些错误提示

　　脑洞大开:如何从新闻中识别骗子们的小套路

　　*原创作者：来自西角的MR，本文属于FreeBuf原创打赏计划，未经允许禁止转载

　　电信诈骗猖獗，已成为国家重点打击对象，但亲友被骗的悲剧依然屡屡发生。笔者认为，或许我们可以从新闻中提取电信诈骗的特征信息，提醒家里的长辈和亲人，做好防范。

　　笔者以某新闻网站为平台，对电信诈骗相关新闻进行提取分析，试图从获取的信息中分析诈骗者的小“套路”。（PS：我一次写了文章，希望能给大家提供一个从新闻中构建模型的思路，如有不足请指正。）

　　1. 开始 采集

　　当然，你需要一个爬虫来获取信息。这是我使用的库：

　　笔者先浏览了一个大的网站，在搜索栏搜索了电信诈骗的新闻报道，但是在翻页的过程中，它的url好像没有变化，firefox也没有看到。发布并获取。

　　但是看了他页码的链接，还是有点小激动，因为它的url收录totalPage=63&pageNum=2这两个内容，所以自己写url。

　　Beautifulsoup 是一个强大的库，这里我从属性 a 获取源代码中的链接。至于request库，笔者发现使用urlopen打开网站的源码和requests+header的内容不同，requests返回的网站源码比较完整。

　　接下来的方法和上面的方法类似，然后采集每个网站中的所有链接，写成一个列表，然后我们就来分析我们需要的网站url的特点，使用正则表达式获取链接，粘贴以下代码：

　　得到链接后，我们就可以浏览新闻了，我们也应该得到新闻的信息。

　　

　　新闻有成千上万种，有图片的，没有图片的，有视频的，没有视频的。文中有图片链接，段落属性很多。不管它是什么，抓住它。

　　观察网站后，作者将其分为四类，有的是夹在两张图片之间的文字，有的是纯文本等。根据这些内容，作者用Beautifulsoup把所有的内容都爬下来了（Beautifulsoup真厉害，逼了一波安利），爬出来的文字当然看不懂，还好我们只需要中文内容和数字。

　　然后是正则表达式，因为是gbk编码，所以pattern=[0-9\x80-\xff]+，如果是utf-8，就是pattern=[0-9\u4e00-\u9fa5]+，粘贴下面的代码：（PS：大家在使用的时候一定要注意编码类型，这个很烦。）

　　由于一些需要，我还得到了文本的标题、作者、哈希等。可以根据自己的需要爬取对应的内容。

　　2.下去执行关键词提取

　　为什么 python 是这么好的脚本语言？由于集成了很多库，这里给大家安利jieba的中文分词词库，点击阅读原文获取它的地址。

　　pip install jieba pip install jieba. analyze 这里小作者使用了 jieba.analysis.extract_tags(a, topK=10) 函数，a是文本内容的str变量，topK 10个高频词全部放入关键字列表，贴上源码：

　　更不用说python好用了

　　3. 关键词 处理

　　我们得到了每个文章的top10的关键词，作者目前正在阅读《python自然语言处理》这本书。

　　

　　此处解释了文本功能。小作者想看看，真实的造假情况和真实的情况总会有出入。比如某些词的出现频率和位置会与普通文本不同，所以小作者尝试去处理关键词出现的频率。

　　我们之前得到的关键字是一个收录很多重复词的列表，所以我们需要先将列表转换为设置格式

　　例如：

　　<p>keyword1 = set(keyword)

　　result = {}

　　for key in keyword1:

　　count = keyword.count(key)

　　result[key] = count</p>

　　如果您使用的是python2.7，您可以

　　从集合导入计数器，然后：

　　小作者只写到这里。也可以根据需要从文本中获取关键词的位置、类型、逻辑关系，构建欺诈类文本特征库。当然，这也是关于 More to come 的全部内容。

　　小作者也在朝着这个方向努力。希望小作者能给大家提供一个处理电信诈骗*敏*感*词*的方法，可以和大家交流学习。（PS：一定要注意编码！！！）

　　最后发布我自己的结果：

　　年未完，小作者也在这里祝大家新年快乐，多看Freebuf，增长见识。

　　*原创作者：来自西角的MR，本文属于FreeBuf原创打赏计划，未经允许禁止转载