小密圈的采集软件操作指南——文章采集
　　
　　文章采集软件appletrader，这个是appstore可以下载的软件，长按图片选择如图四个箭头键然后选择你要的宝贝，要选择亚马逊官方店或者跟卖别人的店铺。重复上述操作即可，成功选中你要找的宝贝，点击右上角addviaamazon!注意亚马逊只有两个步骤，1是注册账号2是创建跟卖库存，通过创建跟卖库存步骤不用再输入店铺信息，再重复以上两步即可获得该产品的对应产品的对应货币标价信息。
　　
　　也就是说你不用再一个个点进去点货币选择汇率，只需在填写订单信息时输入对应的货币即可。这款软件非常适合做跨境电商的大卖家使用。采集软件这个针对小卖家是很难操作的，小卖家可以通过微信公众号搜索小密圈里的“采集软件操作指南”，上面有最新的各种采集软件更新信息和操作流程。
　　采集软件我用过很多，什么链接采集啊，网站采集啊，翻译采集啊。最大的特点就是方便，如果商品销量多，自己下载上传修改完就省了很多时间。很适合手机，网站浏览频率低又想提高采集效率的人，但是对于我们大部分人，其实什么软件都不太友好，不用什么应用商店下app下载客户端，随手百度一搜app客户端就一大堆，没什么用，找自己卖家平台下的抓虾，优采云，酷狗，安卓客户端，苹果客户端，一键采集即可。 查看全部

　　文章采集软件appstore搜索「言后」或者搜索如下(组图)
　　文章采集软件appstore搜索「言后」或者搜索如下关键词言后appstore搜索如下关键词言后appstore搜索如下关键词言后appstore搜索如下关键词言后appstore搜索如下此外，目前开发言后mac系统，及相关应用资料，请登录后台：如何在appstore上安装「言后」app？在appstore上搜索「言后」即可找到下载地址！也可以直接扫描下方二维码进行下载：言后-appstore搜索言后！你可以把此文发给朋友。让他们也体验一下。
　　-b11-ame19lxwhx&luid=556cf407da49d58e6579f1306168ee63a355(二维码自动识别)
　　
　　要解答这个问题，首先，咱们就要明白一个道理：语音app的出现，本质上来讲，是为了通过app让个人声音活起来，实现表达需求。而有app了，于是接下来的问题就在于：如何让个人声音变得有趣？如何提升使用频率？提高输出效率？简单粗暴的解决方法，就是图片搬运，不断在各个平台搜集个人声音素材，最后不断的加工、改造、整合，为自己的个人声音装上一个社交属性。
　　经过这么长时间的个人声音提炼，在个人声音输出方面，言后旗下app言后app确实做出了不少成绩，在社交属性上，言后在微信、小红书、手机appstore里面都设置了语音及文字专区，设置频道内容不同颜色的标签，让用户自己选择专区内容，其实这个挺好，但是关键在于设置了专区之后，我们还可以选择让其他用户收听语音记录或者是文字记录素材，这个功能，真的很有趣。
　　
　　再到记录内容方面，言后在微信记录大文本、短视频、小视频当中，都有素材，另外提供了文字记录等很多个可选的素材，还可以通过voicetimer将聊天记录整理成文本，app可以导出手机里面的聊天记录。还能同步到朋友圈，这样就避免了忘记什么人发给自己，什么时候聊天记录出现了一些问题，还可以提醒自己发朋友圈注意事项，用户体验挺好的。
　　除此之外，在讯飞输入法当中添加语音输入，这个记录刚才也有说，其他还有翻译录音转文字、翻译音频文件之类的功能，总体来讲，这款app的专业度和用户体验还是不错的。因为专业度还不错，所以后面，言后还推出了「语音转文字助手」，在应用里面设置好发送对象和收件人，就可以让机器翻译、口语录音、笔译等功能了，这个功能相对来讲更方便一些。
　　最后，言后设置了「读声打赏」功能，凡是在言后app上发送语音，对应的语音记录都可以进行打赏，所以，当我们有需要投稿或者发布公众号时，直接用语音记录输出，便可实现打赏，读声提高了质量，打赏提高了效率，都会让社交工具变得更为有趣，事实上，语音记录。 查看全部

　　7款完全免费的良心软件！
　　各位朋友晚上好，端午假期马上结束，明天又要上班了，开心不？不开心没关系，今天发哥给大家安排了7个实用电脑软件，能够帮你迅速提高办公学习效率、白嫖一些付费资源，不仅助你把工作时间省下来摸鱼，而且还能在摸鱼的时候白嫖，这样你就能开心了……
　　所有 App 下载方法文章末尾提供
　　veryCapture
　　这是一款超级强大的截屏工具，它集延迟截图、视频录制、GIF录制、OCR翻译等所有截屏相关功能于一体。下载安装后，软件会在托盘内运行。软件的主界面有截图和录屏两部分。
　　
　　右键托盘图标可以设置各种截图、录制操作的快捷键。
　　
　　任意截图操作完后，veryCapture会直接弹出图片的编辑功能，你可以给截图做任意的标注、箭头、序号、文字、马赛克、贴图以及图片转文字。
　　
　　GIF录制和屏幕录制功能也非常好用，录制出的动图格式为GIF，视频格式为MP4，都是主流的文件格式。而且录制完成后会有一个清单，方便使用。
　　
　　TZ制作
　　这是一款专业印章制作软件，解压完打开即用。软件的左侧是所有编辑功能，操作简单，一目了然。
　　
　　操作完成后导出为图像，格式选择png，就可以使用到各个地方了。
　　ZiDOo听中国
　　听书APP发哥给大家安排过很多，比如我的听书、海豚听书等等，但电脑端听书工具从来没推荐过，相信肯定也有不少朋友有这类的需求吧？下面分享的就是一款PC端听书神器ZiDOo听中国。
　　软件内小说、相声和评书全部可以在线收听，而且体积仅400KB，比同类手机APP还小。软件的用法非常简单，资源主要分为故事、评书和相声三个分类。
　　需要听什么，点击对应选项，然后会弹出搜索界面，直接搜索即可。
　　
　　
　　
　　如果下载的话，直接点击下载即可，这个没什么说的。如果想要在线听书，则需要点击采集，软件会自动采集资源一遍。这里只是采集，不是下载，所以不会占用电脑空间。
　　Anvil Folder Locker
　　这是一款windows文件加密工具，它操作简单，打开即用
　　，完全免费，而且没有任何广告。首次安装需要创建主密码才可以正常使用。软件界面非常简洁，点击左上角的文件夹图标或者把文件拖入界面，即可进行加密操作。
　　
　　软件共有6种保护方式，分别是不保护、隐藏、只读、锁定、隐藏并锁定、密码。随便加密一个文件夹，锁定之后就无法打开了。
　　
　　隐藏并锁定，是既可以隐藏文件，又可以锁定文件，就算找到文件也打不开。只读功能可以防止别人修改文件
　　
　　多功能工具箱
　　这虽然是一款电脑工具箱，但它的强力程度绝对超乎你的想象，不仅集合67款最火爆且实用的Windows工具，如软硬件检测工具、优化辅助工具等，还内置了一大堆解锁版的实用软件。软件顶部有4个标签，标签①④内主要是各种的系统优化增强工具，点击任意一个选项，就会弹出对应的软件。
　　
　　
　　比如第一个CPU检测，这里用的就是著名的系统信息软件CPU-Z，这款软件在cpu检测中使用广泛度最高。
　　
　　除了CUP-Z，下面还有更加专业全面的AIDA64，它支持硬件性能测试，可以得出内存读写速度、CPU超频速度、硬盘读写速度等，而且支持生成系统状态报告，即把所有的信息汇总为文档。是一款评测电脑性能十分好用的硬件检测工具。
　　
　　除了各种硬件检测工具，工具箱中还聚合了很多windows辅助工具。比如最常用的KMS激活软件、分区助手、禁用win10自动更新工具、各种分析诊断工具箱等等。
　　
　　
　　而且大家可以看到，这里内置的很多分析诊断工具，都是联想维修专用的软件工具，绝对可以放心使用。
　　
　　
　　标签②③内，主要是聚合了很多实用软件，比如动图录制工具、光盘刻录工具、录屏软件、OCR文字识别、PDF处理工具等等。
　　
　　
　　更牛的是，这些软件不仅都是免安装的绿化版本，而且大多数都是之前咱们推荐过的软件，比如录屏工具就是班迪，OCR文字识别就是天若，远程助手就是TeamViewer。几乎都是各专业内数一数二的软件。
　　
　　
　　总之这款工具箱我反正决定常驻电脑内了，它把网上最好用的windows工具和软件全部整合在一起，可以说是以一敌百了。
　　Happy-crawler
　　这是一款覆盖6大平台的资源下载工具，包括B站、Acfun、抖音、快手、西瓜和漫画猫，点击右下角菜单按钮可以切换不同的平台。软件用法非常简单，比如要下载某个视频，只需复制链接粘贴进去即可（B站视频只需复制BV号）。如果你的B站有大会员，软件还支持下载4K或大会员画质。
　　
　　如果要下载番剧、电影，或者某个up的全部视频，可以切换对应类型后复制番剧号或up主uid进行下载。
　　
　　抖音、快手、西瓜视频平台，都是无水印下载，并且也支持用户页下所有视频的批量下载，只需复制分享链接或对应用户的UID解析即可。
　　JP影视
　　今天的最后一款软件，是一款电脑端的老牌影视工具，软件适用于电脑和手机双端，，下面我们以电脑端为例，简单介绍一下。拿到安装包后需要进行安装，软件的主界面有影视源，这个并非是采集源，所以影视播放的体验很好，而且片库比较丰富。在这里可以进行条件筛选，基本上你需要的资源这里都有。
　　随便点击一个资源，可以选择视频的播放源，基本都是高清的，影片的播放流畅度完全取决于网速，因为它会自动进行缓存，保存目录默认为D:\YingshiDownload。这样一来资源的播放虽然流畅，但也容易占用内存，大家记得清理。
　　
　　除此之外，你也可以把这个软件当做一个播放器，而且支持播放超多格式和网络连接，比如m3u8等等。
　　
　　软件的手机端和电脑端相比没有太大区别，主要是多了专题栏目，而且手机端会有一些广告，如果非得用手机的话，可以使用咱们之前推荐的影视工具。体验要比JP好一些。 查看全部

　　2013年公版生肉日剧日综网盘：-spiritbase中文语料库
　　文章采集软件applesearchrecap中输入词语关键词即可收集以词语划分的各大英文维基语料库资源，也包括法语、德语、西班牙语、日语、韩语等126个语言的维基语料库资源。有点大，但很实用。
　　英语语料库-语料库-spiritbase中文语料库,英语语料库,一言半语的黄金年代百度网盘：-b1/apps/spiritbase/daiyang.html2013年公版生肉日剧日综字幕网盘下载：/videos/subtil.zip
　　/
　　请自行谷歌。discuz!中文站设置不同语言后可以自动追踪该国内所有的中文网站链接。
　　补充一个，
　　/language
　　和一个有趣的人聊天
　　1.这是对讲机创始人唐杉老师（流传于大洋彼岸的一位韩国留学生）的主页2.这是我的主页
　　bing
　　google'phone'
　　需要专门的切换翻译的插件就是个傻逼，
　　试试这个吧！
　　bingapis“手机”
　　推荐一个英语学习神器：词条分类整理-网易云词条分享
　　googledocs
　　mobilespeednote2虽然都是pc软件，但是这个不但可以搜索，而且还可以逐条翻译，
　　题主看来是一位很有学问的人。我不请自来。我试过百度文库，果壳网，或者其他的，但是都达不到要求，发布的文档好像只能算活字的吧，原本写的东西是大老远寄过来，现在文字解决了，排版让人无所适从。 查看全部

　　文章采集软件app 关于APP录音的谣言与真相
　　
　　这是半佛仙人的第148篇原创
　　1
　　最近各种大促特别多，各家电商都在摩拳擦掌准备好好在年底收获一把。
　　各种APP的促销推送和商品推荐也是昼夜不停，要让大家把手留下，干干净净过个好年。
　　这么看来，最大的受害者就是老家等着要压岁钱的熊孩子们了。
　　他们不仅要不到钱，可能还要被双手空空的长辈们反向撸羊毛，小小的年纪就要承受命运的重拳。
　　说到APP推送以及商品推荐，很多人都有一个恐慌性的顾虑。
　　那就是怀疑自己的APP在对自己录音。
　　经常出现一个状况是，自己和人谈论一个事物，然后不久后，自己在购物APP或者搜索引擎或者浏览器或者APP的广告业中就看到了相关的广告，让人非常恐慌，觉得有一双神秘的眼睛在看着自己，非常害怕。
　　怎么说呢，我觉得大家的想象力过于丰富了，这种猜测是合理的，只不过既对也不对。
　　对的是，我们的生活确实是被各种精准推送给占据了，各大APP也确实有一定程度上的【猜测】行为，目的也的确是让你掏钱。
　　错的是，没人给你录音。
　　实际上科技和大数据发展到现在这个程度，录音属于非常没有效率的玩法，音速不够快。
　　我们高科技镰刀，都是光速的。
　　2
　　为什么说没有公司用录音来做信息采集和广告推送呢？
　　不是说公司良心发现，商业公司有良心其实本身就是一件很诡异的事情。
　　而是任何事情都要讲一个目的，广告推送的目的是要追求转化率，要让自己的利益最大化，成本最低，卖家也是要看性价比的。
　　从方案成本收益的角度，录音属于效率低，利润低，误差率高，成本高的沙雕方案，所以没人做。
　　那些大胆尝试录音方案的朋克们，大部分都是投入产出失衡后破产了，所以你很少见到市面上有完整商业录音解析方案，当然安防另算，安防对于投入产出的理解和商业不同。
　　想想看，如果你要做录音方案，首先你绕不过的就是APP资源占用，持续的录音，对于一个APP而言是很大的负载，导致的结果就是APP运转效率低下，耗电发热大幅增加，跑起来和吃了翔一样别扭。
　　而且吧，录下来的音频你要怎么保留？本地保留？这个音频文件会大到超乎想象，一个APP到录音录一天，最后录音文件几个G，而且有朋克的用户，直接看你源文件夹，一旦发现录音，你可以等待铁拳打击了。
　　在线传输？用户的流量是要钱的，而且用户定期看手机流量记录的时候，发现就你一个APP耗流量特别大，还不是视频类或者游戏类APP，分分钟就暴露了。
　　本地直接解析？只留存文字？这倒是可行，但是最大的问题在于，你要小心竞争对手反编译你的安装包，一旦被人看到相关代码和模型，底裤都没有了。
　　实际上很少有互联网公司把复杂模型布置在本地，因为太容易被对手直接破译；
　　而如果用云模型的方式做录音解析，流量消耗和网络稳定性也会让准确度大大降低。
　　从技术上，录音是不太合理的方案，不是说不能做，而是做起来成本高，破事儿多。
　　与道德无关。
　　3
　　录音如果仅仅是破事儿多就算了，一个东西如果好用，破事儿多其实并不是很大的问题。
　　痛并快乐也是一种生活。
　　但录音方案最致命的问题在于，消耗了大量资源后，准确率过于辣鸡。
　　俗称吃的是肉，产的是屎。
　　想想看，如果你手上的APP使用了录音监控方案，那么面临的第一个问题是，需要分辨到底是谁在讲话？是不是手机的主人在讲话？声源就是一个大问题。
　　试想我走过你的身边，大喊一声我爱杰士邦，然后你打开手机，看到了杰士邦的广告，你觉得是不是非常沙雕？你会不会是得觉得我在性骚扰你？
　　当解决了录谁的音的问题（声纹类方案）后，你会遇到第二个问题，需要识别语言准确度问题。
　　我们所处的日常环境是非常嘈杂的，会有大量的杂音，而且很多人的普通话并不标准，机器没法有效识别，实际上绝大多数方言，机器都无能为力，识别出来各种沙雕。
　　尤其是温州话，那是恶魔的语言，战争年代可以当密码用的神奇语言。
　　假如解决了语言准确度问题，那么还有第三个问题，那就是音频实时语义识别问题。
　　这个问题在当前属于几乎无解的难题，所有人工智能遇到音频实时语义识别都容易变成智障。
　　注意，我说的语义识别不是所谓的把你讲的话翻译成文字，那个东西难度不大，我说的是，真正理解你语言中的含义。
　　例如死鬼这个词，男人跟女人说，男人跟男人说，女人跟男人说，男人跟死对头说，都是完全不同的含义，但都是死鬼。
　　人类理解语意是要结合具体场景，甚至具体说话的人（同一个词，不同人讲出来都不是一个意思），这些都是现阶段机器做不到的。
　　别说机器做不到，很多人都做不到，例如：弹性工作制=别想着准点下班，这谁遭得住。
　　尤其是APP录音，需要快速记录下人们在实际生活中的快速出现的场景未知的对话对象未知的普通话不标准的神奇对话，还要记录分析下来，还要精准获得含义。
　　要是真有哪个公司有这个本事，还做个屁推送，直接就诺贝尔奖了。
　　以上三问，我喜欢称之为录音方案灵魂三问，在三问之上，还有终极一问。
　　记得我前面说做录音方案的大部分都破产了么，那还有小部分，那小部分去哪里了？
　　小部分因为收集隐私被抓进去了，彻底财务自由了，毕竟监狱不用花钱。
　　闭上眼，用心去感受正义的力量，奥利给。
　　4
　　当你读到这里的时候，你肯定既恍然大悟，又迷惑。
　　恍然大悟的是觉得确实不会被录音，迷惑的是那为什么出现了我说什么，不就之后APP就出现了相关推送？
　　我给你这么说吧，没有公司做录音，不代表没有公司利用声音来收集资料。
　　只不过这个收集资料的方式不是你以为的大段录音监控，而是通过特定关键词唤醒。
　　举个例子，假如你用苹果，你会【Hi，Siri】来唤醒siri功能。
　　假如你用小米，你会【小爱同学】来唤醒收集。
　　其实很多APP的推送，是用了类似的方案的，就是说，根本不记录你说了什么，也不去分析你说了什么，只要你说出了特定词，那么就会被唤醒，只不过这个唤醒不是亮屏幕之类的，而是推送逻辑被唤醒给你推送相关物品。
　　再举个栗子，假如是外卖类APP，这种唤醒词库可能包含【奶茶】，【披萨】，【烤串】，【麻辣烫】，【哈密瓜】等等等等等等词，只要你说出了类似的词汇，那么可能就会唤醒推送。
　　例如OTA类APP，这种唤醒词库可能包含【旅游】，【泰国】，【签证】，【酒店】，【度假】等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　再例如购物类APP，唤醒词库可能包含【口红】，【靴子】，【裙子】，【水果】，【笔记本】等等等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　每个APP的词库，可能都有数千乃至数十万的词，基本覆盖了你可能性的消费场景，磨刀霍霍。
　　很多很神奇的功能，拆穿了也就那样，就和魔术一样。
　　一个唤醒脚本+词库的事情，给搞的那么神秘。
　　挺魔幻的。
　　5
　　虽然词库唤醒逻辑是比较切合实际的方案，但是在实际的信息收集中，有更多更主流和有效的信息让商家们知道你是谁，要怎么卖东西给你。
　　这些你忽略的东西，才是真的关键，我随便提2个简单的。
　　第一个是输入法。
　　谁知道你的一切？当然是输入法了。
　　别总是怀疑什么APP监控你的聊天记录，你首先要怀疑的是，你的输入法有没有卖你。
　　只要你打字，你一定躲不过的就是输入法，你输入了什么内容，在什么地方输入（搜索引擎？社交软件？地图？短信？卖家讨价还价？），这对于输入法都是透明的。
　　而且你经常输入哪些词，代表了什么意思，并不难获得或者分析，上面说的语义分析难是真对纯音频的，纯文本的语意分析可是相对成熟的技术。
　　另外所有输入法都是越用越好用，越用越懂你，那么，到底是怎么懂你的？
　　可以思考下。
　　第二个是推送SDK。
　　什么叫SDK？你可以理解为是软件包，嵌入APP中执行特定功能的特定模块。
　　最流行的SDK是推送类SDK，就是你手机收到的各类APP推送消息，是有专门的公司做成SDK嵌入到各大APP里，然后专门负责推送，比自己开发要好用很多，而且专业SDK往往对于各类手机和应用的适配做的很好，所以一般APP都是外采推送SDK的。
　　你手机上30个APP，可能都是同一家公司提供的推送SDK，那么对这家公司而言，你的手机基本是透明的，而且很显然会知道一台手机到底装了哪些APP，用户到底常用什么APP，甚至用户对于手机的应用轨迹，应用行为。
　　这些行为就可以被做成标签，然后打包交易，这个市场目前很成熟。
　　国内推送SDK的巨头，不超过5家（最大的就3家），对外出售标签数据都挺积极的。
　　你看，当你知道输入法和SDK的时候，你对于世界的认知会发生变化。
　　当你收到广告的时候，你甚至可以去分析到底是哪个卖了你。
　　是搜索引擎还是你在搜索引擎时候用的输入法，还是监控你手机APP活跃度的SDK，还是你的一些语言出发了词库？
　　很多人其实被卖的时候都不知道自己是怎么被卖的。
　　猜谁卖你这个事情其实很有意思，只稍微有点黑色幽默。
　　6
　　本文只是简单科普一下录音的谣言以及最基础的信息收集渠道，很多更隐蔽甚至更有想象力通过逻辑勾稽来做用户画像的方法还没有说，主要是真的说起来可以写本书了，书名叫《作者已被各大公司吊起来打》。
　　数据收集，画像制作以及广告推送的技术以及产品逻辑，这些东西其实也不是什么秘密，甚至有专门探讨广告推送逻辑原理乃至策略的技术书籍。
　　这是一个严肃的科学，高科技韭菜学。
　　我认可技术无罪，但是我同时也认为技术需要约束，或者说技术背后的人，需要被约束。
　　在这个人人都近乎透明的年代，我们其实需要对所谓大数据加以警惕，也需要法律约束。
　　因为数据可以让生活变得更方便的同时，失控后也会造成灾难。
　　当我知道你的一切数据的时候，某种程度上，我比你还了解你，我就是你。
　　所以需要约束人的行为，所以需要增加作恶的成本。
　　毕竟人，是复杂的；人性，是自私的。
　　我不希望有一天，我们成为大数据下的棋子。
　　被设计好的世界，恐怕也不再有趣。
　　----------------------- 查看全部

　　文章采集软件app 关于APP录音的谣言与真相
　　
　　这是半佛仙人的第148篇原创
　　1
　　最近各种大促特别多，各家电商都在摩拳擦掌准备好好在年底收获一把。
　　各种APP的促销推送和商品推荐也是昼夜不停，要让大家把手留下，干干净净过个好年。
　　这么看来，最大的受害者就是老家等着要压岁钱的熊孩子们了。
　　他们不仅要不到钱，可能还要被双手空空的长辈们反向撸羊毛，小小的年纪就要承受命运的重拳。
　　说到APP推送以及商品推荐，很多人都有一个恐慌性的顾虑。
　　那就是怀疑自己的APP在对自己录音。
　　经常出现一个状况是，自己和人谈论一个事物，然后不久后，自己在购物APP或者搜索引擎或者浏览器或者APP的广告业中就看到了相关的广告，让人非常恐慌，觉得有一双神秘的眼睛在看着自己，非常害怕。
　　怎么说呢，我觉得大家的想象力过于丰富了，这种猜测是合理的，只不过既对也不对。
　　对的是，我们的生活确实是被各种精准推送给占据了，各大APP也确实有一定程度上的【猜测】行为，目的也的确是让你掏钱。
　　错的是，没人给你录音。
　　实际上科技和大数据发展到现在这个程度，录音属于非常没有效率的玩法，音速不够快。
　　我们高科技镰刀，都是光速的。
　　2
　　为什么说没有公司用录音来做信息采集和广告推送呢？
　　不是说公司良心发现，商业公司有良心其实本身就是一件很诡异的事情。
　　而是任何事情都要讲一个目的，广告推送的目的是要追求转化率，要让自己的利益最大化，成本最低，卖家也是要看性价比的。
　　从方案成本收益的角度，录音属于效率低，利润低，误差率高，成本高的沙雕方案，所以没人做。
　　那些大胆尝试录音方案的朋克们，大部分都是投入产出失衡后破产了，所以你很少见到市面上有完整商业录音解析方案，当然安防另算，安防对于投入产出的理解和商业不同。
　　想想看，如果你要做录音方案，首先你绕不过的就是APP资源占用，持续的录音，对于一个APP而言是很大的负载，导致的结果就是APP运转效率低下，耗电发热大幅增加，跑起来和吃了翔一样别扭。
　　而且吧，录下来的音频你要怎么保留？本地保留？这个音频文件会大到超乎想象，一个APP到录音录一天，最后录音文件几个G，而且有朋克的用户，直接看你源文件夹，一旦发现录音，你可以等待铁拳打击了。
　　在线传输？用户的流量是要钱的，而且用户定期看手机流量记录的时候，发现就你一个APP耗流量特别大，还不是视频类或者游戏类APP，分分钟就暴露了。
　　本地直接解析？只留存文字？这倒是可行，但是最大的问题在于，你要小心竞争对手反编译你的安装包，一旦被人看到相关代码和模型，底裤都没有了。
　　实际上很少有互联网公司把复杂模型布置在本地，因为太容易被对手直接破译；
　　而如果用云模型的方式做录音解析，流量消耗和网络稳定性也会让准确度大大降低。
　　从技术上，录音是不太合理的方案，不是说不能做，而是做起来成本高，破事儿多。
　　与道德无关。
　　3
　　录音如果仅仅是破事儿多就算了，一个东西如果好用，破事儿多其实并不是很大的问题。
　　痛并快乐也是一种生活。
　　但录音方案最致命的问题在于，消耗了大量资源后，准确率过于辣鸡。
　　俗称吃的是肉，产的是屎。
　　想想看，如果你手上的APP使用了录音监控方案，那么面临的第一个问题是，需要分辨到底是谁在讲话？是不是手机的主人在讲话？声源就是一个大问题。
　　试想我走过你的身边，大喊一声我爱杰士邦，然后你打开手机，看到了杰士邦的广告，你觉得是不是非常沙雕？你会不会是得觉得我在性骚扰你？
　　当解决了录谁的音的问题（声纹类方案）后，你会遇到第二个问题，需要识别语言准确度问题。
　　我们所处的日常环境是非常嘈杂的，会有大量的杂音，而且很多人的普通话并不标准，机器没法有效识别，实际上绝大多数方言，机器都无能为力，识别出来各种沙雕。
　　尤其是温州话，那是恶魔的语言，战争年代可以当密码用的神奇语言。
　　假如解决了语言准确度问题，那么还有第三个问题，那就是音频实时语义识别问题。
　　这个问题在当前属于几乎无解的难题，所有人工智能遇到音频实时语义识别都容易变成智障。
　　注意，我说的语义识别不是所谓的把你讲的话翻译成文字，那个东西难度不大，我说的是，真正理解你语言中的含义。
　　例如死鬼这个词，男人跟女人说，男人跟男人说，女人跟男人说，男人跟死对头说，都是完全不同的含义，但都是死鬼。
　　人类理解语意是要结合具体场景，甚至具体说话的人（同一个词，不同人讲出来都不是一个意思），这些都是现阶段机器做不到的。
　　别说机器做不到，很多人都做不到，例如：弹性工作制=别想着准点下班，这谁遭得住。
　　尤其是APP录音，需要快速记录下人们在实际生活中的快速出现的场景未知的对话对象未知的普通话不标准的神奇对话，还要记录分析下来，还要精准获得含义。
　　要是真有哪个公司有这个本事，还做个屁推送，直接就诺贝尔奖了。
　　以上三问，我喜欢称之为录音方案灵魂三问，在三问之上，还有终极一问。
　　记得我前面说做录音方案的大部分都破产了么，那还有小部分，那小部分去哪里了？
　　小部分因为收集隐私被抓进去了，彻底财务自由了，毕竟监狱不用花钱。
　　闭上眼，用心去感受正义的力量，奥利给。
　　4
　　当你读到这里的时候，你肯定既恍然大悟，又迷惑。
　　恍然大悟的是觉得确实不会被录音，迷惑的是那为什么出现了我说什么，不就之后APP就出现了相关推送？
　　我给你这么说吧，没有公司做录音，不代表没有公司利用声音来收集资料。
　　只不过这个收集资料的方式不是你以为的大段录音监控，而是通过特定关键词唤醒。
　　举个例子，假如你用苹果，你会【Hi，Siri】来唤醒siri功能。
　　假如你用小米，你会【小爱同学】来唤醒收集。
　　其实很多APP的推送，是用了类似的方案的，就是说，根本不记录你说了什么，也不去分析你说了什么，只要你说出了特定词，那么就会被唤醒，只不过这个唤醒不是亮屏幕之类的，而是推送逻辑被唤醒给你推送相关物品。
　　再举个栗子，假如是外卖类APP，这种唤醒词库可能包含【奶茶】，【披萨】，【烤串】，【麻辣烫】，【哈密瓜】等等等等等等词，只要你说出了类似的词汇，那么可能就会唤醒推送。
　　例如OTA类APP，这种唤醒词库可能包含【旅游】，【泰国】，【签证】，【酒店】，【度假】等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　再例如购物类APP，唤醒词库可能包含【口红】，【靴子】，【裙子】，【水果】，【笔记本】等等等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　每个APP的词库，可能都有数千乃至数十万的词，基本覆盖了你可能性的消费场景，磨刀霍霍。
　　很多很神奇的功能，拆穿了也就那样，就和魔术一样。
　　一个唤醒脚本+词库的事情，给搞的那么神秘。
　　挺魔幻的。
　　5
　　虽然词库唤醒逻辑是比较切合实际的方案，但是在实际的信息收集中，有更多更主流和有效的信息让商家们知道你是谁，要怎么卖东西给你。
　　这些你忽略的东西，才是真的关键，我随便提2个简单的。
　　第一个是输入法。
　　谁知道你的一切？当然是输入法了。
　　别总是怀疑什么APP监控你的聊天记录，你首先要怀疑的是，你的输入法有没有卖你。
　　只要你打字，你一定躲不过的就是输入法，你输入了什么内容，在什么地方输入（搜索引擎？社交软件？地图？短信？卖家讨价还价？），这对于输入法都是透明的。
　　而且你经常输入哪些词，代表了什么意思，并不难获得或者分析，上面说的语义分析难是真对纯音频的，纯文本的语意分析可是相对成熟的技术。
　　另外所有输入法都是越用越好用，越用越懂你，那么，到底是怎么懂你的？
　　可以思考下。
　　第二个是推送SDK。
　　什么叫SDK？你可以理解为是软件包，嵌入APP中执行特定功能的特定模块。
　　最流行的SDK是推送类SDK，就是你手机收到的各类APP推送消息，是有专门的公司做成SDK嵌入到各大APP里，然后专门负责推送，比自己开发要好用很多，而且专业SDK往往对于各类手机和应用的适配做的很好，所以一般APP都是外采推送SDK的。
　　你手机上30个APP，可能都是同一家公司提供的推送SDK，那么对这家公司而言，你的手机基本是透明的，而且很显然会知道一台手机到底装了哪些APP，用户到底常用什么APP，甚至用户对于手机的应用轨迹，应用行为。
　　这些行为就可以被做成标签，然后打包交易，这个市场目前很成熟。
　　国内推送SDK的巨头，不超过5家（最大的就3家），对外出售标签数据都挺积极的。
　　你看，当你知道输入法和SDK的时候，你对于世界的认知会发生变化。
　　当你收到广告的时候，你甚至可以去分析到底是哪个卖了你。
　　是搜索引擎还是你在搜索引擎时候用的输入法，还是监控你手机APP活跃度的SDK，还是你的一些语言出发了词库？
　　很多人其实被卖的时候都不知道自己是怎么被卖的。
　　猜谁卖你这个事情其实很有意思，只稍微有点黑色幽默。
　　6
　　本文只是简单科普一下录音的谣言以及最基础的信息收集渠道，很多更隐蔽甚至更有想象力通过逻辑勾稽来做用户画像的方法还没有说，主要是真的说起来可以写本书了，书名叫《作者已被各大公司吊起来打》。
　　数据收集，画像制作以及广告推送的技术以及产品逻辑，这些东西其实也不是什么秘密，甚至有专门探讨广告推送逻辑原理乃至策略的技术书籍。
　　这是一个严肃的科学，高科技韭菜学。
　　我认可技术无罪，但是我同时也认为技术需要约束，或者说技术背后的人，需要被约束。
　　在这个人人都近乎透明的年代，我们其实需要对所谓大数据加以警惕，也需要法律约束。
　　因为数据可以让生活变得更方便的同时，失控后也会造成灾难。
　　当我知道你的一切数据的时候，某种程度上，我比你还了解你，我就是你。
　　所以需要约束人的行为，所以需要增加作恶的成本。
　　毕竟人，是复杂的；人性，是自私的。
　　我不希望有一天，我们成为大数据下的棋子。
　　被设计好的世界，恐怕也不再有趣。
　　----------------------- 查看全部

　　文章采集软件app 关于APP录音的谣言与真相
　　
　　这是半佛仙人的第148篇原创
　　1
　　最近各种大促特别多，各家电商都在摩拳擦掌准备好好在年底收获一把。
　　各种APP的促销推送和商品推荐也是昼夜不停，要让大家把手留下，干干净净过个好年。
　　这么看来，最大的受害者就是老家等着要压岁钱的熊孩子们了。
　　他们不仅要不到钱，可能还要被双手空空的长辈们反向撸羊毛，小小的年纪就要承受命运的重拳。
　　说到APP推送以及商品推荐，很多人都有一个恐慌性的顾虑。
　　那就是怀疑自己的APP在对自己录音。
　　经常出现一个状况是，自己和人谈论一个事物，然后不久后，自己在购物APP或者搜索引擎或者浏览器或者APP的广告业中就看到了相关的广告，让人非常恐慌，觉得有一双神秘的眼睛在看着自己，非常害怕。
　　怎么说呢，我觉得大家的想象力过于丰富了，这种猜测是合理的，只不过既对也不对。
　　对的是，我们的生活确实是被各种精准推送给占据了，各大APP也确实有一定程度上的【猜测】行为，目的也的确是让你掏钱。
　　错的是，没人给你录音。
　　实际上科技和大数据发展到现在这个程度，录音属于非常没有效率的玩法，音速不够快。
　　我们高科技镰刀，都是光速的。
　　2
　　为什么说没有公司用录音来做信息采集和广告推送呢？
　　不是说公司良心发现，商业公司有良心其实本身就是一件很诡异的事情。
　　而是任何事情都要讲一个目的，广告推送的目的是要追求转化率，要让自己的利益最大化，成本最低，卖家也是要看性价比的。
　　从方案成本收益的角度，录音属于效率低，利润低，误差率高，成本高的沙雕方案，所以没人做。
　　那些大胆尝试录音方案的朋克们，大部分都是投入产出失衡后破产了，所以你很少见到市面上有完整商业录音解析方案，当然安防另算，安防对于投入产出的理解和商业不同。
　　想想看，如果你要做录音方案，首先你绕不过的就是APP资源占用，持续的录音，对于一个APP而言是很大的负载，导致的结果就是APP运转效率低下，耗电发热大幅增加，跑起来和吃了翔一样别扭。
　　而且吧，录下来的音频你要怎么保留？本地保留？这个音频文件会大到超乎想象，一个APP到录音录一天，最后录音文件几个G，而且有朋克的用户，直接看你源文件夹，一旦发现录音，你可以等待铁拳打击了。
　　在线传输？用户的流量是要钱的，而且用户定期看手机流量记录的时候，发现就你一个APP耗流量特别大，还不是视频类或者游戏类APP，分分钟就暴露了。
　　本地直接解析？只留存文字？这倒是可行，但是最大的问题在于，你要小心竞争对手反编译你的安装包，一旦被人看到相关代码和模型，底裤都没有了。
　　实际上很少有互联网公司把复杂模型布置在本地，因为太容易被对手直接破译；
　　而如果用云模型的方式做录音解析，流量消耗和网络稳定性也会让准确度大大降低。
　　从技术上，录音是不太合理的方案，不是说不能做，而是做起来成本高，破事儿多。
　　与道德无关。
　　3
　　录音如果仅仅是破事儿多就算了，一个东西如果好用，破事儿多其实并不是很大的问题。
　　痛并快乐也是一种生活。
　　但录音方案最致命的问题在于，消耗了大量资源后，准确率过于辣鸡。
　　俗称吃的是肉，产的是屎。
　　想想看，如果你手上的APP使用了录音监控方案，那么面临的第一个问题是，需要分辨到底是谁在讲话？是不是手机的主人在讲话？声源就是一个大问题。
　　试想我走过你的身边，大喊一声我爱杰士邦，然后你打开手机，看到了杰士邦的广告，你觉得是不是非常沙雕？你会不会是得觉得我在性骚扰你？
　　当解决了录谁的音的问题（声纹类方案）后，你会遇到第二个问题，需要识别语言准确度问题。
　　我们所处的日常环境是非常嘈杂的，会有大量的杂音，而且很多人的普通话并不标准，机器没法有效识别，实际上绝大多数方言，机器都无能为力，识别出来各种沙雕。
　　尤其是温州话，那是恶魔的语言，战争年代可以当密码用的神奇语言。
　　假如解决了语言准确度问题，那么还有第三个问题，那就是音频实时语义识别问题。
　　这个问题在当前属于几乎无解的难题，所有人工智能遇到音频实时语义识别都容易变成智障。
　　注意，我说的语义识别不是所谓的把你讲的话翻译成文字，那个东西难度不大，我说的是，真正理解你语言中的含义。
　　例如死鬼这个词，男人跟女人说，男人跟男人说，女人跟男人说，男人跟死对头说，都是完全不同的含义，但都是死鬼。
　　人类理解语意是要结合具体场景，甚至具体说话的人（同一个词，不同人讲出来都不是一个意思），这些都是现阶段机器做不到的。
　　别说机器做不到，很多人都做不到，例如：弹性工作制=别想着准点下班，这谁遭得住。
　　尤其是APP录音，需要快速记录下人们在实际生活中的快速出现的场景未知的对话对象未知的普通话不标准的神奇对话，还要记录分析下来，还要精准获得含义。
　　要是真有哪个公司有这个本事，还做个屁推送，直接就诺贝尔奖了。
　　以上三问，我喜欢称之为录音方案灵魂三问，在三问之上，还有终极一问。
　　记得我前面说做录音方案的大部分都破产了么，那还有小部分，那小部分去哪里了？
　　小部分因为收集隐私被抓进去了，彻底财务自由了，毕竟监狱不用花钱。
　　闭上眼，用心去感受正义的力量，奥利给。
　　4
　　当你读到这里的时候，你肯定既恍然大悟，又迷惑。
　　恍然大悟的是觉得确实不会被录音，迷惑的是那为什么出现了我说什么，不就之后APP就出现了相关推送？
　　我给你这么说吧，没有公司做录音，不代表没有公司利用声音来收集资料。
　　只不过这个收集资料的方式不是你以为的大段录音监控，而是通过特定关键词唤醒。
　　举个例子，假如你用苹果，你会【Hi，Siri】来唤醒siri功能。
　　假如你用小米，你会【小爱同学】来唤醒收集。
　　其实很多APP的推送，是用了类似的方案的，就是说，根本不记录你说了什么，也不去分析你说了什么，只要你说出了特定词，那么就会被唤醒，只不过这个唤醒不是亮屏幕之类的，而是推送逻辑被唤醒给你推送相关物品。
　　再举个栗子，假如是外卖类APP，这种唤醒词库可能包含【奶茶】，【披萨】，【烤串】，【麻辣烫】，【哈密瓜】等等等等等等词，只要你说出了类似的词汇，那么可能就会唤醒推送。
　　例如OTA类APP，这种唤醒词库可能包含【旅游】，【泰国】，【签证】，【酒店】，【度假】等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　再例如购物类APP，唤醒词库可能包含【口红】，【靴子】，【裙子】，【水果】，【笔记本】等等等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　每个APP的词库，可能都有数千乃至数十万的词，基本覆盖了你可能性的消费场景，磨刀霍霍。
　　很多很神奇的功能，拆穿了也就那样，就和魔术一样。
　　一个唤醒脚本+词库的事情，给搞的那么神秘。
　　挺魔幻的。
　　5
　　虽然词库唤醒逻辑是比较切合实际的方案，但是在实际的信息收集中，有更多更主流和有效的信息让商家们知道你是谁，要怎么卖东西给你。
　　这些你忽略的东西，才是真的关键，我随便提2个简单的。
　　第一个是输入法。
　　谁知道你的一切？当然是输入法了。
　　别总是怀疑什么APP监控你的聊天记录，你首先要怀疑的是，你的输入法有没有卖你。
　　只要你打字，你一定躲不过的就是输入法，你输入了什么内容，在什么地方输入（搜索引擎？社交软件？地图？短信？卖家讨价还价？），这对于输入法都是透明的。
　　而且你经常输入哪些词，代表了什么意思，并不难获得或者分析，上面说的语义分析难是真对纯音频的，纯文本的语意分析可是相对成熟的技术。
　　另外所有输入法都是越用越好用，越用越懂你，那么，到底是怎么懂你的？
　　可以思考下。
　　第二个是推送SDK。
　　什么叫SDK？你可以理解为是软件包，嵌入APP中执行特定功能的特定模块。
　　最流行的SDK是推送类SDK，就是你手机收到的各类APP推送消息，是有专门的公司做成SDK嵌入到各大APP里，然后专门负责推送，比自己开发要好用很多，而且专业SDK往往对于各类手机和应用的适配做的很好，所以一般APP都是外采推送SDK的。
　　你手机上30个APP，可能都是同一家公司提供的推送SDK，那么对这家公司而言，你的手机基本是透明的，而且很显然会知道一台手机到底装了哪些APP，用户到底常用什么APP，甚至用户对于手机的应用轨迹，应用行为。
　　这些行为就可以被做成标签，然后打包交易，这个市场目前很成熟。
　　国内推送SDK的巨头，不超过5家（最大的就3家），对外出售标签数据都挺积极的。
　　你看，当你知道输入法和SDK的时候，你对于世界的认知会发生变化。
　　当你收到广告的时候，你甚至可以去分析到底是哪个卖了你。
　　是搜索引擎还是你在搜索引擎时候用的输入法，还是监控你手机APP活跃度的SDK，还是你的一些语言出发了词库？
　　很多人其实被卖的时候都不知道自己是怎么被卖的。
　　猜谁卖你这个事情其实很有意思，只稍微有点黑色幽默。
　　6
　　本文只是简单科普一下录音的谣言以及最基础的信息收集渠道，很多更隐蔽甚至更有想象力通过逻辑勾稽来做用户画像的方法还没有说，主要是真的说起来可以写本书了，书名叫《作者已被各大公司吊起来打》。
　　数据收集，画像制作以及广告推送的技术以及产品逻辑，这些东西其实也不是什么秘密，甚至有专门探讨广告推送逻辑原理乃至策略的技术书籍。
　　这是一个严肃的科学，高科技韭菜学。
　　我认可技术无罪，但是我同时也认为技术需要约束，或者说技术背后的人，需要被约束。
　　在这个人人都近乎透明的年代，我们其实需要对所谓大数据加以警惕，也需要法律约束。
　　因为数据可以让生活变得更方便的同时，失控后也会造成灾难。
　　当我知道你的一切数据的时候，某种程度上，我比你还了解你，我就是你。
　　所以需要约束人的行为，所以需要增加作恶的成本。
　　毕竟人，是复杂的；人性，是自私的。
　　我不希望有一天，我们成为大数据下的棋子。
　　被设计好的世界，恐怕也不再有趣。
　　----------------------- 查看全部

　　文章采集软件app 关于APP录音的谣言与真相
　　
　　这是半佛仙人的第148篇原创
　　1
　　最近各种大促特别多，各家电商都在摩拳擦掌准备好好在年底收获一把。
　　各种APP的促销推送和商品推荐也是昼夜不停，要让大家把手留下，干干净净过个好年。
　　这么看来，最大的受害者就是老家等着要压岁钱的熊孩子们了。
　　他们不仅要不到钱，可能还要被双手空空的长辈们反向撸羊毛，小小的年纪就要承受命运的重拳。
　　说到APP推送以及商品推荐，很多人都有一个恐慌性的顾虑。
　　那就是怀疑自己的APP在对自己录音。
　　经常出现一个状况是，自己和人谈论一个事物，然后不久后，自己在购物APP或者搜索引擎或者浏览器或者APP的广告业中就看到了相关的广告，让人非常恐慌，觉得有一双神秘的眼睛在看着自己，非常害怕。
　　怎么说呢，我觉得大家的想象力过于丰富了，这种猜测是合理的，只不过既对也不对。
　　对的是，我们的生活确实是被各种精准推送给占据了，各大APP也确实有一定程度上的【猜测】行为，目的也的确是让你掏钱。
　　错的是，没人给你录音。
　　实际上科技和大数据发展到现在这个程度，录音属于非常没有效率的玩法，音速不够快。
　　我们高科技镰刀，都是光速的。
　　2
　　为什么说没有公司用录音来做信息采集和广告推送呢？
　　不是说公司良心发现，商业公司有良心其实本身就是一件很诡异的事情。
　　而是任何事情都要讲一个目的，广告推送的目的是要追求转化率，要让自己的利益最大化，成本最低，卖家也是要看性价比的。
　　从方案成本收益的角度，录音属于效率低，利润低，误差率高，成本高的沙雕方案，所以没人做。
　　那些大胆尝试录音方案的朋克们，大部分都是投入产出失衡后破产了，所以你很少见到市面上有完整商业录音解析方案，当然安防另算，安防对于投入产出的理解和商业不同。
　　想想看，如果你要做录音方案，首先你绕不过的就是APP资源占用，持续的录音，对于一个APP而言是很大的负载，导致的结果就是APP运转效率低下，耗电发热大幅增加，跑起来和吃了翔一样别扭。
　　而且吧，录下来的音频你要怎么保留？本地保留？这个音频文件会大到超乎想象，一个APP到录音录一天，最后录音文件几个G，而且有朋克的用户，直接看你源文件夹，一旦发现录音，你可以等待铁拳打击了。
　　在线传输？用户的流量是要钱的，而且用户定期看手机流量记录的时候，发现就你一个APP耗流量特别大，还不是视频类或者游戏类APP，分分钟就暴露了。
　　本地直接解析？只留存文字？这倒是可行，但是最大的问题在于，你要小心竞争对手反编译你的安装包，一旦被人看到相关代码和模型，底裤都没有了。
　　实际上很少有互联网公司把复杂模型布置在本地，因为太容易被对手直接破译；
　　而如果用云模型的方式做录音解析，流量消耗和网络稳定性也会让准确度大大降低。
　　从技术上，录音是不太合理的方案，不是说不能做，而是做起来成本高，破事儿多。
　　与道德无关。
　　3
　　录音如果仅仅是破事儿多就算了，一个东西如果好用，破事儿多其实并不是很大的问题。
　　痛并快乐也是一种生活。
　　但录音方案最致命的问题在于，消耗了大量资源后，准确率过于辣鸡。
　　俗称吃的是肉，产的是屎。
　　想想看，如果你手上的APP使用了录音监控方案，那么面临的第一个问题是，需要分辨到底是谁在讲话？是不是手机的主人在讲话？声源就是一个大问题。
　　试想我走过你的身边，大喊一声我爱杰士邦，然后你打开手机，看到了杰士邦的广告，你觉得是不是非常沙雕？你会不会是得觉得我在性骚扰你？
　　当解决了录谁的音的问题（声纹类方案）后，你会遇到第二个问题，需要识别语言准确度问题。
　　我们所处的日常环境是非常嘈杂的，会有大量的杂音，而且很多人的普通话并不标准，机器没法有效识别，实际上绝大多数方言，机器都无能为力，识别出来各种沙雕。
　　尤其是温州话，那是恶魔的语言，战争年代可以当密码用的神奇语言。
　　假如解决了语言准确度问题，那么还有第三个问题，那就是音频实时语义识别问题。
　　这个问题在当前属于几乎无解的难题，所有人工智能遇到音频实时语义识别都容易变成智障。
　　注意，我说的语义识别不是所谓的把你讲的话翻译成文字，那个东西难度不大，我说的是，真正理解你语言中的含义。
　　例如死鬼这个词，男人跟女人说，男人跟男人说，女人跟男人说，男人跟死对头说，都是完全不同的含义，但都是死鬼。
　　人类理解语意是要结合具体场景，甚至具体说话的人（同一个词，不同人讲出来都不是一个意思），这些都是现阶段机器做不到的。
　　别说机器做不到，很多人都做不到，例如：弹性工作制=别想着准点下班，这谁遭得住。
　　尤其是APP录音，需要快速记录下人们在实际生活中的快速出现的场景未知的对话对象未知的普通话不标准的神奇对话，还要记录分析下来，还要精准获得含义。
　　要是真有哪个公司有这个本事，还做个屁推送，直接就诺贝尔奖了。
　　以上三问，我喜欢称之为录音方案灵魂三问，在三问之上，还有终极一问。
　　记得我前面说做录音方案的大部分都破产了么，那还有小部分，那小部分去哪里了？
　　小部分因为收集隐私被抓进去了，彻底财务自由了，毕竟监狱不用花钱。
　　闭上眼，用心去感受正义的力量，奥利给。
　　4
　　当你读到这里的时候，你肯定既恍然大悟，又迷惑。
　　恍然大悟的是觉得确实不会被录音，迷惑的是那为什么出现了我说什么，不就之后APP就出现了相关推送？
　　我给你这么说吧，没有公司做录音，不代表没有公司利用声音来收集资料。
　　只不过这个收集资料的方式不是你以为的大段录音监控，而是通过特定关键词唤醒。
　　举个例子，假如你用苹果，你会【Hi，Siri】来唤醒siri功能。
　　假如你用小米，你会【小爱同学】来唤醒收集。
　　其实很多APP的推送，是用了类似的方案的，就是说，根本不记录你说了什么，也不去分析你说了什么，只要你说出了特定词，那么就会被唤醒，只不过这个唤醒不是亮屏幕之类的，而是推送逻辑被唤醒给你推送相关物品。
　　再举个栗子，假如是外卖类APP，这种唤醒词库可能包含【奶茶】，【披萨】，【烤串】，【麻辣烫】，【哈密瓜】等等等等等等词，只要你说出了类似的词汇，那么可能就会唤醒推送。
　　例如OTA类APP，这种唤醒词库可能包含【旅游】，【泰国】，【签证】，【酒店】，【度假】等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　再例如购物类APP，唤醒词库可能包含【口红】，【靴子】，【裙子】，【水果】，【笔记本】等等等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　每个APP的词库，可能都有数千乃至数十万的词，基本覆盖了你可能性的消费场景，磨刀霍霍。
　　很多很神奇的功能，拆穿了也就那样，就和魔术一样。
　　一个唤醒脚本+词库的事情，给搞的那么神秘。
　　挺魔幻的。
　　5
　　虽然词库唤醒逻辑是比较切合实际的方案，但是在实际的信息收集中，有更多更主流和有效的信息让商家们知道你是谁，要怎么卖东西给你。
　　这些你忽略的东西，才是真的关键，我随便提2个简单的。
　　第一个是输入法。
　　谁知道你的一切？当然是输入法了。
　　别总是怀疑什么APP监控你的聊天记录，你首先要怀疑的是，你的输入法有没有卖你。
　　只要你打字，你一定躲不过的就是输入法，你输入了什么内容，在什么地方输入（搜索引擎？社交软件？地图？短信？卖家讨价还价？），这对于输入法都是透明的。
　　而且你经常输入哪些词，代表了什么意思，并不难获得或者分析，上面说的语义分析难是真对纯音频的，纯文本的语意分析可是相对成熟的技术。
　　另外所有输入法都是越用越好用，越用越懂你，那么，到底是怎么懂你的？
　　可以思考下。
　　第二个是推送SDK。
　　什么叫SDK？你可以理解为是软件包，嵌入APP中执行特定功能的特定模块。
　　最流行的SDK是推送类SDK，就是你手机收到的各类APP推送消息，是有专门的公司做成SDK嵌入到各大APP里，然后专门负责推送，比自己开发要好用很多，而且专业SDK往往对于各类手机和应用的适配做的很好，所以一般APP都是外采推送SDK的。
　　你手机上30个APP，可能都是同一家公司提供的推送SDK，那么对这家公司而言，你的手机基本是透明的，而且很显然会知道一台手机到底装了哪些APP，用户到底常用什么APP，甚至用户对于手机的应用轨迹，应用行为。
　　这些行为就可以被做成标签，然后打包交易，这个市场目前很成熟。
　　国内推送SDK的巨头，不超过5家（最大的就3家），对外出售标签数据都挺积极的。
　　你看，当你知道输入法和SDK的时候，你对于世界的认知会发生变化。
　　当你收到广告的时候，你甚至可以去分析到底是哪个卖了你。
　　是搜索引擎还是你在搜索引擎时候用的输入法，还是监控你手机APP活跃度的SDK，还是你的一些语言出发了词库？
　　很多人其实被卖的时候都不知道自己是怎么被卖的。
　　猜谁卖你这个事情其实很有意思，只稍微有点黑色幽默。
　　6
　　本文只是简单科普一下录音的谣言以及最基础的信息收集渠道，很多更隐蔽甚至更有想象力通过逻辑勾稽来做用户画像的方法还没有说，主要是真的说起来可以写本书了，书名叫《作者已被各大公司吊起来打》。
　　数据收集，画像制作以及广告推送的技术以及产品逻辑，这些东西其实也不是什么秘密，甚至有专门探讨广告推送逻辑原理乃至策略的技术书籍。
　　这是一个严肃的科学，高科技韭菜学。
　　我认可技术无罪，但是我同时也认为技术需要约束，或者说技术背后的人，需要被约束。
　　在这个人人都近乎透明的年代，我们其实需要对所谓大数据加以警惕，也需要法律约束。
　　因为数据可以让生活变得更方便的同时，失控后也会造成灾难。
　　当我知道你的一切数据的时候，某种程度上，我比你还了解你，我就是你。
　　所以需要约束人的行为，所以需要增加作恶的成本。
　　毕竟人，是复杂的；人性，是自私的。
　　我不希望有一天，我们成为大数据下的棋子。
　　被设计好的世界，恐怕也不再有趣。
　　----------------------- 查看全部

　　文章采集软件app 关于APP录音的谣言与真相
　　
　　这是半佛仙人的第148篇原创
　　1
　　最近各种大促特别多，各家电商都在摩拳擦掌准备好好在年底收获一把。
　　各种APP的促销推送和商品推荐也是昼夜不停，要让大家把手留下，干干净净过个好年。
　　这么看来，最大的受害者就是老家等着要压岁钱的熊孩子们了。
　　他们不仅要不到钱，可能还要被双手空空的长辈们反向撸羊毛，小小的年纪就要承受命运的重拳。
　　说到APP推送以及商品推荐，很多人都有一个恐慌性的顾虑。
　　那就是怀疑自己的APP在对自己录音。
　　经常出现一个状况是，自己和人谈论一个事物，然后不久后，自己在购物APP或者搜索引擎或者浏览器或者APP的广告业中就看到了相关的广告，让人非常恐慌，觉得有一双神秘的眼睛在看着自己，非常害怕。
　　怎么说呢，我觉得大家的想象力过于丰富了，这种猜测是合理的，只不过既对也不对。
　　对的是，我们的生活确实是被各种精准推送给占据了，各大APP也确实有一定程度上的【猜测】行为，目的也的确是让你掏钱。
　　错的是，没人给你录音。
　　实际上科技和大数据发展到现在这个程度，录音属于非常没有效率的玩法，音速不够快。
　　我们高科技镰刀，都是光速的。
　　2
　　为什么说没有公司用录音来做信息采集和广告推送呢？
　　不是说公司良心发现，商业公司有良心其实本身就是一件很诡异的事情。
　　而是任何事情都要讲一个目的，广告推送的目的是要追求转化率，要让自己的利益最大化，成本最低，卖家也是要看性价比的。
　　从方案成本收益的角度，录音属于效率低，利润低，误差率高，成本高的沙雕方案，所以没人做。
　　那些大胆尝试录音方案的朋克们，大部分都是投入产出失衡后破产了，所以你很少见到市面上有完整商业录音解析方案，当然安防另算，安防对于投入产出的理解和商业不同。
　　想想看，如果你要做录音方案，首先你绕不过的就是APP资源占用，持续的录音，对于一个APP而言是很大的负载，导致的结果就是APP运转效率低下，耗电发热大幅增加，跑起来和吃了翔一样别扭。
　　而且吧，录下来的音频你要怎么保留？本地保留？这个音频文件会大到超乎想象，一个APP到录音录一天，最后录音文件几个G，而且有朋克的用户，直接看你源文件夹，一旦发现录音，你可以等待铁拳打击了。
　　在线传输？用户的流量是要钱的，而且用户定期看手机流量记录的时候，发现就你一个APP耗流量特别大，还不是视频类或者游戏类APP，分分钟就暴露了。
　　本地直接解析？只留存文字？这倒是可行，但是最大的问题在于，你要小心竞争对手反编译你的安装包，一旦被人看到相关代码和模型，底裤都没有了。
　　实际上很少有互联网公司把复杂模型布置在本地，因为太容易被对手直接破译；
　　而如果用云模型的方式做录音解析，流量消耗和网络稳定性也会让准确度大大降低。
　　从技术上，录音是不太合理的方案，不是说不能做，而是做起来成本高，破事儿多。
　　与道德无关。
　　3
　　录音如果仅仅是破事儿多就算了，一个东西如果好用，破事儿多其实并不是很大的问题。
　　痛并快乐也是一种生活。
　　但录音方案最致命的问题在于，消耗了大量资源后，准确率过于辣鸡。
　　俗称吃的是肉，产的是屎。
　　想想看，如果你手上的APP使用了录音监控方案，那么面临的第一个问题是，需要分辨到底是谁在讲话？是不是手机的主人在讲话？声源就是一个大问题。
　　试想我走过你的身边，大喊一声我爱杰士邦，然后你打开手机，看到了杰士邦的广告，你觉得是不是非常沙雕？你会不会是得觉得我在性骚扰你？
　　当解决了录谁的音的问题（声纹类方案）后，你会遇到第二个问题，需要识别语言准确度问题。
　　我们所处的日常环境是非常嘈杂的，会有大量的杂音，而且很多人的普通话并不标准，机器没法有效识别，实际上绝大多数方言，机器都无能为力，识别出来各种沙雕。
　　尤其是温州话，那是恶魔的语言，战争年代可以当密码用的神奇语言。
　　假如解决了语言准确度问题，那么还有第三个问题，那就是音频实时语义识别问题。
　　这个问题在当前属于几乎无解的难题，所有人工智能遇到音频实时语义识别都容易变成智障。
　　注意，我说的语义识别不是所谓的把你讲的话翻译成文字，那个东西难度不大，我说的是，真正理解你语言中的含义。
　　例如死鬼这个词，男人跟女人说，男人跟男人说，女人跟男人说，男人跟死对头说，都是完全不同的含义，但都是死鬼。
　　人类理解语意是要结合具体场景，甚至具体说话的人（同一个词，不同人讲出来都不是一个意思），这些都是现阶段机器做不到的。
　　别说机器做不到，很多人都做不到，例如：弹性工作制=别想着准点下班，这谁遭得住。
　　尤其是APP录音，需要快速记录下人们在实际生活中的快速出现的场景未知的对话对象未知的普通话不标准的神奇对话，还要记录分析下来，还要精准获得含义。
　　要是真有哪个公司有这个本事，还做个屁推送，直接就诺贝尔奖了。
　　以上三问，我喜欢称之为录音方案灵魂三问，在三问之上，还有终极一问。
　　记得我前面说做录音方案的大部分都破产了么，那还有小部分，那小部分去哪里了？
　　小部分因为收集隐私被抓进去了，彻底财务自由了，毕竟监狱不用花钱。
　　闭上眼，用心去感受正义的力量，奥利给。
　　4
　　当你读到这里的时候，你肯定既恍然大悟，又迷惑。
　　恍然大悟的是觉得确实不会被录音，迷惑的是那为什么出现了我说什么，不就之后APP就出现了相关推送？
　　我给你这么说吧，没有公司做录音，不代表没有公司利用声音来收集资料。
　　只不过这个收集资料的方式不是你以为的大段录音监控，而是通过特定关键词唤醒。
　　举个例子，假如你用苹果，你会【Hi，Siri】来唤醒siri功能。
　　假如你用小米，你会【小爱同学】来唤醒收集。
　　其实很多APP的推送，是用了类似的方案的，就是说，根本不记录你说了什么，也不去分析你说了什么，只要你说出了特定词，那么就会被唤醒，只不过这个唤醒不是亮屏幕之类的，而是推送逻辑被唤醒给你推送相关物品。
　　再举个栗子，假如是外卖类APP，这种唤醒词库可能包含【奶茶】，【披萨】，【烤串】，【麻辣烫】，【哈密瓜】等等等等等等词，只要你说出了类似的词汇，那么可能就会唤醒推送。
　　例如OTA类APP，这种唤醒词库可能包含【旅游】，【泰国】，【签证】，【酒店】，【度假】等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　再例如购物类APP，唤醒词库可能包含【口红】，【靴子】，【裙子】，【水果】，【笔记本】等等等等词，只要你说了类似的词，那么可能就会唤醒推送。
　　每个APP的词库，可能都有数千乃至数十万的词，基本覆盖了你可能性的消费场景，磨刀霍霍。
　　很多很神奇的功能，拆穿了也就那样，就和魔术一样。
　　一个唤醒脚本+词库的事情，给搞的那么神秘。
　　挺魔幻的。
　　5
　　虽然词库唤醒逻辑是比较切合实际的方案，但是在实际的信息收集中，有更多更主流和有效的信息让商家们知道你是谁，要怎么卖东西给你。
　　这些你忽略的东西，才是真的关键，我随便提2个简单的。
　　第一个是输入法。
　　谁知道你的一切？当然是输入法了。
　　别总是怀疑什么APP监控你的聊天记录，你首先要怀疑的是，你的输入法有没有卖你。
　　只要你打字，你一定躲不过的就是输入法，你输入了什么内容，在什么地方输入（搜索引擎？社交软件？地图？短信？卖家讨价还价？），这对于输入法都是透明的。
　　而且你经常输入哪些词，代表了什么意思，并不难获得或者分析，上面说的语义分析难是真对纯音频的，纯文本的语意分析可是相对成熟的技术。
　　另外所有输入法都是越用越好用，越用越懂你，那么，到底是怎么懂你的？
　　可以思考下。
　　第二个是推送SDK。
　　什么叫SDK？你可以理解为是软件包，嵌入APP中执行特定功能的特定模块。
　　最流行的SDK是推送类SDK，就是你手机收到的各类APP推送消息，是有专门的公司做成SDK嵌入到各大APP里，然后专门负责推送，比自己开发要好用很多，而且专业SDK往往对于各类手机和应用的适配做的很好，所以一般APP都是外采推送SDK的。
　　你手机上30个APP，可能都是同一家公司提供的推送SDK，那么对这家公司而言，你的手机基本是透明的，而且很显然会知道一台手机到底装了哪些APP，用户到底常用什么APP，甚至用户对于手机的应用轨迹，应用行为。
　　这些行为就可以被做成标签，然后打包交易，这个市场目前很成熟。
　　国内推送SDK的巨头，不超过5家（最大的就3家），对外出售标签数据都挺积极的。
　　你看，当你知道输入法和SDK的时候，你对于世界的认知会发生变化。
　　当你收到广告的时候，你甚至可以去分析到底是哪个卖了你。
　　是搜索引擎还是你在搜索引擎时候用的输入法，还是监控你手机APP活跃度的SDK，还是你的一些语言出发了词库？
　　很多人其实被卖的时候都不知道自己是怎么被卖的。
　　猜谁卖你这个事情其实很有意思，只稍微有点黑色幽默。
　　6
　　本文只是简单科普一下录音的谣言以及最基础的信息收集渠道，很多更隐蔽甚至更有想象力通过逻辑勾稽来做用户画像的方法还没有说，主要是真的说起来可以写本书了，书名叫《作者已被各大公司吊起来打》。
　　数据收集，画像制作以及广告推送的技术以及产品逻辑，这些东西其实也不是什么秘密，甚至有专门探讨广告推送逻辑原理乃至策略的技术书籍。
　　这是一个严肃的科学，高科技韭菜学。
　　我认可技术无罪，但是我同时也认为技术需要约束，或者说技术背后的人，需要被约束。
　　在这个人人都近乎透明的年代，我们其实需要对所谓大数据加以警惕，也需要法律约束。
　　因为数据可以让生活变得更方便的同时，失控后也会造成灾难。
　　当我知道你的一切数据的时候，某种程度上，我比你还了解你，我就是你。
　　所以需要约束人的行为，所以需要增加作恶的成本。
　　毕竟人，是复杂的；人性，是自私的。
　　我不希望有一天，我们成为大数据下的棋子。
　　被设计好的世界，恐怕也不再有趣。
　　----------------------- 查看全部

　　外业神器 | 模板化数据采集App（二）
　　在之前的文章中，我们介绍了移动端GIS软件SuperMap iTablet的模板化数据采集功能，只需要一个采集模板，便可以轻松进行数据采集，有朋友对采集模板的制作方法很感兴趣，本篇就来为大家详细讲解。
　　采集模板的制作可以分为三步：准备数据、配置地图和制作模板。
　　第一步 准备数据
　　1 新建数据源
　　在iTablet首页进入【专题制图】模块，点击右侧【添加】，选择【数据源】，在数据源列表界面点击右上角菜单按钮，选择【新建数据源】并设置名称。
　　
　　2 新建数据集
　　点击数据集名称，进入数据集列表界面。点击右上角菜单按钮选择【新建数据集】，设置数据集的名称、类型和坐标系，点击页面中的【添加数据集】可以批量创建数据集。
　　
　　3 创建属性字段
　　返回到【专题制图】页面，重新点击右侧【添加】，选择刚建好的数据源“土地利用分类”，全选其中所有的数据集添加到当前地图中。
　　
　　切换到【图层】面板，选择图层后切换到【属性】面板，点击【添加】按钮，为对应的数据集添加属性字段。
　　
　　第二步 配置地图
　　返回【图层】页面，选择图层后点击图层右侧菜单按钮，使用【图层风格】或【制作专题图】，为所有图层设置显示风格，设置完毕后，保存地图。
　　
　　第三步 制作模板
　　在iTablet首页进入【外业采集】模块，打开第二步中保存好的地图，点击右侧【模板】，选择【新建】，进入模板创建页面。添加节点，设置要素名称、要素编码、存储位置、属性值等，将前两步准备的数据和地图管理起来，生成采集模板文件。
　　
　　模板创建完毕后，点击右下角“保存”按钮即可将模板保存到当前工作空间中。创建好的模板可以直接使用，也可以分享到SuperMap Online或SuperMap iPortal，方便团队其它成员下载使用。 查看全部

　　文章采集软件app(如何利用爬虫爬微信公众号的内容？-DuHeZhe的回答)
　　本文已发表在我的知乎账号：如何使用爬虫抓取微信公众号内容？- 杜赫哲的回答 - 知乎
　　这是我的总结。
　　如果只是采集公众号文章，要求不是很严格，可以去搜狗。这种方案成本低，比较简单，但缺点也很明显。这是一个临时的 文章 链接。如果要转成永久链接，还是要通过app界面。
　　另一种解决方案是从微信应用程序本身 采集。这种采集会花费很多，但是也有很多类型的数据可以采集，包括但不限于：历史页面文章，阅读点赞，评论，等等
　　为了更直观，我做了一张图来对比搜狗和微信采集这两个方案。
　　
　　ps：从搜狗输入的文章历史页面现在是空的，不知道什么时候能恢复，但是文章搜索界面正常。
　　我自己使用这两种方案，也提供封装好的接口。具体要求会根据成本和场景来选择使用哪一种。
　　简单的一句话总结就是搜狗有微信App，搜狗没有微信App，但是微信解决方案无论是软成本还是硬成本都比搜狗解决方案大很多。
　　题外话，图中提到了微信中的搜索界面。我自己已经实现了。我可以得到搜索公众号和文章的返回数据，只是作为练习，因为这个接口的使用量不大。有很多，所以没有打包打开。有需要的可以单独联系我。很多人可能认为采集搜索接口不太可能，因为这个数据根本不经过http协议。但是我想说的是，有时候采集数据不一定非得在请求中截取，有很多解决办法，但是成本也会变得非常大（开发成本和上线成本）。 查看全部

　　文章采集软件app(如何从大数据中采集出有用的信息是大数据发展的最关键因素
)
　　大数据有多种来源。在大数据时代背景下，如何从大数据中获取有用信息是大数据发展的最关键因素。大数据采集是大数据产业的基石，大数据采集阶段的工作是大数据的核心技术之一。为了高效地采集大数据，关键是要根据采集环境和数据类型选择合适的大数据采集方法和平台。下面介绍一些常用的大数据采集平台和工具。
　　1个水槽
　　Flume 作为 Hadoop 的一个组件，是 Cloudera 专门开发的分布式日志采集系统。尤其是近年来，随着 Flume 的不断完善，用户在开发过程中的便利性有了很大的提升，Flume 现已成为 Apache Top 项目之一。
　　Flume提供了从Console（控制台）、RPC（Thrift-RPC）、Text（文件）、Tail（UNIX Tail）、Syslog、Exec（命令执行）等数据源采集数据的能力。
　　Flume 采用了多 Master 的方式。为了保证配置数据的一致性，Flume 引入了 ZooKeeper 来保存配置数据。ZooKeeper 本身保证了配置数据的一致性和高可用性。此外，ZooKeeper 可以在配置数据发生变化时通知 Flume Master 节点。Gossip 协议用于在 Flume Master 节点之间同步数据。
　　Flume对于特殊场景也有很好的自定义扩展能力，所以Flume适用于大部分日常数据采集的场景。因为 Flume 是用 JRuby 构建的，所以它依赖于 Java 运行时环境。Flume 被设计成一种分布式管道架构，可以看作是数据源和目的地之间的代理网络，以支持数据路由。
　　Flume 支持设置 Sink 的 Failover 和负载均衡，以保证在一个 Agent 故障时整个系统仍然可以正常采集数据。Flume中传输的内容被定义为一个事件，一个事件由Headers（包括元数据，即Meta Data）和Payload组成。
　　Flume 提供 SDK，可以支持用户定制开发。Flume 客户端负责将事件发送到事件源的 Flume 代理。客户端通常与生成数据源的应用程序位于同一进程空间中。常见的 Flume 客户端是 Avro、Log4J、Syslog 和 HTTP Post。
　　2 流利
　　Fluentd 是另一种开源数据采集架构，如图 1 所示。Fluentd 是用 C/Ruby 开发的，使用 JSON 文件来统一日志数据。通过丰富的插件，您可以采集各种系统或应用程序的日志，然后根据用户定义对日志进行分类。使用 Fluentd，跟踪日志文件、过滤它们并将它们转储到 MongoDB 等操作非常容易。Fluentd 可以将人们从繁琐的日志处理中彻底解放出来。
　　图 1 Fluentd 架构
　　Fluentd 具有多种特性：易于安装、占用空间小、半结构化数据记录、灵活的插件机制、可靠的缓冲和日志转发。为本产品提供支持和维护。此外，使用 JSON 统一的数据/日志格式是它的另一个特点。与 Flume 相比，Fluentd 的配置相对简单。
　　Fluentd 的扩展性很强，客户可以自己定制（Ruby）Input/Buffer/Output。Fluentd 存在跨平台问题，不支持 Windows 平台。
　　Fluentd 的 Input/Buffer/Output 与 Flume 的 Source/Channel/Sink 非常相似。Fluentd 架构如图 2 所示。
　　图 2 Fluentd 架构
　　3 日志存储
　　Logstash 是著名的开源数据栈 ELK（ElasticSearch、Logstash、Kibana）中的 L。因为 Logstash 是用 JRuby 开发的，所以运行时依赖于 JVM。Logstash的部署架构如图3所示。当然，这只是一个部署选项。
　　图3 Logstash的部署架构
　　一个典型的 Logstash 配置如下，包括 Input 和 Filter 的 Output 的设置。
　　输入 {
　　文件 {
　　类型 => “Apache 访问”
　　路径 => "/var/log/Apache2/other_vhosts_access.log"
　　}
　　文件 {
　　类型=>“补丁错误”
　　路径 => "/var/log/Apache2/error.log"
　　}
　　}
　　筛选 {
　　摸索{
　　匹配 => {“消息”=>”%(COMBINEDApacheLOG)”}
　　}
　　日期 {
　　匹配 => {"时间戳" => "dd/MMM/yyyy:HH:mm:ss Z"}
　　}
　　}
　　输出 {
　　标准输出 {}
　　雷迪斯 {
　　主机=>”192.168.1.289”
　　data_type => "列表"
　　键=>“Logstash”
　　}
　　}
　　几乎在大多数情况下，ELK 同时用作堆栈。在您的数据系统使用 ElasticSearch 的情况下，Logstash 是首选。
　　4 楚夸
　　Chukwa 是 Apache 旗下的另一个开源数据采集平台，知名度远不如其他平台。Chukwa 建立在 Hadoop 的 HDFS 和 MapReduce（用 Java 实现）之上，以提供可扩展性和可靠性。它提供了许多模块来支持 Hadoop 集群日志分析。Chukwa 还提供数据展示、分析和监控。该项目目前处于非活动状态。
　　Chukwa 满足以下需求：
　　(1）灵活、动态可控的数据源。
　　（2）高性能、高度可扩展的存储系统。
　　（3）用于分析采集的大规模数据的适当架构。
　　Chukwa 架构如图 4 所示。
　　图 4 Chukwa 架构
　　5 抄写员
　　Scribe 是 Facebook 开发的数据（日志）采集系统。其官网多年未维护。Scribe 为日志的“分布式采集、统一处理”提供了可扩展和容错的解决方案。当中央存储系统的网络或机器出现故障时，Scribe 会将日志转储到本地或其他位置；当中央存储系统恢复时，Scribe 会将转储的日志重新传输到中央存储系统。Scribe 通常与 Hadoop 结合使用，将日志推送（push）到 HDFS 中，由 MapReduce 作业定期处理。
　　Scribe 架构如图 5 所示。
　　图 5 Scribe 架构
　　Scribe 架构比较简单，主要包括三个部分，即 Scribe 代理、Scribe 和存储系统。
　　6 斯普伦克
　　在商用大数据平台产品中，Splunk提供完整的数据采集、数据存储、数据分析处理、数据呈现能力。Splunk 是一个分布式机器数据平台，具有三个主要角色。Splunk 架构如图 6 所示。
　　图 6 Splunk 架构
　　搜索：负责数据的搜索和处理，在搜索过程中提供信息提取功能。
　　Indexer：负责数据的存储和索引。
　　Forwarder：负责数据的采集、清洗、变形、发送到Indexer。
　　Splunk 内置了对 Syslog、TCP/UDP 和 Spooling 的支持。同时，用户可以通过开发 Input 和 Modular Input 来获取特定的数据。Splunk提供的软件仓库中有很多成熟的数据采集应用，比如AWS、数据库（DBConnect）等，可以很方便的从云端或者数据库中获取数据，输入到Splunk的数据平台进行分析.
　　Search Head和Indexer都支持Cluster配置，即高可用和高扩展，但是Splunk还没有Forwarder的Cluster功能。也就是说，如果一台Forwarder机器出现故障，数据采集将中断，正在运行的数据采集任务无法故障转移到其他Forwarder。
　　7 刮擦
　　Python 的爬虫架构称为 Scrapy。Scrapy 是一个使用 Python 语言开发的快速、高级的屏幕抓取和网页抓取框架，用于抓取网站并从页面中提取结构化数据。Scrapy 用途广泛，可用于数据挖掘、监控和自动化测试。
　　Scrapy 的吸引力在于它是一种任何人都可以根据需要轻松修改的架构。还提供了各类爬虫的基类，如BaseSpider、Sitemap爬虫等。最新版本提供了对Web2.0爬虫的支持。
　　Scrapy的工作原理如图7所示。
　　图 7 Scrapy 运行原理
　　Scrapy 的整个数据处理流程由 Scrapy 引擎控制。Scrapy运行过程如下：
　　(1）当Scrapy引擎打开一个域名时，爬虫对域名进行处理，让爬虫获取第一个爬取的URL。
　　(2）Scrapy引擎首先从爬虫中获取第一个需要爬取的URL，然后在调度中将其作为请求调度。
　　（3）Scrapy 引擎从调度程序获取要抓取的下一页。
　　（4）Schedule 将下一次抓取的 URL 返回给引擎，引擎通过下载中间件将它们发送给下载器。
　　(5）下载器下载网页时，通过下载器中间件将响应内容发送给Scrapy引擎。
　　(6）Scrapy引擎接收到下载器的响应，通过爬虫中间件发送给爬虫进行处理。
　　(7）爬虫处理响应并返回爬取的项目，然后向Scrapy引擎发送新的请求。
　　（8）Scrapy 引擎将抓取的项目放入项目管道并向调度程序发送请求。
　　(9）系统重复(2）步骤之后的操作，直到调度器中没有请求，然后断开Scrapy引擎与域的连接。
　　 查看全部

　　文章采集软件app(接下来wordpress采集插件的文章标题是SEO的好处吗？)
　　搜索引擎观察网站是循序渐进的，像网站每天都有内容更新，如果你发现今天网站没有更新，尤其是一些新网站，很有可能会次日更新。不行，这对收录来说无疑是不好的，所以建议每天更新wordpress采集插件文章，慢慢的蜘蛛会每隔一段时间访问网站天@>的习惯自然对收录有利。
　　比如你更新了一个文章标题为“SEO好处”，那么wordpress 采集插件的文章就不要重复更新类似的标题内容，否则不仅会减少久而久之，搜索引擎的好感降低了收录的评分，也极有可能导致网站的负面评价，造成降低权限的后果。
　　根据搜索引擎的推荐，一个页面至少有另外一个页面可以链接，所以网站的内部链接非常重要，即使经过一段时间的更新，那些没有收录的早期页面也可以根据链接进行爬取，以免被蜘蛛漏掉。
　　很多情况下，当网站的内容规模达到一定程度时，仅仅依靠页面内细小的内链是不够的。为了增加蜘蛛的访问量，外链是一个非常重要的不可忽视的方法，不仅如此，还会给网站带来不小的提升！
　　制作网站的地图是几乎所有站长都必须使用的方法。将网站的链接集中在地图页面可以帮助蜘蛛栏目网站。整体图，以便于蜘蛛的链接抓取，进而提升网站的收录。
　　虽然要求网站关键词尽可能多的出现，但一定要注意这种出现的频率，因为网站页的合理关键词密度是2 %-8%。我们在布局页面关键词时必须注意这一点。关键词 的出现不仅不能太少，而且绝对不能太多。但是对于文章的页面，比赛建议文章的第一段可以出现1-2个关键词，因为我们的首页可以自动检索文章的内容这些关键词，从而控制了我们主页的关键词密度！今天关于wordpress采集插件的讲解就到这里，下期分享更多SEO相关知识和见解。
　　特别声明：以上内容（包括图片或视频）为自媒体平台“网易”用户上传发布，本平台仅提供信息存储服务。 查看全部

　　文章采集软件app(不用方法一个app能完成，比如全民采集口号)
　　文章采集软件app目前市面上的手机采集软件多如牛毛，质量参差不齐，假货也层出不穷，今天小编为大家带来的是一款资讯类的采集软件，ios和安卓的都可以下载，资讯类的采集不仅支持来源，也支持自定义下载地址，更能自定义合并多个账号，使用方便。步骤：1.下载并安装第三方新闻类app，下载完整版也可以，但是一定要测试下，能不能直接用2.打开app开始采集3.选择你需要的下载地址，不要小看这个下载地址，他一般不被识别出来，后面很多编辑等时候都需要用到4.点击发布后即可完成采集以上就是ios和安卓的app采集方法了，各位可以试下，里面还是很实用的。
　　安卓手机今天已经能用了，这样记录就保存在你自己的电脑硬盘中了。
　　你可以通过，九库，百度云，谷歌，腾讯新闻来转发到你的txt里，然后进行采集。那些都是可以网上进行免费下载的。
　　如果仅仅做到能转发某个公众号内容进入个人服务号的话，很多大的公众号就可以开通，毕竟有需求的话，完全有足够的想法。如果想要精确采集到官方网站就要实力机构了，目前能接入的机构还不算多，所以竞争也相对小一些，类似zaker，新浪新闻，搜狐新闻等也有需求。
　　不用方法一个app能完成，比如全民采集口号是什么？然后可以像那种机器采集一样登录着东西直接扒下来，简单直接，原理直接就是简单的网页编程技术。需要人工客服维护的话客服人员需要对接专业的采集软件。 查看全部

　　文章采集软件app(iOS产品原型设计工具，你知道几个？（上）)
　　一、操作
　　
　　1. APPVIEW 在：
　　帮助iOS应用开发者追踪各地区App Store的最新用户评论。它可以按时间、等级和地区排序。缺点是更新可能比较慢，评论不完整。
　　2. AppBrain 位于：
　　可在此处查看 App Store 中 Android 应用程序的用户评论、更新和下载更改。
　　3. appFigures 位于：
　　优点：功能非常齐全。授权后可以查看应用的销量、iAds、排名、评论等信息。可以以可视化图表的形式展示。它支持 AppStore 和 Google Play。缺点：免费用户的功能较少。
　　4. App Annie 在：
　　它是一个非常强大的工具，但有些功能需要免费注册和登录才能使用。可用于查看每日排名和历史变化信息，是否被各地区App Store推荐，获得推荐历史。
　　5. XYOLOGIC 在：
　　可以查询Android、iOS、WP7甚至GoogleTV的应用信息，总下载量和月下载量模糊不清，黑莓数据显示在网站上，但目前还没有。
　　6. 乱跑：
　　这是目前比较知名的公司，很多公司的分析数据都来自这个网站。
　　二、原型工具
　　
　　1. Axure RP，这是我最熟悉的原型制作软件，也是Windows上最常用的原型制作软件。它易于使用、使用快速且功能强大。国内有很多视频教程，这里是中文汉化包的下载地址：
　　2. Pencil Project，是一个比较小的工具，firefox浏览器的插件，安装地址：（记得用firefox浏览器）
　　3. OmniGraffle，这个软件只有Mac版，但是你可以用它来制作丰富漂亮的界面，值得一试。下载地址：也可以从Mac App Store下载。
　　4. MockingBot 是一款在线 iOS 产品原型设计工具。有免费版和两个付费版。注册后，您可以使用免费版本。您可以根据需要选择相应的版本。网站地址：
　　三、手机产品交互设计素材课
　　1. Mobile UI Patterns，可以按组件类型搜索，类型比较齐全。网址：
　　2.灵感UI，也可以按想要的组件类型搜索，网站风格比较新鲜。网址：
　　3. 可爱的ui，整理采集了很多UI素材图片，有分类标签。网址：
　　4. Mobile Design Pattern Gallery，这个网址确实很长……不过内容不错，就是不多。另外网站还介绍了一本叫《Mobile Design Pattern Gallery》的书，可能对开发者有用。网址：
　　5.pttrns,网站提供了一些更漂亮的大图，内容还不错。网址：
　　6. Patterns of Design，主要提供iPhone和iPad平台的素材，网址：
　　7. 4ourth Mobile Design Pattern Library，我只看到网页顶部写着“mobile patterns wiki”，不知道怎么弄，有兴趣可以去看看。网址：
　　8. android pttrns，从名字就可以猜到，主要是为Android平台采集的。网址：
　　要想做好工作，必须先利好工具！上面介绍的开发和操作工具都是我从各地整理出来的，希望对移动开发者有所帮助。
　　资源： 查看全部

　　文章采集软件app(文章采集软件app一款！采集方法分享，应有尽有)
　　文章采集软件app一款！采集方法分享，应有尽有，ios一键采集，安卓一键采集！软件主要有以下功能：1.采集方式一：通过链接进行2.采集方式二：通过二维码3.采集方式三：微信采集4.采集方式四：邮件采集5.采集方式五：模拟器采集（官方版本）另外，安卓版本可通过注册采集：采集网站：一些高清设备采集方式通过指定设备。
　　以u盘为例,用u盘采集安卓软件,再用自己需要的软件,如qq、qq空间、网易新闻、知乎、人人、懂车帝等等注册采集。使用方法跟上面一样，特别简单，批量采集一个网站的一批帖子以自动云存储。采集采集工具：一款只要安卓手机就可以采集任何采集上传，视频，图片，新闻、论坛的采集工具。操作方法：1.下载安装后在手机上安装安卓软件app软件主要有以下功能：1.采集方式一：通过链接进行；2.采集方式二：通过二维码进行；3.采集方式三：微信采集；4.采集方式四：邮件采集；5.采集方式五：模拟器采集（官方版本）；6.采集方式六：真机采集（固定采集）在手机上，软件有两种使用方法1.常规采集，下载安装后，将图片或者文件拖到软件顶部即可2.一键云存储，选择安卓软件app里的云存储，然后会自动备份，在下载所需文件的时候，选择所需备份文件即可。下载方法：下载完成需要备份原文件，备份时发送至上一个邮箱。 查看全部

　　文章采集软件app(appium上架：创建app应用程序进入编译/安装包(组图))
　　文章采集软件appium技术指南appium简介appium是一个跨平台的移动应用开发工具，由google开发，可用于web开发。目前google已经将appium组件开放给第三方，第三方开发者可以随意使用。appium的核心是fiddler和netbeans。fiddler可用于抓包和解析，netbeans可对编写好的代码进行调试。
　　appium的示例appium的示例代码在这里。ui上架过程总结创建app应用程序进入编译/安装包在“开发人员工具”-“基本配置”中，勾选appium，以创建一个fiddlerapi。确保appium已用于平台/语言。注意：不要使用llvm作为编译器。安装appium在fiddleremulator中，右键以选择安装。
　　选择语言，可选择所有语言，单击下一步。勾选对应的语言框，单击下一步。如果显示以下界面，单击继续。使用fiddlerserver(fiddlerapi)注意：fiddler是在移动设备上编写的。安装完成后，请等待安装包自动启动。fiddler的验证在netbeans中编写一个xml文件，然后点击fiddler->advanced，打开验证。
　　单击“runthisdirectorytotest”，然后单击“setuserurlsforc++”,如下图所示。name=“context.xml”，安装路径下web目录下的xml文件。点击确定。当fiddler验证完成后，fiddler用户会收到一条nc标志的验证邮件。登录nodejs应用程序创建应用程序：hostname=nodejs服务器的ip，即:5633-27317。
　　grantname=“user”，给fiddler.py帐户下的users.account赋予名称。单击start。给fiddler.py添加一个名为users.account的用户组，该组是为user组建立的。单击start。验证完成后，点击stop。以上步骤完成，单击stop。用fiddler2访问，会提示密码错误。
　　用fiddlercreatetoggle,会提示密码错误。用fiddlercreatetoggle，会提示密码错误。输入以下命令使密码错误，并进行修复。username:password.error:“passwordnotfound”。进行修复。nodejs应用程序创建服务器：hostname=fiddler.py服务器名，并修改users.account赋予同样的username。
　　单击start。单击stop。用fiddler2访问：ip:5633-27317.如果查看结果是“connectionisused”，说明开始时服务器运行成功。用fiddlercreatetoggle,会提示密码错误。进行修复。nodejs应用程序创建调试器：hostname=fiddler.py服务器名，并修改users.account。
　　单击start。单击stop。用fiddlercreatetoggle,会提示密码错误。进行修复。nodejs应用程序创建服务器：username:password.error:“connectionis。 查看全部

　　文章采集软件app(文章采集软件app工具开发咨询丁乙杰转发君)
　　文章采集软件app工具开发咨询丁乙杰转发dt君：我们在开发app的时候，需要重点对接大量第三方网站，为了简化人力物力成本，我们能有效的利用工具，实现有效的快速开发，然后通过云平台或直接服务客户都是可以接入的。希望下面分享的二十款工具，会给你一点帮助，
　　1、freemarker辅助工具：freemarker3采集app工具软件丁乙杰dt君一直在说，freemarker是一套完整的、面向对象的mvc框架，提供了一个统一性和一致性的控制器和视图模板，它提供了详细的视图管理机制，包括actions、prototypes、template、web，同时提供完整的contents、environments、uri相关信息。
　　freemarker开发的前端一般都是使用jquery、angular、react等开发，在这里就不再一一罗列了。asrasr是一个对象地址转换工具，能够快速将web视图转换为java视图，freemarkerasr的出现，不仅仅只是针对app开发者。包括前端，后端等所有开发者都能获得好的体验。
　　2、pubchemify：网页采集工具先来了解pubchemify一定是一件好事。虽然它功能相对比较简单，但是对于开发者们来说能有效的自动化采集功能，比如购物车订单查询、评论订单查询等等。前端有些时候查询数据较多，手动查询不方便，借助pubchemify能够很好的完成工作。pubchemify官网：index.php。
　　3、手机app大文件采集工具：思连通电脑端的自动抓包工具软件网上种类众多，但是工具软件都有自己的局限性，所以我们要找的抓包工具比较多，一个是手机端的，比如bt种子扫描器、迅雷“开始”种子下载器等，还有一个是电脑端的，比如开源的bookcrypt等。而安卓手机端抓包工具有btconfig、ucdeveloper等。但是这些app中大都会出现大文件采集的情况，前端app要多跑几台电脑，也不适合。
　　思连通可以满足你要的文件采集方式，只需一个浏览器，主要有如下几个特点：1.uc浏览器内置了国内一流搜索引擎，
　　0、搜狗、aliplay、迅雷、东方、电驴等搜索引擎。使用uc浏览器app使用rss获取资源，无需安装任何第三方浏览器插件，操作简单快捷；2.思连通是一款以网页直接在浏览器抓取各大搜索引擎结果的工具。能够自动提取最佳链接格式，实现站内收藏高转化，满足大部分网站收藏需求；3.思连通支持批量抓取各大搜索引擎。
　　思连通能够对网页批量进行切词、分词，并收集所有搜索结果的词频和ip地址、url及爬虫源等信息，还提供300多种搜索语言的在线翻译功能。思连通官网：。是一款功能强大的英文原版电子书下载网站工具，用户也可以在。 查看全部

　　文章采集软件app(店铺信息更新更快，多店铺，真的不错！)
　　文章采集软件app采集网，天猫，京东采集数据，包括销量，价格，标题，店铺地址。店铺信息更新更快，多店铺，多店铺。真的不错！天猫数据包，店铺信息包，数据包，店铺信息包，数据包，店铺信息包，数据包，店铺信息包，数据包，数据采集成功之后下载到本地的excel。
　　上传到阿里云上面，然后生成二维码，你懂的还有很多地方需要采集，你懂的如何把数据导出到电脑上呢1、首先需要有一个windows电脑2、下载并安装navicat客户端注意事项：如果是安装vs2015，可以在网上找一下，会有免费版。否则需要购买年费版。大概在3.98-5.99不等。如果价。 查看全部

　　文章采集软件app(迅睿CMS采集网站体验的好坏是影响网站最为关键因素
)
　　迅瑞cms开源框架由PHP+MySQL+Codeigniter架构，支持微信公众号、小程序、APP客户端、移动端网站、PC网站等多站点管理系统，满足不同用户在不同场景下的需求。随着百度算法的频繁调整，迅锐网站做采集站？有没有未来？答案肯定是肯定的。百度算法针对的采集对象是那些内容质量很差的纯采集网站，做迅锐cms采集一定要批量发布< @采集伪原创。发布前必须能同时推送百度、神马、360、搜狗等四大搜索引擎，
　　
　　但是，做好网站基础是前提。很多站长没有做相关的页面优化，自然搜索引擎就爬不上网站高了。现在对于SEO优化，仅仅针对PC端优化迅锐cms采集是远远不够的网站，迅锐cms采集也考虑到了移动端关键词排名，迅锐cms采集只做PC端跟不上时代的发展，导致流量越来越少网站可以get ，所以对于PC端和移动端的迅锐cms采集的优化不容忽视。
　　
　　迅锐cms采集网站体验质量是影响网站最关键的因素，垃圾网站很多，0权重的网站，网站体验基本零。迅锐cms采集在做关键词采集时支持SEO标签保留，迅锐cms采集支持保留标签：strong、span、p , img, div, 文章, h1、h2、h3、br, 脚本。迅锐cms采集选择保留主要的SEO标签，使文章的内容更符合搜索引擎的偏好。迅瑞cms采集的图片云存储支持多方位存储（七牛云/阿里巴巴云/游拍云/腾讯云/百度云/华为云/本地）。广告满地飞，很多图片无法正常加载，并且页面的CSS布局有问题。这些都是影响网站体验的重要因素。其中，有弹窗。频繁的弹窗只会适得其反，让客户反感。还有网站ico，这个制作项目很简单，百度教程就能看到。
　　
　　迅锐cms采集网站内容是排名的基础，所以迅锐cms采集定性定量地做网站内容，下-接地气的内容，真实客观的内容，专业深入的内容，用户觉得有价值的内容，从而吸引更多用户的关注。迅锐cms采集通过代理IP/VPS采集，目前很多大型网站访问同一个IP太频繁会被限制。@采集 绕过限制。迅锐cms采集支持内容清洗、电话号码清洗：手机号、座机号码、400电话号码等。迅锐cms采集可以清洗网址：纯域名、带http(s)的URL、邮箱等。迅锐cms采集支持公司名称清洗：XXX公司，XXXXX保洁。我现在做的最好的网站可以是UGC模型，也就是内容由家庭生成，比如：知乎，百度经验百度知道；其次是网站专业文章编辑团队保证制作出具有专业深度和接地气的优质内容，从而吸引更多用户的关注。
　　在做SEO的过程中，一定要绑定网站站长平台，比如百度站长平台、360站长平台、搜狗站长平台，这些都经过验证，网站是否有安装自动推送代码，或者主动提交链接等，这些都可以通过迅锐cms采集一键完成，支持百度、神马、360、搜狗自动发布自动推送这四大搜索引擎。迅锐cms采集可以为搜索引擎推送，迅锐cms采集支持百度、谷歌、搜狗、360、必应、神马等自动推送。迅锐cms采集可以在当天主动将网站新制作的内容链接推送到搜索引擎，缩短爬虫发现时间，
　　
　　迅瑞cms采集通过关键词采集展现超强悍的关键词采集功能，帮你找到流量最多、搜索最多的用户，最昂贵的 关键词 广告点击。讯锐cms采集提供关键词，这是最准确的关键词，每天搜索最多。100% 准确。而迅锐cms采集可以根据这些信息优先选择合适的关键词优化。网络优化应该覆盖全网，而不是几个关键词，所以网站在优化的前期，网站定位要做好，更有价值关键词 ，建立自己的关键词词库，所以至少要有成百上千的关键词。迅瑞cms采集
　　迅锐cms采集目前支持主流cms/站群/spider pool/免登录批量自动发布，无需写规则，无需上传插件，迅锐< @cms采集一键配置采集发布几十个不同站点cms站群。二是优化网站TDK标签，把网站core关键词适当的放在里面，让SEO排名变得越来越容易。
　　
　　迅锐cms采集基于全网高度智能的文本识别算法采集，使迅锐cms采集能够进行关键词< @k11@ >直接输入关键词采集内容，不写采集规则。迅锐cms采集覆盖六大搜索引擎和各大新闻源，让内容取之不尽的优先级采集最新最热的文章资讯，迅锐cms 采集自动过滤已经采集的消息，拒绝重复采集。总之，今天做网站SEO需要注意的内容细节会越来越多，同时要想在搜索引擎中获得好的排名，还需要网站 不断更新优质内容。是必不可少的一步。迅锐cms采集可以把伪原创图片做成原创图片，迅锐cms采集会主动给图片加水印使图片形成百分之一百 原创。
　　
　　迅锐cms采集支持内容转换，迅锐cms采集可以将内容转繁体/内容转英文/内容转火星/内容转拼音。只要按照上面的优化步骤，坚持做好迅锐cms采集，那么网站就比较容易实现幂1和幂2了。
　　同时还有好的内容，你的网站访问速度，页面的美观，网站制作服务器的效果，是否安全，网站的方便等。虽然它是一个细节，但有时会导致致命的定位。
　　关于迅锐cms采集相关分享就到这里，记住SEO是内容为王的时代，好的迅锐cms采集可以网站SEO的排名和收录都有了很大的进步。如果你喜欢我的文章，不妨点三下。
　　 查看全部