自动识别采集内容

自动识别采集内容

安卓手机上seolove5simouipdf工具，可以免费在线工具编辑吗？

采集交流 • 优采云 发表了文章 • 0 个评论 • 47 次浏览 • 2022-06-28 13:00 • 来自相关话题

　　安卓手机上seolove5simouipdf工具，可以免费在线工具编辑吗？
　　自动识别采集内容，自动打包上传，上传微信公众号素材，可以给自己公众号自动更新模板文章，微信编辑器模板都不错，主要是操作简单。
　　安卓手机上seolove5simouipdf工具，
　　
　　据我所知有个开源seo解决方案wordpress开发的平台。可以免费在线工具编辑。
　　我有个小工具zuul帮助你解决目前我认为最难的编辑工作但是需要内容原始的。如果你微信开发者或者内容爬虫接入，就没那么难了。但是php一样可以爬虫，
　　
　　推荐个第三方工具-青雀云excel插件。找了几篇相关的文章图片以及使用步骤。大家可以看看了解一下。使用这个excel插件，你就可以一键全网公众号文章、历史消息查询，当前数据、以及内容延展阅读分析等。这些功能基本就涵盖了国内绝大部分微信公众号文章，从头条公众号文章，到百家公众号文章，再到腾讯公众号文章，到百度等竞价平台文章。
　　用微信公众号开发者工具就可以编辑了，或者后台调试接口编辑，目前免费和开源工具有青雀云、文微等，
　　自动查找小程序、网站的素材文章（公众号素材、小程序素材）。可以免费收集公众号素材、小程序的页面，很实用的工具。原创保护自动保存每篇推文，如果你是原创，可以隐藏掉原文链接。全网查找每篇推文和链接，绝对安全。 查看全部

　　安卓手机上seolove5simouipdf工具，可以免费在线工具编辑吗？
　　自动识别采集内容，自动打包上传，上传微信公众号素材，可以给自己公众号自动更新模板文章，微信编辑器模板都不错，主要是操作简单。
　　安卓手机上seolove5simouipdf工具，
　　
　　据我所知有个开源seo解决方案wordpress开发的平台。可以免费在线工具编辑。
　　我有个小工具zuul帮助你解决目前我认为最难的编辑工作但是需要内容原始的。如果你微信开发者或者内容爬虫接入，就没那么难了。但是php一样可以爬虫，
　　
　　推荐个第三方工具-青雀云excel插件。找了几篇相关的文章图片以及使用步骤。大家可以看看了解一下。使用这个excel插件，你就可以一键全网公众号文章、历史消息查询，当前数据、以及内容延展阅读分析等。这些功能基本就涵盖了国内绝大部分微信公众号文章，从头条公众号文章，到百家公众号文章，再到腾讯公众号文章，到百度等竞价平台文章。
　　用微信公众号开发者工具就可以编辑了，或者后台调试接口编辑，目前免费和开源工具有青雀云、文微等，
　　自动查找小程序、网站的素材文章（公众号素材、小程序素材）。可以免费收集公众号素材、小程序的页面，很实用的工具。原创保护自动保存每篇推文，如果你是原创，可以隐藏掉原文链接。全网查找每篇推文和链接，绝对安全。

【自研】东鸽用 Go 语言写了一个能够自动解析新闻网页的算法

采集交流 • 优采云 发表了文章 • 0 个评论 • 63 次浏览 • 2022-06-19 01:34 • 来自相关话题

　　【自研】东鸽用 Go 语言写了一个能够自动解析新闻网页的算法
　　
　　"NightTeam"，一个值得加星标
　　
　　的公众号。
　　输入网页文本(不需要输入 xpath)，自动结构化输出标题、发布时间、正文、作者、来源等信息。
　　
　　为了流量，标题有点唬。但算法确实可以做到多源、多站点通用，目前已经应用在生产环境当中，效果可以。
　　先体验一下
　　打开体验地址(或者点击下方的阅读原文) -> 体验页面[1] ，体验页面比较简单，主要划分了 3 个区域：体验须知、参数输入区、解析结果展示区。
　　在开始体验前，大家可以阅读一下体验须知。
　　① 打开一个新闻网页，例如 永福：林业科技特派员助力麻竹种植[2]。
　　② 然后在页面空白处右键，在弹出的选项卡里选中查看页面源代码
　　
　　然后我们就看到浏览器新窗口里显示的网页原文本
　　③ 全选文本，复制下来。找一个 Base64 编码的在线工具[3]
　　④ 将复制的网页原文本粘贴到框 1 中，然后点击加密按钮，届时相应的 Base64 编码就会出现在框 2 中，点击复制按钮即可把内容复制到剪贴板
　　⑤ 回到我们的体验页，把 Base64 内容粘贴到参数输入区的网页框里，并在网址处填入这篇文章对应的网址。
　　⑥ 点击开始分析按钮，稍等一会儿，体验页上会弹出一个关于解析结果的提示。然后你就可以滑到下方的解析结果展示区查看解析结果了。
　　
　　解析结果展示区主要分为 3 个部分：接口信息、解析耗时统计、解析结果。
　　其中接口信息主要是后端接口返回的一些信息；
　　解析耗时统计则是每个环节的耗时记录，单位为毫秒；
　　解析结果处会显示这个算法的成果，例如文章标题、文章来源、文章发布时间、文章作者、文章正文、正文所在的 HTML 标签、正文所在 HTML 标签的 Class 属性等。
　　还有根据正文内容计算出来的文章分类、文章标签、文章摘要等。多实体命名+情感分析还在训练中，所以体验页还没有。
　　我推荐你动手找一些其他新闻类网页，用同样的方式复制、粘贴到体验页进行体验，看看算法的结果如何。
　　这个算法有什么用处
　　这种算法在工具应用方面其实我们早已见过：早些年 360 浏览器推出的阅读模式，差不多就是这样的算法。阅读模式可以把那些广告、侧栏、底栏内容都屏蔽掉，让你可以专心阅读文档和小说。
　　在研发层面，它也发挥着不小的作用。我们来看一些业务场景：
　　① 假设一个舆情类的公司，它采集新闻文章数据，对内容进行提取后进行标记、训练，最后形成一款舆情产品(例如百什么舆情、什么浪舆情)。
　　
　　② 再举个栗子，假设一个招投标类的公司，它采集招标类信息，然后对内容进行格式化提取，取出招标标题、标的金额、招标方信息、代理方信息、投标要求等，就可以形成一款招标产品(例如千什么马招标)。
　　无论是新闻类网站，还是招投标信息类网站，站点数量都是非常庞大的，通常以万计。按照普遍做法，招一批爬虫工程师+一批专门写 xpath 规则的工作人员（通常是苦命的实习生），从这上万个站点中一个个 xpath 填写，然后爬虫采集的时候读取对应的 xpath 进行解析。
　　
　　几十、一百个网站还好说，这上万个站点的数据想要全填进来，得好几个月。而且有些网站会出现页面规则改动，导致解析不到数据，那就需要每天都更新 xpath。你想想这工作量……
　　但是有了这样的算法，就不需要一个个 xpath 填写了。
　　
　　你的团队/公司可以在短时间内采集到大量的数据，你说开不开心
　　这样的算法厉害吗
　　厉不厉害先不说，我们看看目前哪些地方有这样的算法或者产品。
　　1、之前有提到过 360 浏览器（现在其他厂商的浏览器）有这样的产品。
　　2、微软好像有类似能力，还开放了 API 接口。
　　3、国外开源的 Python 库 Readability。
　　4、国内开源的 Python 库 GNE。
　　5、国内一些硕士的研究论文(可以在百度文库搜到)。
　　6、其他基于深度学习的库，不记得名字了。我记得微软工程师崔庆才写过。
　　7、国外一个网站，名字忘记了，收费的，很贵很贵。
　　8、国外有一款 Java 写的，名字里带 News 的，忘记了。
　　大家现在体验的这款算法，启蒙于 GNE。GNE 早期我通读过源码，跟原作者有过很多交流，请教过很多知识。后来我写的书《Python3 网络爬虫宝典》中有一章是讲解 GNE 算法原理和源码的，在此再次感谢 GNE 作者青南。
　　浏览器的阅读模式我体验过、Readability 我通过读源码、国内能找到的相关论文我也通读了一遍。目前深度学习相关的库、收费的接口没有测试过。
　　这类自动解析算法的好坏在几点：效率、提取能力、准确率。我对自己接触过的几个算法评价一下：
　　1、Readabiliti 是基于 HTML 标签权重进行评分的，例如 p 标签的权重比 div 的高、h 的比 span 的高等等。在很规范的新闻网站中，效果还可以，但大体上算出来的结果，很是离谱。
　　2、GNE-早期，GNE 早期是基于标点符号密度的，90% 以上的网页正文解析都没什么问题。但是在实际应用中发现几个问题：内容会被截断、正文字少的会识别错误、发布时间跟页面显示不同等。正文提取相关的问题，都是因为密度算法导致的。时间不准则是因为提取优先级和逻辑选择了另一种方式。
　　3、国内论文，因为国外的我看不懂，我只能搜国内的来看。普遍来看，基于文字密度、标点符号密度、位置、距离等等，效果其实都是不怎么好的。这里你可能会问，为什么论文里的结果很好?
　　那是因为测试的样本选得好啊！！！
　　4、GNE-现代，GNE 现代款是基于人类视觉+新闻网页特征规则编写的，大体的逻辑是网页内容通常在网页的中间，这样可以排除左右和上下的噪声。中间的噪声通过块的长短来进行判断，最终可以提取到很准确的正文。
　　
　　技术细节不能泄露太多，我举个例子。上图中的蓝色块是放置图片的位置。站在 GNE-现代的视角，它会认为蓝色块的宽度跟下面文本的宽度不同，因此这块就会是噪声，应当排除。
　　那些需要大量样本训练的深度学习类算法咱就不说了，毕竟没有亲身体验过。但有一点可以确定，单纯靠分类、回归类的深度学习是不可能取得好成绩的。不知道现在 bert 模型出来后，有没有人训练出更好的模型。
　　对比小结：上面列举的例子中，GNE-现代款的正文部分提取效果是最好的，但我记得它需要浏览器进行渲染，在效率方面好像还没有找到很好的解决方案。
　　
　　本文的算法，大家可以体验一下，毕竟实际体验才能证明好与不好。我觉得目前在效率+准确率+提取能力多方面综合来看，本文的算法能够排得上名次(这是一句很谦虚的话)。
　　放一个群友提供的哔哩哔哩专栏的解析效果。
　　
　　算法逻辑是怎样的
　　不好意思，这个问题我现在不打算讨论，也还没到开源的时候，下一个。
　　参考了哪些算法
　　正如前面所提到的，我读过 Readability、GNE-早期 的源码，又看过了国内大部分相关论文。
　　最开始我是基于 GNE-早期 进行优化和改造的。
　　翻阅了大量的深度学习相关资料，终于确定不再走这条路线，因为事实证明效果都没有达到我想要的效果。
　　后来突然有一天，我在那里看着《天行九歌》抉择那一集，就有了灵感。经过短暂的 coding 后进行了测试，发现结果可行，就一头扎了进去。这一扎，就是20年……
　　不对
　　是 200 天
　　可以横向扩展到哪些领域
　　现在主要应用在新闻类数据解析中，后面可以扩展到招投标网页解析、电商网页解析、药品网页解析等等。
　　如果你从深度学习的角度来看，它们可能需要做不同的训练、准备不同的样本、使用不一样的算法模型。但从我这个算法原理来看，它们都是一样的，适当改动就可以得到另一个领域的解析算法。
　　References
　　[1] 体验页面: :3597/
　　[2] 永福：林业科技特派员助力麻竹种植:
　　[3] 在线工具: 查看全部

　　【自研】东鸽用 Go 语言写了一个能够自动解析新闻网页的算法
　　
　　"NightTeam"，一个值得加星标
　　
　　的公众号。
　　输入网页文本(不需要输入 xpath)，自动结构化输出标题、发布时间、正文、作者、来源等信息。
　　
　　为了流量，标题有点唬。但算法确实可以做到多源、多站点通用，目前已经应用在生产环境当中，效果可以。
　　先体验一下
　　打开体验地址(或者点击下方的阅读原文) -> 体验页面[1] ，体验页面比较简单，主要划分了 3 个区域：体验须知、参数输入区、解析结果展示区。
　　在开始体验前，大家可以阅读一下体验须知。
　　① 打开一个新闻网页，例如 永福：林业科技特派员助力麻竹种植[2]。
　　② 然后在页面空白处右键，在弹出的选项卡里选中查看页面源代码
　　
　　然后我们就看到浏览器新窗口里显示的网页原文本
　　③ 全选文本，复制下来。找一个 Base64 编码的在线工具[3]
　　④ 将复制的网页原文本粘贴到框 1 中，然后点击加密按钮，届时相应的 Base64 编码就会出现在框 2 中，点击复制按钮即可把内容复制到剪贴板
　　⑤ 回到我们的体验页，把 Base64 内容粘贴到参数输入区的网页框里，并在网址处填入这篇文章对应的网址。
　　⑥ 点击开始分析按钮，稍等一会儿，体验页上会弹出一个关于解析结果的提示。然后你就可以滑到下方的解析结果展示区查看解析结果了。
　　
　　解析结果展示区主要分为 3 个部分：接口信息、解析耗时统计、解析结果。
　　其中接口信息主要是后端接口返回的一些信息；
　　解析耗时统计则是每个环节的耗时记录，单位为毫秒；
　　解析结果处会显示这个算法的成果，例如文章标题、文章来源、文章发布时间、文章作者、文章正文、正文所在的 HTML 标签、正文所在 HTML 标签的 Class 属性等。
　　还有根据正文内容计算出来的文章分类、文章标签、文章摘要等。多实体命名+情感分析还在训练中，所以体验页还没有。
　　我推荐你动手找一些其他新闻类网页，用同样的方式复制、粘贴到体验页进行体验，看看算法的结果如何。
　　这个算法有什么用处
　　这种算法在工具应用方面其实我们早已见过：早些年 360 浏览器推出的阅读模式，差不多就是这样的算法。阅读模式可以把那些广告、侧栏、底栏内容都屏蔽掉，让你可以专心阅读文档和小说。
　　在研发层面，它也发挥着不小的作用。我们来看一些业务场景：
　　① 假设一个舆情类的公司，它采集新闻文章数据，对内容进行提取后进行标记、训练，最后形成一款舆情产品(例如百什么舆情、什么浪舆情)。
　　
　　② 再举个栗子，假设一个招投标类的公司，它采集招标类信息，然后对内容进行格式化提取，取出招标标题、标的金额、招标方信息、代理方信息、投标要求等，就可以形成一款招标产品(例如千什么马招标)。
　　无论是新闻类网站，还是招投标信息类网站，站点数量都是非常庞大的，通常以万计。按照普遍做法，招一批爬虫工程师+一批专门写 xpath 规则的工作人员（通常是苦命的实习生），从这上万个站点中一个个 xpath 填写，然后爬虫采集的时候读取对应的 xpath 进行解析。
　　
　　几十、一百个网站还好说，这上万个站点的数据想要全填进来，得好几个月。而且有些网站会出现页面规则改动，导致解析不到数据，那就需要每天都更新 xpath。你想想这工作量……
　　但是有了这样的算法，就不需要一个个 xpath 填写了。
　　
　　你的团队/公司可以在短时间内采集到大量的数据，你说开不开心
　　这样的算法厉害吗
　　厉不厉害先不说，我们看看目前哪些地方有这样的算法或者产品。
　　1、之前有提到过 360 浏览器（现在其他厂商的浏览器）有这样的产品。
　　2、微软好像有类似能力，还开放了 API 接口。
　　3、国外开源的 Python 库 Readability。
　　4、国内开源的 Python 库 GNE。
　　5、国内一些硕士的研究论文(可以在百度文库搜到)。
　　6、其他基于深度学习的库，不记得名字了。我记得微软工程师崔庆才写过。
　　7、国外一个网站，名字忘记了，收费的，很贵很贵。
　　8、国外有一款 Java 写的，名字里带 News 的，忘记了。
　　大家现在体验的这款算法，启蒙于 GNE。GNE 早期我通读过源码，跟原作者有过很多交流，请教过很多知识。后来我写的书《Python3 网络爬虫宝典》中有一章是讲解 GNE 算法原理和源码的，在此再次感谢 GNE 作者青南。
　　浏览器的阅读模式我体验过、Readability 我通过读源码、国内能找到的相关论文我也通读了一遍。目前深度学习相关的库、收费的接口没有测试过。
　　这类自动解析算法的好坏在几点：效率、提取能力、准确率。我对自己接触过的几个算法评价一下：
　　1、Readabiliti 是基于 HTML 标签权重进行评分的，例如 p 标签的权重比 div 的高、h 的比 span 的高等等。在很规范的新闻网站中，效果还可以，但大体上算出来的结果，很是离谱。
　　2、GNE-早期，GNE 早期是基于标点符号密度的，90% 以上的网页正文解析都没什么问题。但是在实际应用中发现几个问题：内容会被截断、正文字少的会识别错误、发布时间跟页面显示不同等。正文提取相关的问题，都是因为密度算法导致的。时间不准则是因为提取优先级和逻辑选择了另一种方式。
　　3、国内论文，因为国外的我看不懂，我只能搜国内的来看。普遍来看，基于文字密度、标点符号密度、位置、距离等等，效果其实都是不怎么好的。这里你可能会问，为什么论文里的结果很好?
　　那是因为测试的样本选得好啊！！！
　　4、GNE-现代，GNE 现代款是基于人类视觉+新闻网页特征规则编写的，大体的逻辑是网页内容通常在网页的中间，这样可以排除左右和上下的噪声。中间的噪声通过块的长短来进行判断，最终可以提取到很准确的正文。
　　
　　技术细节不能泄露太多，我举个例子。上图中的蓝色块是放置图片的位置。站在 GNE-现代的视角，它会认为蓝色块的宽度跟下面文本的宽度不同，因此这块就会是噪声，应当排除。
　　那些需要大量样本训练的深度学习类算法咱就不说了，毕竟没有亲身体验过。但有一点可以确定，单纯靠分类、回归类的深度学习是不可能取得好成绩的。不知道现在 bert 模型出来后，有没有人训练出更好的模型。
　　对比小结：上面列举的例子中，GNE-现代款的正文部分提取效果是最好的，但我记得它需要浏览器进行渲染，在效率方面好像还没有找到很好的解决方案。
　　
　　本文的算法，大家可以体验一下，毕竟实际体验才能证明好与不好。我觉得目前在效率+准确率+提取能力多方面综合来看，本文的算法能够排得上名次(这是一句很谦虚的话)。
　　放一个群友提供的哔哩哔哩专栏的解析效果。
　　
　　算法逻辑是怎样的
　　不好意思，这个问题我现在不打算讨论，也还没到开源的时候，下一个。
　　参考了哪些算法
　　正如前面所提到的，我读过 Readability、GNE-早期 的源码，又看过了国内大部分相关论文。
　　最开始我是基于 GNE-早期 进行优化和改造的。
　　翻阅了大量的深度学习相关资料，终于确定不再走这条路线，因为事实证明效果都没有达到我想要的效果。
　　后来突然有一天，我在那里看着《天行九歌》抉择那一集，就有了灵感。经过短暂的 coding 后进行了测试，发现结果可行，就一头扎了进去。这一扎，就是20年……
　　不对
　　是 200 天
　　可以横向扩展到哪些领域
　　现在主要应用在新闻类数据解析中，后面可以扩展到招投标网页解析、电商网页解析、药品网页解析等等。
　　如果你从深度学习的角度来看，它们可能需要做不同的训练、准备不同的样本、使用不一样的算法模型。但从我这个算法原理来看，它们都是一样的，适当改动就可以得到另一个领域的解析算法。
　　References
　　[1] 体验页面: :3597/
　　[2] 永福：林业科技特派员助力麻竹种植:
　　[3] 在线工具:

健康码、行程码可自动识别！自动收集，填表核对更轻松

采集交流 • 优采云 发表了文章 • 0 个评论 • 294 次浏览 • 2022-06-18 12:18 • 来自相关话题

　　健康码、行程码可自动识别！自动收集，填表核对更轻松
　　返工返校，为做好疫情防控工作，老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　 查看全部

　　健康码、行程码可自动识别！自动收集，填表核对更轻松
　　返工返校，为做好疫情防控工作，老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　

自动识别采集内容，自动订单同步，流量翻倍！(图)

采集交流 • 优采云 发表了文章 • 0 个评论 • 89 次浏览 • 2022-06-11 19:00 • 来自相关话题

　　自动识别采集内容，自动订单同步，流量翻倍！(图)
　　自动识别采集内容，自动订单同步，流量翻倍！自动压缩，
　　就像你说的，自动化操作是最轻松的一种方式。自动化操作优势在于效率提高，团队压力小，省事省力，不用大量的去添加新品，降低人力成本。问题就在于售后，价格压力的变化，操作标准化程度的提高。我们推出了一款自动化营销系统，专门用于电商的线上渠道引流，通过自动化操作，方便快捷的让商家在短期内，高效的展现自己的产品，通过自己手动推广，累积知名度，或者吸引人们的关注，并帮助商家完成转化。这款系统，团队压力小，售后成本低，操作标准化。所以推荐！。
　　一个是引流一个是转化
　　首先如果产品要做自动化操作，第一次打开系统操作时需要实时推送给买家，第二次要打开浏览器，首先要选择这个商品，进入浏览器，登录到账号，然后再点左边我的商品就出现了商品的订单查询的界面，进入我的订单，就可以看到该订单属于哪个渠道的，选择一下就行了，即使不精准，
　　一开始的时候，大部分是以团队操作为主，当有几个卖家的产品非常多的时候，买家在每个渠道中搜索商品的话，一个一个选择的话，这个工作量很大，所以，就需要一个可以快速自动转化的引流平台。 查看全部

　　自动识别采集内容，自动订单同步，流量翻倍！(图)
　　自动识别采集内容，自动订单同步，流量翻倍！自动压缩，
　　就像你说的，自动化操作是最轻松的一种方式。自动化操作优势在于效率提高，团队压力小，省事省力，不用大量的去添加新品，降低人力成本。问题就在于售后，价格压力的变化，操作标准化程度的提高。我们推出了一款自动化营销系统，专门用于电商的线上渠道引流，通过自动化操作，方便快捷的让商家在短期内，高效的展现自己的产品，通过自己手动推广，累积知名度，或者吸引人们的关注，并帮助商家完成转化。这款系统，团队压力小，售后成本低，操作标准化。所以推荐！。
　　一个是引流一个是转化
　　首先如果产品要做自动化操作，第一次打开系统操作时需要实时推送给买家，第二次要打开浏览器，首先要选择这个商品，进入浏览器，登录到账号，然后再点左边我的商品就出现了商品的订单查询的界面，进入我的订单，就可以看到该订单属于哪个渠道的，选择一下就行了，即使不精准，
　　一开始的时候，大部分是以团队操作为主，当有几个卖家的产品非常多的时候，买家在每个渠道中搜索商品的话，一个一个选择的话，这个工作量很大，所以，就需要一个可以快速自动转化的引流平台。

批量下载网页源代码，就可以采集热点新闻视频了

采集交流 • 优采云 发表了文章 • 0 个评论 • 98 次浏览 • 2022-06-10 09:01 • 来自相关话题

　　批量下载网页源代码，就可以采集热点新闻视频了
　　自动识别采集内容，并且能自动下载网页源代码。接下来就是批量下载网页源代码，就可以采集热点新闻视频了。新闻视频采集其实很简单的，重点还是python编程语言，可以学习一下《利用python进行数据分析》这本书，相信会对你有帮助，也是免费的。
　　不用任何软件，然后一台电脑，一根网线。去找个小网站，抓取自己需要的网页视频。可以找一些代码网站，如：excelhome技术交流贴吧等，会有代码，但只能抓取一部分。这样就完了？不！很粗糙，需要有人，有任务，有执行力。你可以找网上找一些get包或者采集大师、excelhome交流群等，不但可以爬虫，而且也会教你怎么做。
　　靠，网上有一些免费的爬虫软件可以用，也有些，需要的话帮你推荐，
　　老大，怎么会知道我爱看这个视频，
　　我跟你一样的境遇，有了个别字段，没有地方存储，只能是存在服务器上，想要存在本地，
　　我也需要各种视频我有个个人站，图片在verycd上有啊但是不全python可以做下面的工作（纯代码）1将某宝某东推荐的视频抓取下来2转换成网页3找到每个推荐视频的url，post到。
　　python可以做网页爬虫；linux能跑；python可以用于数据分析。等等...本人信息安全行业，现在从事互联网金融监管服务工作。 查看全部

　　批量下载网页源代码，就可以采集热点新闻视频了
　　自动识别采集内容，并且能自动下载网页源代码。接下来就是批量下载网页源代码，就可以采集热点新闻视频了。新闻视频采集其实很简单的，重点还是python编程语言，可以学习一下《利用python进行数据分析》这本书，相信会对你有帮助，也是免费的。
　　不用任何软件，然后一台电脑，一根网线。去找个小网站，抓取自己需要的网页视频。可以找一些代码网站，如：excelhome技术交流贴吧等，会有代码，但只能抓取一部分。这样就完了？不！很粗糙，需要有人，有任务，有执行力。你可以找网上找一些get包或者采集大师、excelhome交流群等，不但可以爬虫，而且也会教你怎么做。
　　靠，网上有一些免费的爬虫软件可以用，也有些，需要的话帮你推荐，
　　老大，怎么会知道我爱看这个视频，
　　我跟你一样的境遇，有了个别字段，没有地方存储，只能是存在服务器上，想要存在本地，
　　我也需要各种视频我有个个人站，图片在verycd上有啊但是不全python可以做下面的工作（纯代码）1将某宝某东推荐的视频抓取下来2转换成网页3找到每个推荐视频的url，post到。
　　python可以做网页爬虫；linux能跑；python可以用于数据分析。等等...本人信息安全行业，现在从事互联网金融监管服务工作。

自动识别采集内容、文本爬虫多线程等多种高级程序架构

采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-09 17:10 • 来自相关话题

　　自动识别采集内容、文本爬虫多线程等多种高级程序架构
　　自动识别采集内容、文本爬虫多线程等多种高级程序架构自动规则提取自动填充自动复制自动排序自动切词再到文本生成，合成，数据挖掘分析用最原始的方法调参、压缩、解压就能得到最有价值的数据还能自动根据使用情况创建更全的副本保证同步更新（数据量小）甚至可以自动收集整个网站的数据，将部分关键词作为xxx使用。具体可以参见诸葛io的《10分钟自动提取数据的程序开发》。
　　我开发过一个爬虫系统，爬下来的就是字幕翻译的结果，翻译质量还不错，供你参考。基本上把数据分析的部分和效率部分完全实现了。
　　手动翻译app,简单高效
　　requests+python
　　下个语言字幕组，直接把文本传给字幕组。需要提取哪一个台词，自己用机器翻译一下台词。
　　python+jieba+scikit-learn这一套下来，谁还用人工翻译。
　　captchalabelprocessing
　　python+tensorflow+googleapi这样一个web翻译应该可以搞定，web+liujiyun+websocket+ip解析+resharper+parselist+log...这样一个api貌似也可以搞定。
　　有个爬虫软件叫[六六体彩]，支持爬取九亿的历史数据的，直接可以从数据库读取资料出来自己查阅。支持windows与linux。 查看全部

　　自动识别采集内容、文本爬虫多线程等多种高级程序架构
　　自动识别采集内容、文本爬虫多线程等多种高级程序架构自动规则提取自动填充自动复制自动排序自动切词再到文本生成，合成，数据挖掘分析用最原始的方法调参、压缩、解压就能得到最有价值的数据还能自动根据使用情况创建更全的副本保证同步更新（数据量小）甚至可以自动收集整个网站的数据，将部分关键词作为xxx使用。具体可以参见诸葛io的《10分钟自动提取数据的程序开发》。
　　我开发过一个爬虫系统，爬下来的就是字幕翻译的结果，翻译质量还不错，供你参考。基本上把数据分析的部分和效率部分完全实现了。
　　手动翻译app,简单高效
　　requests+python
　　下个语言字幕组，直接把文本传给字幕组。需要提取哪一个台词，自己用机器翻译一下台词。
　　python+jieba+scikit-learn这一套下来，谁还用人工翻译。
　　captchalabelprocessing
　　python+tensorflow+googleapi这样一个web翻译应该可以搞定，web+liujiyun+websocket+ip解析+resharper+parselist+log...这样一个api貌似也可以搞定。
　　有个爬虫软件叫[六六体彩]，支持爬取九亿的历史数据的，直接可以从数据库读取资料出来自己查阅。支持windows与linux。

自动识别采集内容，适合做网站，大龄单身汪了吗

采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-09 02:03 • 来自相关话题

　　自动识别采集内容，适合做网站，大龄单身汪了吗
　　自动识别采集内容，适合做网站，app，微信公众号，包括微博也行，自动抓取微博，知乎，豆瓣等平台内容，还可以保存网站内容，非常方便。前端代码是html5,css3，javascript。
　　也只有我这样的大龄单身汪了吗这个，
　　就算是百分百匹配，你告诉我有什么用。还不如照片呢，
　　为什么要约呢？你能确定我看上你的颜值人品，
　　事实上有时候面试就是瞎聊天，可以尝试聊些有意思的话题，打发时间也可以知道对方喜欢什么不喜欢什么，当然，首先要肯定的是人品和性格靠谱。
　　你不敢确定对方喜欢你，
　　长得帅的我见过，颜值好的我看过，你也长得帅又不屑找对象，不如找我呢。说不定我也在安等着你，干嘛不试一试呢。这样子既不尴尬，又能知道对方的喜好。
　　长得还行，那就就从现在开始，从数据分析入手吧。
　　首先是眼缘，
　　颜值高，选择就多。但同时，颜值高的太多了，你能获得的就更多。从数据分析的角度来看，实在是太简单了。所以，如果你经济条件不错，不如去找找身边的人，问问有没有钱的可以投资，因为数据的采集，简单，但是要耗费人力物力，一对一几句话就完事了，互联网行业的恶臭传闻就不多说了。同时，人工智能要花很多的时间在上面，要是经济条件不是特别好，不建议一步到位，得做长线规划。
　　从打字的字里行间就能看出，你应该没有相关的基础知识。单纯的信息采集软件，基本可以忽略了。人工智能，要学，高中生可以试试，很有搞头。信息采集软件的优势在于它是模拟人说话，快速同时可以收集大量数据。 查看全部

　　自动识别采集内容，适合做网站，大龄单身汪了吗
　　自动识别采集内容，适合做网站，app，微信公众号，包括微博也行，自动抓取微博，知乎，豆瓣等平台内容，还可以保存网站内容，非常方便。前端代码是html5,css3，javascript。
　　也只有我这样的大龄单身汪了吗这个，
　　就算是百分百匹配，你告诉我有什么用。还不如照片呢，
　　为什么要约呢？你能确定我看上你的颜值人品，
　　事实上有时候面试就是瞎聊天，可以尝试聊些有意思的话题，打发时间也可以知道对方喜欢什么不喜欢什么，当然，首先要肯定的是人品和性格靠谱。
　　你不敢确定对方喜欢你，
　　长得帅的我见过，颜值好的我看过，你也长得帅又不屑找对象，不如找我呢。说不定我也在安等着你，干嘛不试一试呢。这样子既不尴尬，又能知道对方的喜好。
　　长得还行，那就就从现在开始，从数据分析入手吧。
　　首先是眼缘，
　　颜值高，选择就多。但同时，颜值高的太多了，你能获得的就更多。从数据分析的角度来看，实在是太简单了。所以，如果你经济条件不错，不如去找找身边的人，问问有没有钱的可以投资，因为数据的采集，简单，但是要耗费人力物力，一对一几句话就完事了，互联网行业的恶臭传闻就不多说了。同时，人工智能要花很多的时间在上面，要是经济条件不是特别好，不建议一步到位，得做长线规划。
　　从打字的字里行间就能看出，你应该没有相关的基础知识。单纯的信息采集软件，基本可以忽略了。人工智能，要学，高中生可以试试，很有搞头。信息采集软件的优势在于它是模拟人说话，快速同时可以收集大量数据。

又一批！App涉嫌采集隐私！10大常见违规问题送上

采集交流 • 优采云 发表了文章 • 0 个评论 • 372 次浏览 • 2022-06-01 16:00 • 来自相关话题

　　又一批！App涉嫌采集隐私！10大常见违规问题送上
　　明示“用户隐私声明”的较少，服务协议与隐私声明不区分，用户隐私声明内容多作为章节或段落呈现在“服务协议”或“用户许可”等文本中。
　　问题6：默认“勾选同意”
　　由于智能手机屏幕小，用户隐私声明通常以二次链接或者多次跳转链接的形式呈现在注册或设置界面。安装App时默认勾选用户协议和隐私政策，若用户拒绝信息收集，则自动视为拒绝该服务，等于强制用户接受App开发商的隐私政策。
　　问题7：频繁索权，后台高频次搜集信息
　　对于用户可选提供的系统权限，在用户拒绝后，每当其重新打开App或进入相应界面，都会再次向用户索要或以弹窗等形式提示用户缺少相关权限，干扰用户正常使用，属于一种变相的强制索权。且存在App后台大量收集用户信息并频繁调用的情况。
　　问题8：隐私政策内容与实际不符
　　隐私政策所声明收集的个人信息/系统权限以及提供的业务功能等，与实际情况不一致，存在隐瞒、冗余、偏差、错误或内容不属实等问题。包括：实际收集个人信息超出隐私政策所述范围，即未完整告知所收集个人信息类型以及用于实现的功能或目的；实际收集个人信息少于隐私政策所述范围，即声明了实际并未收集的个人信息或实际并未提供的功能；以及隐私政策所述与实际情况存在明显偏差、错误，甚至出现大篇幅抄袭现象等。
　　问题9：隐瞒第三方SDK收集行为
　　App嵌入了收集用户个人信息的第三方SDK，未逐一列出收集使用个人信息的目的、方式和范围等，且向第三方提供个人信息未做匿名化处理。App对用户隐私声明的设置和呈现不够重视，也侧面体现了互联网企业对用户个人信息保护的力度不足。
　　问题10：未充分明示个人敏感信息使用规则
　　收集身份证号码、银行卡号，生物特征识别信息等个人敏感信息时，未以显著方式同步告知收集目的、使用规则，安全保护措施等。如App收集人脸信息前未展示单独协议或进行显著特殊说明，在用户点击“继续”后，App在无任何提示的情况下便开始采集用户的人脸信息。
　　安全建议
　　移动互联网时代，用户每天进行大量“数据排放”，有权了解个人信息被收集和使用的情况，并有权对不合理的收集和使用提出质疑，同时也呼吁广大企业主和平台重视个人信息保护。以下是针对上述情况，梆梆安全专家给出的几点安全建议：
　　用户方：建议通过正规的应用商店或官方渠道下载相关应用，同时要注意认真阅读其用户协议和隐私政策说明，不随意开放和同意不必要的隐私权限，不随意输入个人隐私信息，定期维护和清理相关数据，避免个人隐私信息被泄露。
　　应用开发商：应遵守相关规定，禁止超范围收集、使用个人信息，并重视个人信息保护。
　　应用分发平台：作为App走向市场的第一道关卡，应做好审核筛查工作，严格落实App信息审核、重点审核App上架流程等要求。
　　梆梆安全助力移动应用合规
　　
　　梆梆安全移动应用合规平台，借助深度定制化的检测沙箱、利用自动化脱壳、应用自动化遍历及人工深度辅助测试等技术，对应用的合规情况、动态行为、软件成分、安全漏洞进行采集与分析，并可依托专业的技术服务人员，输出全面详尽的合规检测报告，提供整改建议，满足合规监管检测、企业自查自纠等检测场景，帮助用户发现应用违规行为并输出合规评估报告，保障应用上架后符合监管单位/机构的相关要求。 查看全部

　　又一批！App涉嫌采集隐私！10大常见违规问题送上
　　明示“用户隐私声明”的较少，服务协议与隐私声明不区分，用户隐私声明内容多作为章节或段落呈现在“服务协议”或“用户许可”等文本中。
　　问题6：默认“勾选同意”
　　由于智能手机屏幕小，用户隐私声明通常以二次链接或者多次跳转链接的形式呈现在注册或设置界面。安装App时默认勾选用户协议和隐私政策，若用户拒绝信息收集，则自动视为拒绝该服务，等于强制用户接受App开发商的隐私政策。
　　问题7：频繁索权，后台高频次搜集信息
　　对于用户可选提供的系统权限，在用户拒绝后，每当其重新打开App或进入相应界面，都会再次向用户索要或以弹窗等形式提示用户缺少相关权限，干扰用户正常使用，属于一种变相的强制索权。且存在App后台大量收集用户信息并频繁调用的情况。
　　问题8：隐私政策内容与实际不符
　　隐私政策所声明收集的个人信息/系统权限以及提供的业务功能等，与实际情况不一致，存在隐瞒、冗余、偏差、错误或内容不属实等问题。包括：实际收集个人信息超出隐私政策所述范围，即未完整告知所收集个人信息类型以及用于实现的功能或目的；实际收集个人信息少于隐私政策所述范围，即声明了实际并未收集的个人信息或实际并未提供的功能；以及隐私政策所述与实际情况存在明显偏差、错误，甚至出现大篇幅抄袭现象等。
　　问题9：隐瞒第三方SDK收集行为
　　App嵌入了收集用户个人信息的第三方SDK，未逐一列出收集使用个人信息的目的、方式和范围等，且向第三方提供个人信息未做匿名化处理。App对用户隐私声明的设置和呈现不够重视，也侧面体现了互联网企业对用户个人信息保护的力度不足。
　　问题10：未充分明示个人敏感信息使用规则
　　收集身份证号码、银行卡号，生物特征识别信息等个人敏感信息时，未以显著方式同步告知收集目的、使用规则，安全保护措施等。如App收集人脸信息前未展示单独协议或进行显著特殊说明，在用户点击“继续”后，App在无任何提示的情况下便开始采集用户的人脸信息。
　　安全建议
　　移动互联网时代，用户每天进行大量“数据排放”，有权了解个人信息被收集和使用的情况，并有权对不合理的收集和使用提出质疑，同时也呼吁广大企业主和平台重视个人信息保护。以下是针对上述情况，梆梆安全专家给出的几点安全建议：
　　用户方：建议通过正规的应用商店或官方渠道下载相关应用，同时要注意认真阅读其用户协议和隐私政策说明，不随意开放和同意不必要的隐私权限，不随意输入个人隐私信息，定期维护和清理相关数据，避免个人隐私信息被泄露。
　　应用开发商：应遵守相关规定，禁止超范围收集、使用个人信息，并重视个人信息保护。
　　应用分发平台：作为App走向市场的第一道关卡，应做好审核筛查工作，严格落实App信息审核、重点审核App上架流程等要求。
　　梆梆安全助力移动应用合规
　　
　　梆梆安全移动应用合规平台，借助深度定制化的检测沙箱、利用自动化脱壳、应用自动化遍历及人工深度辅助测试等技术，对应用的合规情况、动态行为、软件成分、安全漏洞进行采集与分析，并可依托专业的技术服务人员，输出全面详尽的合规检测报告，提供整改建议，满足合规监管检测、企业自查自纠等检测场景，帮助用户发现应用违规行为并输出合规评估报告，保障应用上架后符合监管单位/机构的相关要求。

输入法窥探隐私？实测：4款主流输入法可收集内容

采集交流 • 优采云 发表了文章 • 0 个评论 • 208 次浏览 • 2022-05-14 11:46 • 来自相关话题

　　输入法窥探隐私？实测：4款主流输入法可收集内容
　　
　　“和朋友聊到微波炉、尿布、洗面奶等东西时，发现有输入法自动推送了广告。”一位网友在知乎上发出了这样的问题描述。这个问题得到了不少网友的共鸣。1月19日晚间，对于有用户投诉“在微信里聊到什么，就在其他App里看到这个东西的广告”。微信事业群总裁张小龙在2021微信公开课中表示，微信不会看用户聊天记录，并称“从输入到接收信息的链路很长，因此为了更好地保护用户隐私，微信正在灰度测试自己的输入法。 ”对此，有声音解读称这或许是将“聊到什么就能收到什么广告”的原因归结到输入法上，那么，输入法是否真的会收集用户的聊天信息呢？输入法会根据用户的聊天内容推送广告吗？1月20日-21日，新京报优采云财经记者通过华为应用商店下载了推荐排名前列的5款输入法App，发现其中4款App均有提示加入或默认勾选加入的“用户体验改进计划”，而该计划的主要内容就是输入法可以收集用户上传的内容。而对于是否会根据聊天内容推送广告，不同输入法的隐私政策则有不同的解读。“实际上，只要拥有云词库功能的输入法，都需要收集用户数据，因为只有收集用户输入习惯，才能优化输入法的输入体验，而云词库功能几乎是主流输入法必备的功能。至于输入法是否会把信息卖给第三方公司，还需要看具体协议以及输入法的自觉。
　　”有从事网络开发的人士告诉优采云财经记者。实测：4家输入法用户服务协议规定有权收集用户上传内容新京报优采云财经记者测试发现，事实上，当手机安装来自第三方的输入法的时候，就会收到可能被收集打字内容的提示。1月20日-21日，新京报优采云财经记者通过华为应用商店下载了其排名靠前的5款输入法App搜狗输入法、百度输入法、讯飞输入法、QQ输入法、章鱼输入法。其中，每当安装一款输入法时，华为系统均会弹窗提示“此输入法可能会收集您输入的所有文字，包括密码和信用卡号等个人数据，是否使用？”只有选择继续才能正常使用该输入法。首次安装使用后，记者发现5款输入法均弹窗提示用户开启不同的隐私权限，其中搜狗输入法、百度输入法要求开启地理位置、通讯录；讯飞输入法和章鱼输入法要求开启照片访问权限、位置；QQ输入法则要求开启照片访问权限、通讯录，不过对于这些开启权限的要求，用户可以选择拒绝，并仍可继续使用。那么，这些输入法是否会像华为系统弹窗提示的那样，可能收集输入的文字呢？记者发现，相关的内容已经被写在了不少App的用户协议或隐私条款中，而“用户体验计划”则是开启App收集用户输入文字的大门之一。
　　
　　其中，搜狗输入法和QQ输入法在首次登录后，会弹窗提示用户加入“用户体验计划”，而百度输入法和讯飞输入法则会默认勾选加入“用户体验计划”（可手动取消），4款App均规定，加入用户体验计划即代表用户同意相关用户服务协议或隐私条款。优采云财经记者打开搜狗输入法用户服务协议发现，该协议3.1用户权利条款规定“您理解并同意，我们有权对您上传的内容进行存储。您授权我们对您上传的内容进行合理的使用，包括但不限于产品分析、宣传、推广等。”
　　
　　百度输入法也有类似的条款，其规定选择参与用户体验计划即表示授权百度输入法收集用户使用百度收入法的过程中的操作日志信息。百度输入法隐私政策则规定，通过使用收集的信息，百度输入法会得以向用户提供定制内容，例如向用户展现或推荐相关程度更高（而非普遍推送）的搜索结果、信息流或者广告/推广信息结果。QQ输入法表示用户体验改进计划“会对qq输入法期间提供的数据进行分析，用于功能界面设计等的优化改进，勾选即授权搜集使用QQ输入法期间的相关数据。”而讯飞输入法则表示，用户体验计划会针对输入法自身内容进行统计，不会涉及个人隐私数据。新京报优采云财经记者观察到，虽然目的可能是进行数据分析或功能优化，但阅读上述4款App在用户体验计划以及不同的用户协议或隐私政策可知，在技术上这些输入法都有能力做到上传用户输入的内容。不过为安全起见，它们也大多规定了保护隐私的措施，如搜狗输入法表示其可能会收集用户输入的部分拼音串或文本内容，但不会识别具体文本内容；百度输入法表示这些数据以匿名方式进行，不会和个人身份信息相关联；QQ输入法表示数据将以匿名方式进行，不会与个人身份信息相关联等；讯飞输入法表示对相关数据信息的收集完全匿名，同时不会将收集的信息与其他任何个人信息进行匹配储存。网友：输入法推送广告还弹窗专业人士：免费的代价前述网友在与朋友通过微信聊天谈到“最怕换尿布”的聊天内容时，搜狗输入法输入界面弹出了“孩子容易得尿布疹看看对策！”的广告弹窗。
　　
　　记者搜索发现，除了在输入法输入界面弹出广告外，有更多人对搜狗输入法PC端上存在弹窗广告一事有更深的“怨念”，搜索如何关闭搜狗弹窗广告的问题很多，此外，记者实测发现有时使用搜狗输入法在搜索引擎搜索关键词时，会出现搜狗输入法自动跳转到搜狗搜索的情况。“其实这都是国人不愿意为软件付费导致，这么做其实只会使得谋求利益的行为隐而不彰，以致容易无所顾忌。”知乎认证为小众输入法开发作坊主的网友“岁寒”吐槽到，“国人并不愿意为软件付费，甚至大有老子用你的软件是看得起你的傲娇之心。对于应用开发者而言，用户不愿意付费是吧，没关系，总会办法让你把钱吐出来的。”在优采云财经记者测试的5款输入法App中，章鱼输入法并没有与其他4款输入法一样要求记者加入“用户体验计划”，但记者在使用该App中发现不少弹窗广告。此外，该输入法号称拥有“金币提现”功能，即输入字符越多可获越多金额奖励，对于该功能，其表示是根据“点击键盘的次数”来判断输入的字符数量，不会涉及键入信息的具体内容。当记者点击足够多次数时，发现了一个金币领取选项，当点击领取时，该输入法再度跳出了广告，照此看来，章鱼输入法是走出了一条“用户主动点击广告赚钱”的模式……对此，有业界人士告诉记者，输入法广告同其他免费App的广告一样，是当前免费模式下的无奈之选。“微软智能ABC没有广告，但你看谁用它？如果需要便捷的功能以及联想就可弹出的表情包，都需要一定支出，此时只能通过广告等手段才能让输入法盈利，从另一方面来说，免费的就是最贵的。”网友大红苹果甜malic表示，目前一般有广告的输入法都是智能输入法，一定要有云词库，还可以登录账号。“智能化是需要开销的，例如不同专业的人士输入某个词的时候，输入法根据你以前输入的习惯与特点，可以把专业相关的词汇放在相当靠前的位置，方便你输入。相比于离线的输入法，这部分开销还是有点影响的。当然，很少有输入法要人付费使用，那就要靠广告。虽然很烦，但就当作是智能输入法的代价吧。” 查看全部

　　输入法窥探隐私？实测：4款主流输入法可收集内容
　　
　　“和朋友聊到微波炉、尿布、洗面奶等东西时，发现有输入法自动推送了广告。”一位网友在知乎上发出了这样的问题描述。这个问题得到了不少网友的共鸣。1月19日晚间，对于有用户投诉“在微信里聊到什么，就在其他App里看到这个东西的广告”。微信事业群总裁张小龙在2021微信公开课中表示，微信不会看用户聊天记录，并称“从输入到接收信息的链路很长，因此为了更好地保护用户隐私，微信正在灰度测试自己的输入法。 ”对此，有声音解读称这或许是将“聊到什么就能收到什么广告”的原因归结到输入法上，那么，输入法是否真的会收集用户的聊天信息呢？输入法会根据用户的聊天内容推送广告吗？1月20日-21日，新京报优采云财经记者通过华为应用商店下载了推荐排名前列的5款输入法App，发现其中4款App均有提示加入或默认勾选加入的“用户体验改进计划”，而该计划的主要内容就是输入法可以收集用户上传的内容。而对于是否会根据聊天内容推送广告，不同输入法的隐私政策则有不同的解读。“实际上，只要拥有云词库功能的输入法，都需要收集用户数据，因为只有收集用户输入习惯，才能优化输入法的输入体验，而云词库功能几乎是主流输入法必备的功能。至于输入法是否会把信息卖给第三方公司，还需要看具体协议以及输入法的自觉。
　　”有从事网络开发的人士告诉优采云财经记者。实测：4家输入法用户服务协议规定有权收集用户上传内容新京报优采云财经记者测试发现，事实上，当手机安装来自第三方的输入法的时候，就会收到可能被收集打字内容的提示。1月20日-21日，新京报优采云财经记者通过华为应用商店下载了其排名靠前的5款输入法App搜狗输入法、百度输入法、讯飞输入法、QQ输入法、章鱼输入法。其中，每当安装一款输入法时，华为系统均会弹窗提示“此输入法可能会收集您输入的所有文字，包括密码和信用卡号等个人数据，是否使用？”只有选择继续才能正常使用该输入法。首次安装使用后，记者发现5款输入法均弹窗提示用户开启不同的隐私权限，其中搜狗输入法、百度输入法要求开启地理位置、通讯录；讯飞输入法和章鱼输入法要求开启照片访问权限、位置；QQ输入法则要求开启照片访问权限、通讯录，不过对于这些开启权限的要求，用户可以选择拒绝，并仍可继续使用。那么，这些输入法是否会像华为系统弹窗提示的那样，可能收集输入的文字呢？记者发现，相关的内容已经被写在了不少App的用户协议或隐私条款中，而“用户体验计划”则是开启App收集用户输入文字的大门之一。
　　
　　其中，搜狗输入法和QQ输入法在首次登录后，会弹窗提示用户加入“用户体验计划”，而百度输入法和讯飞输入法则会默认勾选加入“用户体验计划”（可手动取消），4款App均规定，加入用户体验计划即代表用户同意相关用户服务协议或隐私条款。优采云财经记者打开搜狗输入法用户服务协议发现，该协议3.1用户权利条款规定“您理解并同意，我们有权对您上传的内容进行存储。您授权我们对您上传的内容进行合理的使用，包括但不限于产品分析、宣传、推广等。”
　　
　　百度输入法也有类似的条款，其规定选择参与用户体验计划即表示授权百度输入法收集用户使用百度收入法的过程中的操作日志信息。百度输入法隐私政策则规定，通过使用收集的信息，百度输入法会得以向用户提供定制内容，例如向用户展现或推荐相关程度更高（而非普遍推送）的搜索结果、信息流或者广告/推广信息结果。QQ输入法表示用户体验改进计划“会对qq输入法期间提供的数据进行分析，用于功能界面设计等的优化改进，勾选即授权搜集使用QQ输入法期间的相关数据。”而讯飞输入法则表示，用户体验计划会针对输入法自身内容进行统计，不会涉及个人隐私数据。新京报优采云财经记者观察到，虽然目的可能是进行数据分析或功能优化，但阅读上述4款App在用户体验计划以及不同的用户协议或隐私政策可知，在技术上这些输入法都有能力做到上传用户输入的内容。不过为安全起见，它们也大多规定了保护隐私的措施，如搜狗输入法表示其可能会收集用户输入的部分拼音串或文本内容，但不会识别具体文本内容；百度输入法表示这些数据以匿名方式进行，不会和个人身份信息相关联；QQ输入法表示数据将以匿名方式进行，不会与个人身份信息相关联等；讯飞输入法表示对相关数据信息的收集完全匿名，同时不会将收集的信息与其他任何个人信息进行匹配储存。网友：输入法推送广告还弹窗专业人士：免费的代价前述网友在与朋友通过微信聊天谈到“最怕换尿布”的聊天内容时，搜狗输入法输入界面弹出了“孩子容易得尿布疹看看对策！”的广告弹窗。
　　
　　记者搜索发现，除了在输入法输入界面弹出广告外，有更多人对搜狗输入法PC端上存在弹窗广告一事有更深的“怨念”，搜索如何关闭搜狗弹窗广告的问题很多，此外，记者实测发现有时使用搜狗输入法在搜索引擎搜索关键词时，会出现搜狗输入法自动跳转到搜狗搜索的情况。“其实这都是国人不愿意为软件付费导致，这么做其实只会使得谋求利益的行为隐而不彰，以致容易无所顾忌。”知乎认证为小众输入法开发作坊主的网友“岁寒”吐槽到，“国人并不愿意为软件付费，甚至大有老子用你的软件是看得起你的傲娇之心。对于应用开发者而言，用户不愿意付费是吧，没关系，总会办法让你把钱吐出来的。”在优采云财经记者测试的5款输入法App中，章鱼输入法并没有与其他4款输入法一样要求记者加入“用户体验计划”，但记者在使用该App中发现不少弹窗广告。此外，该输入法号称拥有“金币提现”功能，即输入字符越多可获越多金额奖励，对于该功能，其表示是根据“点击键盘的次数”来判断输入的字符数量，不会涉及键入信息的具体内容。当记者点击足够多次数时，发现了一个金币领取选项，当点击领取时，该输入法再度跳出了广告，照此看来，章鱼输入法是走出了一条“用户主动点击广告赚钱”的模式……对此，有业界人士告诉记者，输入法广告同其他免费App的广告一样，是当前免费模式下的无奈之选。“微软智能ABC没有广告，但你看谁用它？如果需要便捷的功能以及联想就可弹出的表情包，都需要一定支出，此时只能通过广告等手段才能让输入法盈利，从另一方面来说，免费的就是最贵的。”网友大红苹果甜malic表示，目前一般有广告的输入法都是智能输入法，一定要有云词库，还可以登录账号。“智能化是需要开销的，例如不同专业的人士输入某个词的时候，输入法根据你以前输入的习惯与特点，可以把专业相关的词汇放在相当靠前的位置，方便你输入。相比于离线的输入法，这部分开销还是有点影响的。当然，很少有输入法要人付费使用，那就要靠广告。虽然很烦，但就当作是智能输入法的代价吧。”

python自动采集内容到wordpress

采集交流 • 优采云 发表了文章 • 0 个评论 • 271 次浏览 • 2022-05-13 02:04 • 来自相关话题

　　python自动采集内容到wordpress
　　老金授权ITSEO独家发布其文章，转载注明出处！
　　最近用wordpress做了一个小站，目的很简单就是要第一时间更新小说并发布到wordpress,本来是想用优采云解决的，但没有模块无赖之下，只有自己用python手写，本来是想用mysqldb直接插入的，但wordpress表单实在是有点麻烦，且远程速度有点慢。一想到python的主要思想是不要重复发明轮子，于是在pypi找到了wordpress_xmlrpc模块，主要功能就不说了，详见官网：
　　目前wordpress_xmlrpc模块已经更新到了2.2版本，不过本人用的是1.5版本。懒的同学在centos下可以这样安装.
　　Wget --no-check-certificate
　　tar zxf python-wordpress-xmlrpc-1.5.tar.gz
　　cd python-wordpress-xmlrpc-1.5
　　python setup.py install
　　好了wordpress_xmlrpc模块就介绍到这儿，其它功能参考官网介绍。下面说一下程序思路。
　　1、用一个记事本记录已经抓取的URL。
　　2、再去抓这个页面看看，得到这个页面文章的全部URL。
　　3、for一下这个页面的全部URL是否在TXT中。
　　4、如果不在，就抓取这个URL的标题和内容发送到wordpress,并将URL写入txt中
　　5、最后用crontab自动任务，每天定时跑。
　　代码如下：（为防止某些同学不劳而获，用图片代替代码，红色部分别为网址，账号，密码，保存URL地址的txt）
　　
　　当然代码有一个小问题就是没有定义类别，其实wordpress_xmlrpc也是可以定义发布类别的，只是本人比较懒就在后台撰写默认文章分类设置了一下目录。
　　然后是crontab设为每小时定时更新一下。不会设置的自行脑补
　　 查看全部

　　python自动采集内容到wordpress
　　老金授权ITSEO独家发布其文章，转载注明出处！
　　最近用wordpress做了一个小站，目的很简单就是要第一时间更新小说并发布到wordpress,本来是想用优采云解决的，但没有模块无赖之下，只有自己用python手写，本来是想用mysqldb直接插入的，但wordpress表单实在是有点麻烦，且远程速度有点慢。一想到python的主要思想是不要重复发明轮子，于是在pypi找到了wordpress_xmlrpc模块，主要功能就不说了，详见官网：
　　目前wordpress_xmlrpc模块已经更新到了2.2版本，不过本人用的是1.5版本。懒的同学在centos下可以这样安装.
　　Wget --no-check-certificate
　　tar zxf python-wordpress-xmlrpc-1.5.tar.gz
　　cd python-wordpress-xmlrpc-1.5
　　python setup.py install
　　好了wordpress_xmlrpc模块就介绍到这儿，其它功能参考官网介绍。下面说一下程序思路。
　　1、用一个记事本记录已经抓取的URL。
　　2、再去抓这个页面看看，得到这个页面文章的全部URL。
　　3、for一下这个页面的全部URL是否在TXT中。
　　4、如果不在，就抓取这个URL的标题和内容发送到wordpress,并将URL写入txt中
　　5、最后用crontab自动任务，每天定时跑。
　　代码如下：（为防止某些同学不劳而获，用图片代替代码，红色部分别为网址，账号，密码，保存URL地址的txt）
　　
　　当然代码有一个小问题就是没有定义类别，其实wordpress_xmlrpc也是可以定义发布类别的，只是本人比较懒就在后台撰写默认文章分类设置了一下目录。
　　然后是crontab设为每小时定时更新一下。不会设置的自行脑补
　　

新功能上线｜健康码、行程码异常可自动识别！让收集核对工作更轻松

采集交流 • 优采云 发表了文章 • 0 个评论 • 160 次浏览 • 2022-05-13 01:56 • 来自相关话题

　　新功能上线｜健康码、行程码异常可自动识别！让收集核对工作更轻松
　　
　　节后返工返校，为做好疫情防控工作，行政、老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　 查看全部

　　新功能上线｜健康码、行程码异常可自动识别！让收集核对工作更轻松
　　
　　节后返工返校，为做好疫情防控工作，行政、老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　

自动识别采集内容啊，推荐一个非常不错的自动采集工具集

采集交流 • 优采云 发表了文章 • 0 个评论 • 72 次浏览 • 2022-05-12 02:00 • 来自相关话题

　　自动识别采集内容啊，推荐一个非常不错的自动采集工具集
　　自动识别采集内容啊，推荐一个非常不错的自动识别工具集——elasticsearch内部数据导入。/。当然，如果你不常关注网站内容，你也可以用java自己实现一个采集软件，一般数据采集软件都会提供免费的定制服务，只是某些业务功能你可能需要自己实现而已，或者说有些功能使用定制的方案最有效率。
　　《byzantine-spacejavascriptapi3.0》[slideshare]
　　关注微信号：币评likeblockchain，可以买一些好玩的，
　　这个应该是很多人推荐的几个吧：【第四波】javascriptforblockchainandico。js超详细教程javascriptautomaticallyextractandserializeblockchaininformation。js精确找区块链数据资源|blockchain。com|前端培训教程。
　　(二维码自动识别)
　　第一个浏览器就能使用。教程中介绍了文件夹定位,json解析等方法,很好用。
　　现在用的emacs。
　　auto-send，效率非常高。一句话就能自动把想要的内容传送过去。和交易所的自动发货一样。
　　websocket/tcp/udp又没有浏览器插件
　　c++的可以用socket
　　建议使用servertoolboxautomaticallyextractblockchaininformation这里有完整代码github-grayws/server-toolbox:aguitoolboxforc++forblockchaindetection. 查看全部

　　自动识别采集内容啊，推荐一个非常不错的自动采集工具集
　　自动识别采集内容啊，推荐一个非常不错的自动识别工具集——elasticsearch内部数据导入。/。当然，如果你不常关注网站内容，你也可以用java自己实现一个采集软件，一般数据采集软件都会提供免费的定制服务，只是某些业务功能你可能需要自己实现而已，或者说有些功能使用定制的方案最有效率。
　　《byzantine-spacejavascriptapi3.0》[slideshare]
　　关注微信号：币评likeblockchain，可以买一些好玩的，
　　这个应该是很多人推荐的几个吧：【第四波】javascriptforblockchainandico。js超详细教程javascriptautomaticallyextractandserializeblockchaininformation。js精确找区块链数据资源|blockchain。com|前端培训教程。
　　(二维码自动识别)
　　第一个浏览器就能使用。教程中介绍了文件夹定位,json解析等方法,很好用。
　　现在用的emacs。
　　auto-send，效率非常高。一句话就能自动把想要的内容传送过去。和交易所的自动发货一样。
　　websocket/tcp/udp又没有浏览器插件
　　c++的可以用socket
　　建议使用servertoolboxautomaticallyextractblockchaininformation这里有完整代码github-grayws/server-toolbox:aguitoolboxforc++forblockchaindetection.

商品展示、排序时候可以给浏览者不同的信息

采集交流 • 优采云 发表了文章 • 0 个评论 • 62 次浏览 • 2022-05-09 03:00 • 来自相关话题

　　商品展示、排序时候可以给浏览者不同的信息
　　自动识别采集内容。内容是网页中的所有内容。动态识别页面中的每一个内容，你可以想象这页面中不同的人，看的是什么内容。
　　动态信息与静态信息有区别，比如说淘宝，有评论，有晒图，页面上有很多静态信息，但是动态信息里面有商品、评论等等，
　　打开淘宝首页，看到的一般是推荐的商品信息，商品的数量和宝贝库商品数量没有关系。而且，
　　这个问题其实很简单，你的搜索显示的内容肯定会有人搜，然后人来搜索以后可能出现一个和你喜欢相同的商品，点击然后购买，在购买完成之后这个东西还会给你推荐，
　　只在商品上面动态显示是基于不同的平台，如搜索，其他在搜索平台上显示的商品也是用动态信息表示，但显示的内容不是原本商品名，而是根据商品情况推荐给买家。
　　动态信息是指页面中有大量内容的，动态字段比静态字段难以抓取，通常来说动态字段中会使用动态tag。
　　动态信息应该是相对静态信息而言的。页面中大量的内容应该是静态信息，页面上不可能展示大量的商品信息，而在淘宝上这些内容是可以不加标识的。所以动态信息应该是指大量内容而用动态标识。个人理解。
　　个人对这个问题好奇，已经问过。被我解释得很清楚。网上对这个问题的讨论非常激烈，主要意见是动态信息和静态信息的分别就是动态信息多了一个浏览起始、浏览方向和浏览时间。作用就是商品展示、排序时候可以给浏览者不同的信息，这样清晰，就好比真实的购物一样。 查看全部

　　商品展示、排序时候可以给浏览者不同的信息
　　自动识别采集内容。内容是网页中的所有内容。动态识别页面中的每一个内容，你可以想象这页面中不同的人，看的是什么内容。
　　动态信息与静态信息有区别，比如说淘宝，有评论，有晒图，页面上有很多静态信息，但是动态信息里面有商品、评论等等，
　　打开淘宝首页，看到的一般是推荐的商品信息，商品的数量和宝贝库商品数量没有关系。而且，
　　这个问题其实很简单，你的搜索显示的内容肯定会有人搜，然后人来搜索以后可能出现一个和你喜欢相同的商品，点击然后购买，在购买完成之后这个东西还会给你推荐，
　　只在商品上面动态显示是基于不同的平台，如搜索，其他在搜索平台上显示的商品也是用动态信息表示，但显示的内容不是原本商品名，而是根据商品情况推荐给买家。
　　动态信息是指页面中有大量内容的，动态字段比静态字段难以抓取，通常来说动态字段中会使用动态tag。
　　动态信息应该是相对静态信息而言的。页面中大量的内容应该是静态信息，页面上不可能展示大量的商品信息，而在淘宝上这些内容是可以不加标识的。所以动态信息应该是指大量内容而用动态标识。个人理解。
　　个人对这个问题好奇，已经问过。被我解释得很清楚。网上对这个问题的讨论非常激烈，主要意见是动态信息和静态信息的分别就是动态信息多了一个浏览起始、浏览方向和浏览时间。作用就是商品展示、排序时候可以给浏览者不同的信息，这样清晰，就好比真实的购物一样。

Python自动化办公之 Excel 自动绘制图表

采集交流 • 优采云 发表了文章 • 0 个评论 • 65 次浏览 • 2022-05-08 01:27 • 来自相关话题

　　Python自动化办公之 Excel 自动绘制图表
　　近期活动
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python数据挖掘2022五一工作坊开始报名啦</p>
　　今天的主题是 Excel，相信大家都比较熟悉吧。而且我相信，大家在日常使用 Excel 的时候，肯定会遇到很多重复繁琐的工作，因为我也同样遇到过。这个时候我通常都会思考下，有没有办法让繁琐的事情变得简单些呢，毕竟我们是 Python 使用者嘛！
　　所以我个人在工作当中还是积累来一些 Excel 自动化相关都经验都，在后面都文章当中，我会陆续推出 Excel、PDF 等等相关软件都自动化内容，感兴趣都同学记得来看哦！
　　今天我们d的主题就是为 Excel 自动添加图表，实现起来很简单，保证五分钟完事儿！
　　基本原理
　　这里我们使用 xlsxwriter 这个库，简直不要太强大！
　　首先我们先来看下如何通过这个库来编辑 Excel 呢
　　import xlsxwriter<br /><br /># 创建一个excel<br />workbook = xlsxwriter.Workbook("chart.xlsx")<br /># 创建一个sheet<br />worksheet = workbook.add_worksheet()<br />
　　对于创建 Excel 和新增 sheet 都没啥说的，基本套路搞定！
　　# 自定义样式，加粗<br />bold = workbook.add_format({'bold': 1})<br /><br /># 向excel中写入数据，建立图标时要用到<br />headings = ['Number', 'testA', 'testB']<br />data = [<br />    ['2020-9-1', '2020-9-2', '2020-9-3', '2020-9-4', '2020-9-5', '2020-9-6'],<br />    [10, 40, 50, 20, 10, 50],<br />    [30, 60, 70, 50, 40, 30],<br />]<br /><br /># 写入表头<br />worksheet.write_row('A1', headings, bold)<br /><br /># 写入数据<br />worksheet.write_column('A2', data[0])<br />worksheet.write_column('B2', data[1])<br />worksheet.write_column('C2', data[2])<br />
　　这里，我们定义了一些测试数据，然后通过 write_row 函数写入表头，通过 write_column 函数来按列写入数据，此时我们得到的 Excel 应该是如下的
　　
　　画图开始
　　下面就是重点了，我们要看是根据测试数据来画图表了
　　# 创建一个柱状图(line chart)<br />chart_col = workbook.add_chart({'type': 'line'})<br /><br /># 配置第一个系列数据<br />chart_col.add_series({<br />    # 这里的sheet1是默认的值，因为我们在新建sheet时没有指定sheet名<br />    # 如果我们新建sheet时设置了sheet名，这里就要设置成相应的值<br />    'name': '=Sheet1!$B$1',<br />    'categories': '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$B$2:$B$7',<br />    'line': {'color': 'red'},<br />})<br /><br /># 配置第二个系列数据<br />chart_col.add_series({<br />    'name': '=Sheet1!$C$1',<br />    'categories':  '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$C$2:$C$7',<br />    'line': {'color': 'yellow'},<br />})<br />
　　通过 add_chart 函数来新增一个图表，type 就是 图表都类型
　　而对于 add_series 就是具体都图表数据信息了，相信也是一目了然的！
　　最后再设置 X、Y 轴的信息，并设置下图表所在的位置就完成了
　　
　　当然的对于画柱状图，饼图等都是类似的，我们也就不再重复了。
　　下一次，我们就来实现根据已有的数据，如何自动生成我们需要的图表，而且如果我想自动发送给某些人呢，能不能全程自动化搞定呢！
　　好了，今天就分享到这里，给个“在看”再走吧！
　　今日封面：
　　
　　精选文章
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python语法入门(含视频代码)<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　视频专栏课 | Python网络爬虫与文本分析
　　TransBigData库 | 出租车GPS数据处理<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　从符号到嵌入：计算社会科学的两种文本表示<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　案例实战 | 企业信息数据采集<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　使用文本相似度可以识别变化的时间点<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　PNAS | 文本网络分析&文化桥梁Python代码实现<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　tomotopy | 速度最快的LDA主题模型
　　在会计研究中使用Python进行文本分析<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　文本分析方法在《管理世界》（2021.5）中的应用
　　SciencePlots | 科研样式绘图库
　　Wow~70G上市公司定期报告数据集
　　YelpDaset: 酒店管理类数据集10+G  
　　极简浏览器启动页StartPage分享<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　doccano|为机器学习建模做数据标注
　　使用WeasyPrint自动生成pdf报告文件
　　推荐 | 社科(经管)文本分析快速指南<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　100min视频 | Python文本分析与会计
　　Python数据挖掘2022五一工作坊开始报名啦</p> 查看全部

　　Python自动化办公之 Excel 自动绘制图表
　　近期活动
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python数据挖掘2022五一工作坊开始报名啦</p>
　　今天的主题是 Excel，相信大家都比较熟悉吧。而且我相信，大家在日常使用 Excel 的时候，肯定会遇到很多重复繁琐的工作，因为我也同样遇到过。这个时候我通常都会思考下，有没有办法让繁琐的事情变得简单些呢，毕竟我们是 Python 使用者嘛！
　　所以我个人在工作当中还是积累来一些 Excel 自动化相关都经验都，在后面都文章当中，我会陆续推出 Excel、PDF 等等相关软件都自动化内容，感兴趣都同学记得来看哦！
　　今天我们d的主题就是为 Excel 自动添加图表，实现起来很简单，保证五分钟完事儿！
　　基本原理
　　这里我们使用 xlsxwriter 这个库，简直不要太强大！
　　首先我们先来看下如何通过这个库来编辑 Excel 呢
　　import xlsxwriter<br /><br /># 创建一个excel<br />workbook = xlsxwriter.Workbook("chart.xlsx")<br /># 创建一个sheet<br />worksheet = workbook.add_worksheet()<br />
　　对于创建 Excel 和新增 sheet 都没啥说的，基本套路搞定！
　　# 自定义样式，加粗<br />bold = workbook.add_format({'bold': 1})<br /><br /># 向excel中写入数据，建立图标时要用到<br />headings = ['Number', 'testA', 'testB']<br />data = [<br />    ['2020-9-1', '2020-9-2', '2020-9-3', '2020-9-4', '2020-9-5', '2020-9-6'],<br />    [10, 40, 50, 20, 10, 50],<br />    [30, 60, 70, 50, 40, 30],<br />]<br /><br /># 写入表头<br />worksheet.write_row('A1', headings, bold)<br /><br /># 写入数据<br />worksheet.write_column('A2', data[0])<br />worksheet.write_column('B2', data[1])<br />worksheet.write_column('C2', data[2])<br />
　　这里，我们定义了一些测试数据，然后通过 write_row 函数写入表头，通过 write_column 函数来按列写入数据，此时我们得到的 Excel 应该是如下的
　　
　　画图开始
　　下面就是重点了，我们要看是根据测试数据来画图表了
　　# 创建一个柱状图(line chart)<br />chart_col = workbook.add_chart({'type': 'line'})<br /><br /># 配置第一个系列数据<br />chart_col.add_series({<br />    # 这里的sheet1是默认的值，因为我们在新建sheet时没有指定sheet名<br />    # 如果我们新建sheet时设置了sheet名，这里就要设置成相应的值<br />    'name': '=Sheet1!$B$1',<br />    'categories': '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$B$2:$B$7',<br />    'line': {'color': 'red'},<br />})<br /><br /># 配置第二个系列数据<br />chart_col.add_series({<br />    'name': '=Sheet1!$C$1',<br />    'categories':  '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$C$2:$C$7',<br />    'line': {'color': 'yellow'},<br />})<br />
　　通过 add_chart 函数来新增一个图表，type 就是 图表都类型
　　而对于 add_series 就是具体都图表数据信息了，相信也是一目了然的！
　　最后再设置 X、Y 轴的信息，并设置下图表所在的位置就完成了
　　
　　当然的对于画柱状图，饼图等都是类似的，我们也就不再重复了。
　　下一次，我们就来实现根据已有的数据，如何自动生成我们需要的图表，而且如果我想自动发送给某些人呢，能不能全程自动化搞定呢！
　　好了，今天就分享到这里，给个“在看”再走吧！
　　今日封面：
　　
　　精选文章
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python语法入门(含视频代码)<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　视频专栏课 | Python网络爬虫与文本分析
　　TransBigData库 | 出租车GPS数据处理<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　从符号到嵌入：计算社会科学的两种文本表示<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　案例实战 | 企业信息数据采集<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　使用文本相似度可以识别变化的时间点<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　PNAS | 文本网络分析&文化桥梁Python代码实现<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　tomotopy | 速度最快的LDA主题模型
　　在会计研究中使用Python进行文本分析<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　文本分析方法在《管理世界》（2021.5）中的应用
　　SciencePlots | 科研样式绘图库
　　Wow~70G上市公司定期报告数据集
　　YelpDaset: 酒店管理类数据集10+G  
　　极简浏览器启动页StartPage分享<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　doccano|为机器学习建模做数据标注
　　使用WeasyPrint自动生成pdf报告文件
　　推荐 | 社科(经管)文本分析快速指南<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　100min视频 | Python文本分析与会计
　　Python数据挖掘2022五一工作坊开始报名啦</p>

自动识别采集内容(自动识别采集内容，将用户拉到自己的直播间)

采集交流 • 优采云 发表了文章 • 0 个评论 • 75 次浏览 • 2022-04-20 18:03 • 来自相关话题

　　自动识别采集内容(自动识别采集内容，将用户拉到自己的直播间)
　　自动识别采集内容，将用户拉到自己的直播间的宝贝基本上就是采集的用户的宝贝或者价格加一定比例（比如20%）做成一个网成交。搜索并采集到网上出售同类型的宝贝则为你的用户搜索同样的内容，你的宝贝则被采集进你的店铺。
　　电商是讲销售的，搞自动化的就是做生意或者说是搞营销。这个你不需要专门去搞。你只需要去注意粉丝对你有没有兴趣，对你有没有需求，有没有一些意向的产品，有没有在你这里买东西的欲望就行了。现在你搞自动化技术，只要你能注意到其中一个粉丝不明真相时候对你这种东西的需求。到最后，
　　像这样的平台，本身就有官方采集工具，购物电商网站自带的和他们自己的收集数据工具；所以像采集工具推荐用官方的，但如果对排名，点击量等有追求，可以使用第三方工具。比如采集不了上的爆款产品，我们可以使用大量电商网站的爆款来采集分析，来进行二次调整来提高转化率。一个有采集工具的店铺利润往往比没有工具的店铺高得多。
　　你所说的第三方工具，并不是说工具可以采集所有类目的产品，而是可以根据你的产品定位来选择工具的用法，比如如果你想利用技术手段把一些没有转化或者没有流量的产品也采集过来，那这种工具不适合你。只有量身定制才能做出符合你的产品的店铺，才能有最好的效果。 查看全部

　　自动识别采集内容(自动识别采集内容，将用户拉到自己的直播间)
　　自动识别采集内容，将用户拉到自己的直播间的宝贝基本上就是采集的用户的宝贝或者价格加一定比例（比如20%）做成一个网成交。搜索并采集到网上出售同类型的宝贝则为你的用户搜索同样的内容，你的宝贝则被采集进你的店铺。
　　电商是讲销售的，搞自动化的就是做生意或者说是搞营销。这个你不需要专门去搞。你只需要去注意粉丝对你有没有兴趣，对你有没有需求，有没有一些意向的产品，有没有在你这里买东西的欲望就行了。现在你搞自动化技术，只要你能注意到其中一个粉丝不明真相时候对你这种东西的需求。到最后，
　　像这样的平台，本身就有官方采集工具，购物电商网站自带的和他们自己的收集数据工具；所以像采集工具推荐用官方的，但如果对排名，点击量等有追求，可以使用第三方工具。比如采集不了上的爆款产品，我们可以使用大量电商网站的爆款来采集分析，来进行二次调整来提高转化率。一个有采集工具的店铺利润往往比没有工具的店铺高得多。
　　你所说的第三方工具，并不是说工具可以采集所有类目的产品，而是可以根据你的产品定位来选择工具的用法，比如如果你想利用技术手段把一些没有转化或者没有流量的产品也采集过来，那这种工具不适合你。只有量身定制才能做出符合你的产品的店铺，才能有最好的效果。

自动识别采集内容(编辑本段常见技术及应用数字指纹技术的工作原理与文字搜索引擎)

采集交流 • 优采云 发表了文章 • 0 个评论 • 68 次浏览 • 2022-04-18 22:05 • 来自相关话题

　　自动识别采集内容(编辑本段常见技术及应用数字指纹技术的工作原理与文字搜索引擎)
　　编辑本段的工作方式
　　ACR技术的工作原理类似于文本搜索引擎。它需要采集海量的图像、音视频资源并不断更新。然后，通过数字信号处理技术，对多媒体资源的数字特征进行提取、索引、存储和索引。搜索引擎。
　　ACR搜索引擎收到查询请求后，对请求中收录的多媒体数据段采用相同的处理过程，提取相同格式的数字特征，然后在索引数据库中进行搜索、过滤、相似度计算，找到最相似的未知部分。对于多媒体资源，当相似度达到一定的置信度时，就认为找到了匹配结果。
　　编辑本段常用技术及应用
　　数字指纹
　　数字指纹是指可以近似为从多媒体资源本身提取的唯一标识的数字特征。不应考虑内容格式、编码、比特率、压缩率等方面的差异，只考虑内容所传达的信息是否相同或非常相似。
　　上述特点使得数字指纹技术的应用非常广泛，音频指纹的应用市场发展迅速，如音乐识别（Shazam）、版权检测（YouTube）、电视互动（新浪微博）、多屏互动（脸书）等等。
　　数字水印
　　数字水印技术的原理类似于二维码。它需要改变多媒体资源的内容。根据一定的规则，插入人类无法感知的信息，然后通过检测预设规则提取所代表的信息。水印技术消耗更少的资源。，但需要解决引入噪声控制的问题。
　　水印技术的特点使其适用于一些特定的场景，例如声波支付（支付宝）。
　　编辑本段技术平台
　　国际ACR技术市场发展迅速，各有千秋，正在推动互联网消费市场的技术变革。知名企业包括： 查看全部

　　自动识别采集内容(编辑本段常见技术及应用数字指纹技术的工作原理与文字搜索引擎)
　　编辑本段的工作方式
　　ACR技术的工作原理类似于文本搜索引擎。它需要采集海量的图像、音视频资源并不断更新。然后，通过数字信号处理技术，对多媒体资源的数字特征进行提取、索引、存储和索引。搜索引擎。
　　ACR搜索引擎收到查询请求后，对请求中收录的多媒体数据段采用相同的处理过程，提取相同格式的数字特征，然后在索引数据库中进行搜索、过滤、相似度计算，找到最相似的未知部分。对于多媒体资源，当相似度达到一定的置信度时，就认为找到了匹配结果。
　　编辑本段常用技术及应用
　　数字指纹
　　数字指纹是指可以近似为从多媒体资源本身提取的唯一标识的数字特征。不应考虑内容格式、编码、比特率、压缩率等方面的差异，只考虑内容所传达的信息是否相同或非常相似。
　　上述特点使得数字指纹技术的应用非常广泛，音频指纹的应用市场发展迅速，如音乐识别（Shazam）、版权检测（YouTube）、电视互动（新浪微博）、多屏互动（脸书）等等。
　　数字水印
　　数字水印技术的原理类似于二维码。它需要改变多媒体资源的内容。根据一定的规则，插入人类无法感知的信息，然后通过检测预设规则提取所代表的信息。水印技术消耗更少的资源。，但需要解决引入噪声控制的问题。
　　水印技术的特点使其适用于一些特定的场景，例如声波支付（支付宝）。
　　编辑本段技术平台
　　国际ACR技术市场发展迅速，各有千秋，正在推动互联网消费市场的技术变革。知名企业包括：

自动识别采集内容(【每日一题】基于线上平台识别验证码（1）)

采集交流 • 优采云 发表了文章 • 0 个评论 • 131 次浏览 • 2022-04-18 20:20 • 来自相关话题

　　自动识别采集内容(【每日一题】基于线上平台识别验证码（1）)
　　本篇文章主要为大家介绍“python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能”。小编将带领大家学习学习《python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能》文章。
　　1、 爬取网页分析
　　爬取的目标网址为：
　　登录界面需要做的工作是获取验证码图片，并识别验证码，以实现登录。
　　
　　使用浏览器抓包工具可以看到登录界面的请求头收录cookie和user-agent，所以发送请求时需要这两个数据。用户代理可以手动添加到请求头中，cookie值需要自动获取。
　　
　　分析完毕，开始练习！！！
　　2、验证码识别
　　(1）基于在线打码平台识别验证码
　　(2）编码平台：超级鹰、云编码、编码兔
　　该项目使用 Super Eagle 编码平台完成。网站链接：
　　
　　打包下载的源代码
　　
　　3、cookies是自动获取的
　　import requests
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
        #手动处理cookie
        # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825"
    }
session = requests.Session() # 创建session对象
# 第一次使用session，捕获请求cookie
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
　　4、程序源码chaojiying.py
　　#!/usr/bin/env python
# coding:utf-8
import requests
from hashlib import md5
class Chaojiying_Client(object):
    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode(&#39;utf8&#39;)
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            &#39;user&#39;: self.username,
            &#39;pass2&#39;: self.password,
            &#39;softid&#39;: self.soft_id,
        }
        self.headers = {
            &#39;Connection&#39;: &#39;Keep-Alive&#39;,
            &#39;User-Agent&#39;: &#39;Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)&#39;,
        }
    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            &#39;codetype&#39;: codetype,
        }
        params.update(self.base_params)
        files = {&#39;userfile&#39;: (&#39;ccc.jpg&#39;, im)}
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, files=files, headers=self.headers)
        return r.json()
    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            &#39;id&#39;: im_id,
        }
        params.update(self.base_params)
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, headers=self.headers)
        return r.json()
if __name__ == &#39;__main__&#39;:
    chaojiying = Chaojiying_Client(&#39;超级鹰用户名&#39;, &#39;超级鹰用户名的密码&#39;, &#39;96001&#39;) #用户中心>>软件ID 生成一个替换 96001
    im = open(&#39;a.jpg&#39;, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1902)) #1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
　　登录.py
　　# 模拟登录
# 流程：1 对点击登录按钮对应的请求进行发送（post请求）
#      2 处理请求参数：
#        用户名 密码 验证码 其他防伪参数
import requests
from lxml import etree
from chaojiying_Python.chaojiying import Chaojiying_Client
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
}
# 封装好的验证码识别函数
def tranformImgCode(imgPath,imgType):
    chaojiying = Chaojiying_Client(&#39;用户名&#39;, &#39;密码&#39;, &#39;软件ID&#39;)         # 用户中心>>软件ID 生成一个替换 软件ID
    im = open(imgPath, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return(chaojiying.PostPic(im, imgType))[&#39;pic_str&#39;]
# 自动获取cookie
session = requests.Session()
# 识别验证码
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
# 识别验证码
code_text = tranformImgCode(&#39;./code.jpg&#39;,1902)
print(code_text)
login_url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
data = {
    &#39;__VIEWSTATE&#39;: &#39;frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=&#39;,
    &#39;__VIEWSTATEGENERATOR&#39;: &#39;C93BE1AE&#39;,
    &#39;from&#39;: &#39;http://so.gushiwen.cn/user/collect.aspx&#39;,
    &#39;email&#39;: &#39;用户名&#39;, # 更换自己的用户名
    &#39;pwd&#39;: &#39;密码&#39;,     # 更换自己的密码
    &#39;code&#39;: code_text,
    &#39;denglu&#39;: &#39;登录&#39;
}
# 对点击登录按钮发起请求,获取登录成功后对应的页面源码数据
page_text_login = session.post(url = login_url,data = data,headers = headers).text
with open(&#39;./gushiwen.html&#39;,&#39;w&#39;,encoding = &#39;utf-8&#39;) as fp:
    fp.write(page_text_login)
　　以上就是文章文章《python爬虫如何实现模拟登录、自动获取cookie值、验证码识别功能》的全部内容，感谢阅读！相信大家都有一定的了解。希望分享的内容对大家有所帮助。想了解更多知识，请关注易宿云行业资讯频道！ 查看全部

　　自动识别采集内容(【每日一题】基于线上平台识别验证码（1）)
　　本篇文章主要为大家介绍“python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能”。小编将带领大家学习学习《python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能》文章。
　　1、 爬取网页分析
　　爬取的目标网址为：
　　登录界面需要做的工作是获取验证码图片，并识别验证码，以实现登录。
　　
　　使用浏览器抓包工具可以看到登录界面的请求头收录cookie和user-agent，所以发送请求时需要这两个数据。用户代理可以手动添加到请求头中，cookie值需要自动获取。
　　
　　分析完毕，开始练习！！！
　　2、验证码识别
　　(1）基于在线打码平台识别验证码
　　(2）编码平台：超级鹰、云编码、编码兔
　　该项目使用 Super Eagle 编码平台完成。网站链接：
　　
　　打包下载的源代码
　　
　　3、cookies是自动获取的
　　import requests
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
        #手动处理cookie
        # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825"
    }
session = requests.Session() # 创建session对象
# 第一次使用session，捕获请求cookie
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
　　4、程序源码chaojiying.py
　　#!/usr/bin/env python
# coding:utf-8
import requests
from hashlib import md5
class Chaojiying_Client(object):
    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode(&#39;utf8&#39;)
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            &#39;user&#39;: self.username,
            &#39;pass2&#39;: self.password,
            &#39;softid&#39;: self.soft_id,
        }
        self.headers = {
            &#39;Connection&#39;: &#39;Keep-Alive&#39;,
            &#39;User-Agent&#39;: &#39;Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)&#39;,
        }
    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            &#39;codetype&#39;: codetype,
        }
        params.update(self.base_params)
        files = {&#39;userfile&#39;: (&#39;ccc.jpg&#39;, im)}
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, files=files, headers=self.headers)
        return r.json()
    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            &#39;id&#39;: im_id,
        }
        params.update(self.base_params)
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, headers=self.headers)
        return r.json()
if __name__ == &#39;__main__&#39;:
    chaojiying = Chaojiying_Client(&#39;超级鹰用户名&#39;, &#39;超级鹰用户名的密码&#39;, &#39;96001&#39;) #用户中心>>软件ID 生成一个替换 96001
    im = open(&#39;a.jpg&#39;, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1902)) #1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
　　登录.py
　　# 模拟登录
# 流程：1 对点击登录按钮对应的请求进行发送（post请求）
#      2 处理请求参数：
#        用户名 密码 验证码 其他防伪参数
import requests
from lxml import etree
from chaojiying_Python.chaojiying import Chaojiying_Client
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
}
# 封装好的验证码识别函数
def tranformImgCode(imgPath,imgType):
    chaojiying = Chaojiying_Client(&#39;用户名&#39;, &#39;密码&#39;, &#39;软件ID&#39;)         # 用户中心>>软件ID 生成一个替换 软件ID
    im = open(imgPath, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return(chaojiying.PostPic(im, imgType))[&#39;pic_str&#39;]
# 自动获取cookie
session = requests.Session()
# 识别验证码
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
# 识别验证码
code_text = tranformImgCode(&#39;./code.jpg&#39;,1902)
print(code_text)
login_url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
data = {
    &#39;__VIEWSTATE&#39;: &#39;frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=&#39;,
    &#39;__VIEWSTATEGENERATOR&#39;: &#39;C93BE1AE&#39;,
    &#39;from&#39;: &#39;http://so.gushiwen.cn/user/collect.aspx&#39;,
    &#39;email&#39;: &#39;用户名&#39;, # 更换自己的用户名
    &#39;pwd&#39;: &#39;密码&#39;,     # 更换自己的密码
    &#39;code&#39;: code_text,
    &#39;denglu&#39;: &#39;登录&#39;
}
# 对点击登录按钮发起请求,获取登录成功后对应的页面源码数据
page_text_login = session.post(url = login_url,data = data,headers = headers).text
with open(&#39;./gushiwen.html&#39;,&#39;w&#39;,encoding = &#39;utf-8&#39;) as fp:
    fp.write(page_text_login)
　　以上就是文章文章《python爬虫如何实现模拟登录、自动获取cookie值、验证码识别功能》的全部内容，感谢阅读！相信大家都有一定的了解。希望分享的内容对大家有所帮助。想了解更多知识，请关注易宿云行业资讯频道！

自动识别采集内容(自动识别采集内容，本身做得很好--spark)

采集交流 • 优采云 发表了文章 • 0 个评论 • 91 次浏览 • 2022-04-17 12:02 • 来自相关话题

　　自动识别采集内容(自动识别采集内容，本身做得很好--spark)
　　自动识别采集内容，本身做得很好。功能和效果做的很全，可以根据自己的业务对接到相关性很高的数据，优势很大。你提到的这个php采集这块，估计是商盟的吧，客户对接商盟，商盟自动识别采集，商盟可以给各平台做定制内容，合作很有优势。
　　其实php脚本采集的效果，可以说只要是和数据结构有关的，基本上都可以采用php去实现，但是本案例的效果，应该是结合了深度学习算法，采用了深度学习的api去实现，该案例已经结合了单变量机器学习，并且采用了其他神经网络算法，涉及了深度学习，数据结构的对应关系，以及图算法，作者在文中把对应算法介绍了出来，实现是更容易，效果更好了。
　　目前自动采集基本都是在搭建深度学习的框架上完成，基本框架也就是spark,dlib,tensorflow这些。在android的平台上，主要还是java实现。图片的采集还可以使用opencv库来使用。简单说下针对图片自动采集的优缺点：优点：快速高效，即使你框架api写得很细致，效率提升很有限，后面还是得加速响应和重排查，方便追求高效的童鞋。
　　缺点：并发采集相对较慢，毕竟针对不同浏览器实现的效果有差异，包括动态分析网页数据流的思想还没有完全理解，并发数会限制性能表现。图片、文本自动采集教程：1.“picasa+xlwt+webtext+神经网络”图片自动采集教程2.“picasa+xlwt+webtext+神经网络”图片自动采集详细教程。 查看全部

　　自动识别采集内容(自动识别采集内容，本身做得很好--spark)
　　自动识别采集内容，本身做得很好。功能和效果做的很全，可以根据自己的业务对接到相关性很高的数据，优势很大。你提到的这个php采集这块，估计是商盟的吧，客户对接商盟，商盟自动识别采集，商盟可以给各平台做定制内容，合作很有优势。
　　其实php脚本采集的效果，可以说只要是和数据结构有关的，基本上都可以采用php去实现，但是本案例的效果，应该是结合了深度学习算法，采用了深度学习的api去实现，该案例已经结合了单变量机器学习，并且采用了其他神经网络算法，涉及了深度学习，数据结构的对应关系，以及图算法，作者在文中把对应算法介绍了出来，实现是更容易，效果更好了。
　　目前自动采集基本都是在搭建深度学习的框架上完成，基本框架也就是spark,dlib,tensorflow这些。在android的平台上，主要还是java实现。图片的采集还可以使用opencv库来使用。简单说下针对图片自动采集的优缺点：优点：快速高效，即使你框架api写得很细致，效率提升很有限，后面还是得加速响应和重排查，方便追求高效的童鞋。
　　缺点：并发采集相对较慢，毕竟针对不同浏览器实现的效果有差异，包括动态分析网页数据流的思想还没有完全理解，并发数会限制性能表现。图片、文本自动采集教程：1.“picasa+xlwt+webtext+神经网络”图片自动采集教程2.“picasa+xlwt+webtext+神经网络”图片自动采集详细教程。

自动识别采集内容(BaoAI小宝人工智能和量化系统和 )

采集交流 • 优采云 发表了文章 • 0 个评论 • 167 次浏览 • 2022-04-15 00:10 • 来自相关话题

　　自动识别采集内容(BaoAI小宝人工智能和量化系统和
)
　　BaoAI小宝人工智能及量化系统
　　人工智能和量化从这里开始
　　
　　小宝AI与量化平台是一个简洁、直观、强大的前后端SPA开发框架，支持国际化，基于模块，让WEB应用、人工智能和量化系统的开发变得更快更容易。平台收录多个模块，主要包括基于角色的权限管理基础平台（用户、角色、权限、日志、附件、配置参数、分类管理）、通知模块、代码自动生成模块、任务系统模块、内容管理系统模块、 网站模块、电子手册模块、人工智能模块、图像识别模块、人脸识别模块、金融数据采集模块、大数据模块、量化交易模块等。
　　特点：下载源代码
　　宝爱的前后端分离框架，包括前端项目和后端项目
　　文档
　　API
　　模块扩展
　　前端和后端开发工具
　　视觉工作室代码
　　安装插件：
　　Visual Studio Code 的中文（简体）语言包
　　jshint
　　Python
　　Git 历史
　　项目后端BaoAIBack安装步骤
　　需要 Python 3.6
　　# 1. 创建虚拟环境
# windows, 假设项目根路径：d:/baoai/BaoaiBack/
cd d:/baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
d:/baoai/BaoaiBack/venv/Scripts/activate.bat
cd d:/baoai/BaoaiBack
# linux, 假设项目根路径：/baoai/BaoaiBack/
cd /baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
source /baoai/BaoaiBack/venv/bin/activate
cd /baoai/BaoaiBack
# 2. 安装依赖库(必须处于虚拟环境)
# windows 安装依赖库
python -m pip install --upgrade pip
pip install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# linux 安装依赖库
python -m pip3 install --upgrade pip
pip3 install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# 3. 运行 Restful 服务
# windows
run_baoai.bat
# linux
# 默认使用gunicorn做为wsgi
chmod +x run_baoai.sh
./run_baoai.sh
# 4. 运行 www 服务(Jinja模块)
# windows
run_www.bat
# linux
chmod +x run_www.sh
./run_www.sh
# 常用功能
# 清空缓存
python manage.py clean
　　项目后台数据库
　　该项目支持大多数流行的关系数据库，包括：SQLite、MySQL、Postgres、Oracle、MS-SQL、SQLServer 和 Firebird。
　　已提供 Sqlite 数据库和 MySQL 数据脚本文件。MySQL 支持 5.5 及以上。
　　数据库转换不需要修改代码，只需要修改config.py中的SQLALCHEMY_DATABASE_URI即可。
　　默认使用 sqlite 数据库。优点是不需要安装专门的数据库软件，方便测试和开发。请使用mysql或其他数据库软件进行生产部署。
　　sqlite数据保存在db/baoai.db中，直接使用。
　　mysql数据库脚本保存在db/baoai.mysql.sql中，需要新建一个数据库如baoai，然后导入脚本。
　　如果您使用其他数据库，您可以使用 Navicat Premium 工具菜单中的数据传输来执行不同数据库之间的数据迁移。
　　数据库相关操作：
　　# 数据迁移服务
# 初始化
python manage.py db init
# 模型迁移
python manage.py db migrate
# 数据库脚本更新（操作数据）
python manage.py db upgrade
　　项目代码自动生成模块
　　使用代码自动生成模块，可以将字段、模型、生成的数据库、前端代码、后端代码和权限配置一起可视化，可以零代码实现一般项目。这部分主要包括三个扩展模块：数据迁移模块、自动代码模型模块和自动代码生成模块
　　BaoAI小宝人工智能及量化平台系统架构
　　
　　BaoAI小宝人工智能与量化平台知识体系
　　可用于各行业前后端系统软件开发，cms、人工智能、图像识别、人脸识别、大数据及量化投资等领域。 end 与 SPA 架构分离，使用 AngularJS/Bootstrap 等前端框架来实现响应式和 SPA 编程。后端主要使用Python语言，包括以下框架：flask提供web服务，Jinja2提供模板服务，Numpy、Pandas、Scikit-Learn、Tensorflow和Keras实现人工智能服务，celery实现任务调度，scrapy to提供网络爬虫、基于Backtrader的金融量化服务等。
　　
　　基于宝爱的设计案例：
　　内容管理网站：
　　
　　管理系统背景：
　　
　　人工智能：
　　
　　定量系统：
　　 查看全部

　　自动识别采集内容(BaoAI小宝人工智能和量化系统和
)
　　BaoAI小宝人工智能及量化系统
　　人工智能和量化从这里开始
　　
　　小宝AI与量化平台是一个简洁、直观、强大的前后端SPA开发框架，支持国际化，基于模块，让WEB应用、人工智能和量化系统的开发变得更快更容易。平台收录多个模块，主要包括基于角色的权限管理基础平台（用户、角色、权限、日志、附件、配置参数、分类管理）、通知模块、代码自动生成模块、任务系统模块、内容管理系统模块、 网站模块、电子手册模块、人工智能模块、图像识别模块、人脸识别模块、金融数据采集模块、大数据模块、量化交易模块等。
　　特点：下载源代码
　　宝爱的前后端分离框架，包括前端项目和后端项目
　　文档
　　API
　　模块扩展
　　前端和后端开发工具
　　视觉工作室代码
　　安装插件：
　　Visual Studio Code 的中文（简体）语言包
　　jshint
　　Python
　　Git 历史
　　项目后端BaoAIBack安装步骤
　　需要 Python 3.6
　　# 1. 创建虚拟环境
# windows, 假设项目根路径：d:/baoai/BaoaiBack/
cd d:/baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
d:/baoai/BaoaiBack/venv/Scripts/activate.bat
cd d:/baoai/BaoaiBack
# linux, 假设项目根路径：/baoai/BaoaiBack/
cd /baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
source /baoai/BaoaiBack/venv/bin/activate
cd /baoai/BaoaiBack
# 2. 安装依赖库(必须处于虚拟环境)
# windows 安装依赖库
python -m pip install --upgrade pip
pip install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# linux 安装依赖库
python -m pip3 install --upgrade pip
pip3 install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# 3. 运行 Restful 服务
# windows
run_baoai.bat
# linux
# 默认使用gunicorn做为wsgi
chmod +x run_baoai.sh
./run_baoai.sh
# 4. 运行 www 服务(Jinja模块)
# windows
run_www.bat
# linux
chmod +x run_www.sh
./run_www.sh
# 常用功能
# 清空缓存
python manage.py clean
　　项目后台数据库
　　该项目支持大多数流行的关系数据库，包括：SQLite、MySQL、Postgres、Oracle、MS-SQL、SQLServer 和 Firebird。
　　已提供 Sqlite 数据库和 MySQL 数据脚本文件。MySQL 支持 5.5 及以上。
　　数据库转换不需要修改代码，只需要修改config.py中的SQLALCHEMY_DATABASE_URI即可。
　　默认使用 sqlite 数据库。优点是不需要安装专门的数据库软件，方便测试和开发。请使用mysql或其他数据库软件进行生产部署。
　　sqlite数据保存在db/baoai.db中，直接使用。
　　mysql数据库脚本保存在db/baoai.mysql.sql中，需要新建一个数据库如baoai，然后导入脚本。
　　如果您使用其他数据库，您可以使用 Navicat Premium 工具菜单中的数据传输来执行不同数据库之间的数据迁移。
　　数据库相关操作：
　　# 数据迁移服务
# 初始化
python manage.py db init
# 模型迁移
python manage.py db migrate
# 数据库脚本更新（操作数据）
python manage.py db upgrade
　　项目代码自动生成模块
　　使用代码自动生成模块，可以将字段、模型、生成的数据库、前端代码、后端代码和权限配置一起可视化，可以零代码实现一般项目。这部分主要包括三个扩展模块：数据迁移模块、自动代码模型模块和自动代码生成模块
　　BaoAI小宝人工智能及量化平台系统架构
　　
　　BaoAI小宝人工智能与量化平台知识体系
　　可用于各行业前后端系统软件开发，cms、人工智能、图像识别、人脸识别、大数据及量化投资等领域。 end 与 SPA 架构分离，使用 AngularJS/Bootstrap 等前端框架来实现响应式和 SPA 编程。后端主要使用Python语言，包括以下框架：flask提供web服务，Jinja2提供模板服务，Numpy、Pandas、Scikit-Learn、Tensorflow和Keras实现人工智能服务，celery实现任务调度，scrapy to提供网络爬虫、基于Backtrader的金融量化服务等。
　　
　　基于宝爱的设计案例：
　　内容管理网站：
　　
　　管理系统背景：
　　
　　人工智能：
　　
　　定量系统：
　　

自动识别采集内容(批量统计报告有“神器”了网信天津2022-11)

采集交流 • 优采云 发表了文章 • 0 个评论 • 198 次浏览 • 2022-04-12 19:30 • 来自相关话题

　　自动识别采集内容(批量统计报告有“神器”了网信天津2022-11)
　　核酸检测结果汇总统计助手功能上线，批量统计核酸报告有“神器”
　　
　　天津网通 2022-04-11
　　为积极服务企业复工复产和复学复课，天津市委网信办、天津市大数据管理中心新开发了在线核酸检测结果汇总统计辅助功能. 即日起，企业、学校相关管理人员可随时使用该功能，自动将多批次核酸检测报告汇总截图生成表格，方便您快速掌握员工核酸检测结果，学生，省时、省力、省力。确保数据安全。
　　核酸检测结果汇总统计助手功能是一款单机程序，将核酸截图中的姓名、脱敏身份证号、采样时间、检测机构、检测结果等信息提取后自动生成excel文件测试结果。读取的图片信息无需上传至云服务器，不存在信息采集和个人隐私泄露风险，有效保障个人信息安全。
　　核酸检测结果汇总统计助手功能好用
　　一、安装
　　第一步：下载程序。在浏览器中输入地址： ，点击天津核酸检测结果汇总统计助手（Windows版-含依赖包），下载程序。
　　
　　程序下载页面
　　第二步：安装程序。双击“Tjtj-net.exe”程序，按照提示一步步安装。安装完成后，桌面会自动显示快捷方式“核酸检测结果统计助手”。
　　桌面快捷方式
　　“核酸检测结果统计助手”图标
　　如果双击图标不起作用，请安装相应的依赖程序：install net4.8、 安装Microsoft C++运行库。
　　依赖程序（.net4.8 ，C++ 运行时库）图标
　　二、为员工、学生等采集核酸检测结果。
　　1. 本程序仅支持对通过“健康天津”APP和“津心办”APP查询的核酸检测结果截图进行识别。
　　2.核酸检测结果截图必须包括：页面描述、个人信息、检测结果。
　　3. 图片格式支持：jpg、jpeg、bmp三种格式；
　　4. 截图必须严格按照图例截图，否则无法识别。
　　核酸检测结果图例
　　三、一键生成汇总表文件
　　第一步：打开程序。桌面---双击“核酸检测结果统计助手”快捷图标进入功能页面。
　　“核酸检测结果统计助手”图标
　　
　　功能页面
　　第 2 步：使用该程序。点击“选择文件夹”按钮，选择已保存待生成统计报表的文件夹，点击开始识别。
　　
　　选择文件夹
　　
　　开始识别
　　第 3 步：找到报告。在保存核酸检测结果截图的原创文件夹下，自动生成“文件输出”文件夹——鉴定结果文件。
　　
　　“文件输出”文件夹
　　点评：王少云
　　编辑：王安
　　材料安排：许晓薇、石娇娇 查看全部

　　自动识别采集内容(批量统计报告有“神器”了网信天津2022-11)
　　核酸检测结果汇总统计助手功能上线，批量统计核酸报告有“神器”
　　
　　天津网通 2022-04-11
　　为积极服务企业复工复产和复学复课，天津市委网信办、天津市大数据管理中心新开发了在线核酸检测结果汇总统计辅助功能. 即日起，企业、学校相关管理人员可随时使用该功能，自动将多批次核酸检测报告汇总截图生成表格，方便您快速掌握员工核酸检测结果，学生，省时、省力、省力。确保数据安全。
　　核酸检测结果汇总统计助手功能是一款单机程序，将核酸截图中的姓名、脱敏身份证号、采样时间、检测机构、检测结果等信息提取后自动生成excel文件测试结果。读取的图片信息无需上传至云服务器，不存在信息采集和个人隐私泄露风险，有效保障个人信息安全。
　　核酸检测结果汇总统计助手功能好用
　　一、安装
　　第一步：下载程序。在浏览器中输入地址： ，点击天津核酸检测结果汇总统计助手（Windows版-含依赖包），下载程序。
　　
　　程序下载页面
　　第二步：安装程序。双击“Tjtj-net.exe”程序，按照提示一步步安装。安装完成后，桌面会自动显示快捷方式“核酸检测结果统计助手”。
　　桌面快捷方式
　　“核酸检测结果统计助手”图标
　　如果双击图标不起作用，请安装相应的依赖程序：install net4.8、 安装Microsoft C++运行库。
　　依赖程序（.net4.8 ，C++ 运行时库）图标
　　二、为员工、学生等采集核酸检测结果。
　　1. 本程序仅支持对通过“健康天津”APP和“津心办”APP查询的核酸检测结果截图进行识别。
　　2.核酸检测结果截图必须包括：页面描述、个人信息、检测结果。
　　3. 图片格式支持：jpg、jpeg、bmp三种格式；
　　4. 截图必须严格按照图例截图，否则无法识别。
　　核酸检测结果图例
　　三、一键生成汇总表文件
　　第一步：打开程序。桌面---双击“核酸检测结果统计助手”快捷图标进入功能页面。
　　“核酸检测结果统计助手”图标
　　
　　功能页面
　　第 2 步：使用该程序。点击“选择文件夹”按钮，选择已保存待生成统计报表的文件夹，点击开始识别。
　　
　　选择文件夹
　　
　　开始识别
　　第 3 步：找到报告。在保存核酸检测结果截图的原创文件夹下，自动生成“文件输出”文件夹——鉴定结果文件。
　　
　　“文件输出”文件夹
　　点评：王少云
　　编辑：王安
　　材料安排：许晓薇、石娇娇

安卓手机上seolove5simouipdf工具，可以免费在线工具编辑吗？

采集交流 • 优采云 发表了文章 • 0 个评论 • 47 次浏览 • 2022-06-28 13:00 • 来自相关话题

　　安卓手机上seolove5simouipdf工具，可以免费在线工具编辑吗？
　　自动识别采集内容，自动打包上传，上传微信公众号素材，可以给自己公众号自动更新模板文章，微信编辑器模板都不错，主要是操作简单。
　　安卓手机上seolove5simouipdf工具，
　　
　　据我所知有个开源seo解决方案wordpress开发的平台。可以免费在线工具编辑。
　　我有个小工具zuul帮助你解决目前我认为最难的编辑工作但是需要内容原始的。如果你微信开发者或者内容爬虫接入，就没那么难了。但是php一样可以爬虫，
　　
　　推荐个第三方工具-青雀云excel插件。找了几篇相关的文章图片以及使用步骤。大家可以看看了解一下。使用这个excel插件，你就可以一键全网公众号文章、历史消息查询，当前数据、以及内容延展阅读分析等。这些功能基本就涵盖了国内绝大部分微信公众号文章，从头条公众号文章，到百家公众号文章，再到腾讯公众号文章，到百度等竞价平台文章。
　　用微信公众号开发者工具就可以编辑了，或者后台调试接口编辑，目前免费和开源工具有青雀云、文微等，
　　自动查找小程序、网站的素材文章（公众号素材、小程序素材）。可以免费收集公众号素材、小程序的页面，很实用的工具。原创保护自动保存每篇推文，如果你是原创，可以隐藏掉原文链接。全网查找每篇推文和链接，绝对安全。 查看全部

　　安卓手机上seolove5simouipdf工具，可以免费在线工具编辑吗？
　　自动识别采集内容，自动打包上传，上传微信公众号素材，可以给自己公众号自动更新模板文章，微信编辑器模板都不错，主要是操作简单。
　　安卓手机上seolove5simouipdf工具，
　　
　　据我所知有个开源seo解决方案wordpress开发的平台。可以免费在线工具编辑。
　　我有个小工具zuul帮助你解决目前我认为最难的编辑工作但是需要内容原始的。如果你微信开发者或者内容爬虫接入，就没那么难了。但是php一样可以爬虫，
　　
　　推荐个第三方工具-青雀云excel插件。找了几篇相关的文章图片以及使用步骤。大家可以看看了解一下。使用这个excel插件，你就可以一键全网公众号文章、历史消息查询，当前数据、以及内容延展阅读分析等。这些功能基本就涵盖了国内绝大部分微信公众号文章，从头条公众号文章，到百家公众号文章，再到腾讯公众号文章，到百度等竞价平台文章。
　　用微信公众号开发者工具就可以编辑了，或者后台调试接口编辑，目前免费和开源工具有青雀云、文微等，
　　自动查找小程序、网站的素材文章（公众号素材、小程序素材）。可以免费收集公众号素材、小程序的页面，很实用的工具。原创保护自动保存每篇推文，如果你是原创，可以隐藏掉原文链接。全网查找每篇推文和链接，绝对安全。

【自研】东鸽用 Go 语言写了一个能够自动解析新闻网页的算法

采集交流 • 优采云 发表了文章 • 0 个评论 • 63 次浏览 • 2022-06-19 01:34 • 来自相关话题

　　【自研】东鸽用 Go 语言写了一个能够自动解析新闻网页的算法
　　
　　"NightTeam"，一个值得加星标
　　
　　的公众号。
　　输入网页文本(不需要输入 xpath)，自动结构化输出标题、发布时间、正文、作者、来源等信息。
　　
　　为了流量，标题有点唬。但算法确实可以做到多源、多站点通用，目前已经应用在生产环境当中，效果可以。
　　先体验一下
　　打开体验地址(或者点击下方的阅读原文) -> 体验页面[1] ，体验页面比较简单，主要划分了 3 个区域：体验须知、参数输入区、解析结果展示区。
　　在开始体验前，大家可以阅读一下体验须知。
　　① 打开一个新闻网页，例如 永福：林业科技特派员助力麻竹种植[2]。
　　② 然后在页面空白处右键，在弹出的选项卡里选中查看页面源代码
　　
　　然后我们就看到浏览器新窗口里显示的网页原文本
　　③ 全选文本，复制下来。找一个 Base64 编码的在线工具[3]
　　④ 将复制的网页原文本粘贴到框 1 中，然后点击加密按钮，届时相应的 Base64 编码就会出现在框 2 中，点击复制按钮即可把内容复制到剪贴板
　　⑤ 回到我们的体验页，把 Base64 内容粘贴到参数输入区的网页框里，并在网址处填入这篇文章对应的网址。
　　⑥ 点击开始分析按钮，稍等一会儿，体验页上会弹出一个关于解析结果的提示。然后你就可以滑到下方的解析结果展示区查看解析结果了。
　　
　　解析结果展示区主要分为 3 个部分：接口信息、解析耗时统计、解析结果。
　　其中接口信息主要是后端接口返回的一些信息；
　　解析耗时统计则是每个环节的耗时记录，单位为毫秒；
　　解析结果处会显示这个算法的成果，例如文章标题、文章来源、文章发布时间、文章作者、文章正文、正文所在的 HTML 标签、正文所在 HTML 标签的 Class 属性等。
　　还有根据正文内容计算出来的文章分类、文章标签、文章摘要等。多实体命名+情感分析还在训练中，所以体验页还没有。
　　我推荐你动手找一些其他新闻类网页，用同样的方式复制、粘贴到体验页进行体验，看看算法的结果如何。
　　这个算法有什么用处
　　这种算法在工具应用方面其实我们早已见过：早些年 360 浏览器推出的阅读模式，差不多就是这样的算法。阅读模式可以把那些广告、侧栏、底栏内容都屏蔽掉，让你可以专心阅读文档和小说。
　　在研发层面，它也发挥着不小的作用。我们来看一些业务场景：
　　① 假设一个舆情类的公司，它采集新闻文章数据，对内容进行提取后进行标记、训练，最后形成一款舆情产品(例如百什么舆情、什么浪舆情)。
　　
　　② 再举个栗子，假设一个招投标类的公司，它采集招标类信息，然后对内容进行格式化提取，取出招标标题、标的金额、招标方信息、代理方信息、投标要求等，就可以形成一款招标产品(例如千什么马招标)。
　　无论是新闻类网站，还是招投标信息类网站，站点数量都是非常庞大的，通常以万计。按照普遍做法，招一批爬虫工程师+一批专门写 xpath 规则的工作人员（通常是苦命的实习生），从这上万个站点中一个个 xpath 填写，然后爬虫采集的时候读取对应的 xpath 进行解析。
　　
　　几十、一百个网站还好说，这上万个站点的数据想要全填进来，得好几个月。而且有些网站会出现页面规则改动，导致解析不到数据，那就需要每天都更新 xpath。你想想这工作量……
　　但是有了这样的算法，就不需要一个个 xpath 填写了。
　　
　　你的团队/公司可以在短时间内采集到大量的数据，你说开不开心
　　这样的算法厉害吗
　　厉不厉害先不说，我们看看目前哪些地方有这样的算法或者产品。
　　1、之前有提到过 360 浏览器（现在其他厂商的浏览器）有这样的产品。
　　2、微软好像有类似能力，还开放了 API 接口。
　　3、国外开源的 Python 库 Readability。
　　4、国内开源的 Python 库 GNE。
　　5、国内一些硕士的研究论文(可以在百度文库搜到)。
　　6、其他基于深度学习的库，不记得名字了。我记得微软工程师崔庆才写过。
　　7、国外一个网站，名字忘记了，收费的，很贵很贵。
　　8、国外有一款 Java 写的，名字里带 News 的，忘记了。
　　大家现在体验的这款算法，启蒙于 GNE。GNE 早期我通读过源码，跟原作者有过很多交流，请教过很多知识。后来我写的书《Python3 网络爬虫宝典》中有一章是讲解 GNE 算法原理和源码的，在此再次感谢 GNE 作者青南。
　　浏览器的阅读模式我体验过、Readability 我通过读源码、国内能找到的相关论文我也通读了一遍。目前深度学习相关的库、收费的接口没有测试过。
　　这类自动解析算法的好坏在几点：效率、提取能力、准确率。我对自己接触过的几个算法评价一下：
　　1、Readabiliti 是基于 HTML 标签权重进行评分的，例如 p 标签的权重比 div 的高、h 的比 span 的高等等。在很规范的新闻网站中，效果还可以，但大体上算出来的结果，很是离谱。
　　2、GNE-早期，GNE 早期是基于标点符号密度的，90% 以上的网页正文解析都没什么问题。但是在实际应用中发现几个问题：内容会被截断、正文字少的会识别错误、发布时间跟页面显示不同等。正文提取相关的问题，都是因为密度算法导致的。时间不准则是因为提取优先级和逻辑选择了另一种方式。
　　3、国内论文，因为国外的我看不懂，我只能搜国内的来看。普遍来看，基于文字密度、标点符号密度、位置、距离等等，效果其实都是不怎么好的。这里你可能会问，为什么论文里的结果很好?
　　那是因为测试的样本选得好啊！！！
　　4、GNE-现代，GNE 现代款是基于人类视觉+新闻网页特征规则编写的，大体的逻辑是网页内容通常在网页的中间，这样可以排除左右和上下的噪声。中间的噪声通过块的长短来进行判断，最终可以提取到很准确的正文。
　　
　　技术细节不能泄露太多，我举个例子。上图中的蓝色块是放置图片的位置。站在 GNE-现代的视角，它会认为蓝色块的宽度跟下面文本的宽度不同，因此这块就会是噪声，应当排除。
　　那些需要大量样本训练的深度学习类算法咱就不说了，毕竟没有亲身体验过。但有一点可以确定，单纯靠分类、回归类的深度学习是不可能取得好成绩的。不知道现在 bert 模型出来后，有没有人训练出更好的模型。
　　对比小结：上面列举的例子中，GNE-现代款的正文部分提取效果是最好的，但我记得它需要浏览器进行渲染，在效率方面好像还没有找到很好的解决方案。
　　
　　本文的算法，大家可以体验一下，毕竟实际体验才能证明好与不好。我觉得目前在效率+准确率+提取能力多方面综合来看，本文的算法能够排得上名次(这是一句很谦虚的话)。
　　放一个群友提供的哔哩哔哩专栏的解析效果。
　　
　　算法逻辑是怎样的
　　不好意思，这个问题我现在不打算讨论，也还没到开源的时候，下一个。
　　参考了哪些算法
　　正如前面所提到的，我读过 Readability、GNE-早期 的源码，又看过了国内大部分相关论文。
　　最开始我是基于 GNE-早期 进行优化和改造的。
　　翻阅了大量的深度学习相关资料，终于确定不再走这条路线，因为事实证明效果都没有达到我想要的效果。
　　后来突然有一天，我在那里看着《天行九歌》抉择那一集，就有了灵感。经过短暂的 coding 后进行了测试，发现结果可行，就一头扎了进去。这一扎，就是20年……
　　不对
　　是 200 天
　　可以横向扩展到哪些领域
　　现在主要应用在新闻类数据解析中，后面可以扩展到招投标网页解析、电商网页解析、药品网页解析等等。
　　如果你从深度学习的角度来看，它们可能需要做不同的训练、准备不同的样本、使用不一样的算法模型。但从我这个算法原理来看，它们都是一样的，适当改动就可以得到另一个领域的解析算法。
　　References
　　[1] 体验页面: :3597/
　　[2] 永福：林业科技特派员助力麻竹种植:
　　[3] 在线工具: 查看全部

　　【自研】东鸽用 Go 语言写了一个能够自动解析新闻网页的算法
　　
　　"NightTeam"，一个值得加星标
　　
　　的公众号。
　　输入网页文本(不需要输入 xpath)，自动结构化输出标题、发布时间、正文、作者、来源等信息。
　　
　　为了流量，标题有点唬。但算法确实可以做到多源、多站点通用，目前已经应用在生产环境当中，效果可以。
　　先体验一下
　　打开体验地址(或者点击下方的阅读原文) -> 体验页面[1] ，体验页面比较简单，主要划分了 3 个区域：体验须知、参数输入区、解析结果展示区。
　　在开始体验前，大家可以阅读一下体验须知。
　　① 打开一个新闻网页，例如 永福：林业科技特派员助力麻竹种植[2]。
　　② 然后在页面空白处右键，在弹出的选项卡里选中查看页面源代码
　　
　　然后我们就看到浏览器新窗口里显示的网页原文本
　　③ 全选文本，复制下来。找一个 Base64 编码的在线工具[3]
　　④ 将复制的网页原文本粘贴到框 1 中，然后点击加密按钮，届时相应的 Base64 编码就会出现在框 2 中，点击复制按钮即可把内容复制到剪贴板
　　⑤ 回到我们的体验页，把 Base64 内容粘贴到参数输入区的网页框里，并在网址处填入这篇文章对应的网址。
　　⑥ 点击开始分析按钮，稍等一会儿，体验页上会弹出一个关于解析结果的提示。然后你就可以滑到下方的解析结果展示区查看解析结果了。
　　
　　解析结果展示区主要分为 3 个部分：接口信息、解析耗时统计、解析结果。
　　其中接口信息主要是后端接口返回的一些信息；
　　解析耗时统计则是每个环节的耗时记录，单位为毫秒；
　　解析结果处会显示这个算法的成果，例如文章标题、文章来源、文章发布时间、文章作者、文章正文、正文所在的 HTML 标签、正文所在 HTML 标签的 Class 属性等。
　　还有根据正文内容计算出来的文章分类、文章标签、文章摘要等。多实体命名+情感分析还在训练中，所以体验页还没有。
　　我推荐你动手找一些其他新闻类网页，用同样的方式复制、粘贴到体验页进行体验，看看算法的结果如何。
　　这个算法有什么用处
　　这种算法在工具应用方面其实我们早已见过：早些年 360 浏览器推出的阅读模式，差不多就是这样的算法。阅读模式可以把那些广告、侧栏、底栏内容都屏蔽掉，让你可以专心阅读文档和小说。
　　在研发层面，它也发挥着不小的作用。我们来看一些业务场景：
　　① 假设一个舆情类的公司，它采集新闻文章数据，对内容进行提取后进行标记、训练，最后形成一款舆情产品(例如百什么舆情、什么浪舆情)。
　　
　　② 再举个栗子，假设一个招投标类的公司，它采集招标类信息，然后对内容进行格式化提取，取出招标标题、标的金额、招标方信息、代理方信息、投标要求等，就可以形成一款招标产品(例如千什么马招标)。
　　无论是新闻类网站，还是招投标信息类网站，站点数量都是非常庞大的，通常以万计。按照普遍做法，招一批爬虫工程师+一批专门写 xpath 规则的工作人员（通常是苦命的实习生），从这上万个站点中一个个 xpath 填写，然后爬虫采集的时候读取对应的 xpath 进行解析。
　　
　　几十、一百个网站还好说，这上万个站点的数据想要全填进来，得好几个月。而且有些网站会出现页面规则改动，导致解析不到数据，那就需要每天都更新 xpath。你想想这工作量……
　　但是有了这样的算法，就不需要一个个 xpath 填写了。
　　
　　你的团队/公司可以在短时间内采集到大量的数据，你说开不开心
　　这样的算法厉害吗
　　厉不厉害先不说，我们看看目前哪些地方有这样的算法或者产品。
　　1、之前有提到过 360 浏览器（现在其他厂商的浏览器）有这样的产品。
　　2、微软好像有类似能力，还开放了 API 接口。
　　3、国外开源的 Python 库 Readability。
　　4、国内开源的 Python 库 GNE。
　　5、国内一些硕士的研究论文(可以在百度文库搜到)。
　　6、其他基于深度学习的库，不记得名字了。我记得微软工程师崔庆才写过。
　　7、国外一个网站，名字忘记了，收费的，很贵很贵。
　　8、国外有一款 Java 写的，名字里带 News 的，忘记了。
　　大家现在体验的这款算法，启蒙于 GNE。GNE 早期我通读过源码，跟原作者有过很多交流，请教过很多知识。后来我写的书《Python3 网络爬虫宝典》中有一章是讲解 GNE 算法原理和源码的，在此再次感谢 GNE 作者青南。
　　浏览器的阅读模式我体验过、Readability 我通过读源码、国内能找到的相关论文我也通读了一遍。目前深度学习相关的库、收费的接口没有测试过。
　　这类自动解析算法的好坏在几点：效率、提取能力、准确率。我对自己接触过的几个算法评价一下：
　　1、Readabiliti 是基于 HTML 标签权重进行评分的，例如 p 标签的权重比 div 的高、h 的比 span 的高等等。在很规范的新闻网站中，效果还可以，但大体上算出来的结果，很是离谱。
　　2、GNE-早期，GNE 早期是基于标点符号密度的，90% 以上的网页正文解析都没什么问题。但是在实际应用中发现几个问题：内容会被截断、正文字少的会识别错误、发布时间跟页面显示不同等。正文提取相关的问题，都是因为密度算法导致的。时间不准则是因为提取优先级和逻辑选择了另一种方式。
　　3、国内论文，因为国外的我看不懂，我只能搜国内的来看。普遍来看，基于文字密度、标点符号密度、位置、距离等等，效果其实都是不怎么好的。这里你可能会问，为什么论文里的结果很好?
　　那是因为测试的样本选得好啊！！！
　　4、GNE-现代，GNE 现代款是基于人类视觉+新闻网页特征规则编写的，大体的逻辑是网页内容通常在网页的中间，这样可以排除左右和上下的噪声。中间的噪声通过块的长短来进行判断，最终可以提取到很准确的正文。
　　
　　技术细节不能泄露太多，我举个例子。上图中的蓝色块是放置图片的位置。站在 GNE-现代的视角，它会认为蓝色块的宽度跟下面文本的宽度不同，因此这块就会是噪声，应当排除。
　　那些需要大量样本训练的深度学习类算法咱就不说了，毕竟没有亲身体验过。但有一点可以确定，单纯靠分类、回归类的深度学习是不可能取得好成绩的。不知道现在 bert 模型出来后，有没有人训练出更好的模型。
　　对比小结：上面列举的例子中，GNE-现代款的正文部分提取效果是最好的，但我记得它需要浏览器进行渲染，在效率方面好像还没有找到很好的解决方案。
　　
　　本文的算法，大家可以体验一下，毕竟实际体验才能证明好与不好。我觉得目前在效率+准确率+提取能力多方面综合来看，本文的算法能够排得上名次(这是一句很谦虚的话)。
　　放一个群友提供的哔哩哔哩专栏的解析效果。
　　
　　算法逻辑是怎样的
　　不好意思，这个问题我现在不打算讨论，也还没到开源的时候，下一个。
　　参考了哪些算法
　　正如前面所提到的，我读过 Readability、GNE-早期 的源码，又看过了国内大部分相关论文。
　　最开始我是基于 GNE-早期 进行优化和改造的。
　　翻阅了大量的深度学习相关资料，终于确定不再走这条路线，因为事实证明效果都没有达到我想要的效果。
　　后来突然有一天，我在那里看着《天行九歌》抉择那一集，就有了灵感。经过短暂的 coding 后进行了测试，发现结果可行，就一头扎了进去。这一扎，就是20年……
　　不对
　　是 200 天
　　可以横向扩展到哪些领域
　　现在主要应用在新闻类数据解析中，后面可以扩展到招投标网页解析、电商网页解析、药品网页解析等等。
　　如果你从深度学习的角度来看，它们可能需要做不同的训练、准备不同的样本、使用不一样的算法模型。但从我这个算法原理来看，它们都是一样的，适当改动就可以得到另一个领域的解析算法。
　　References
　　[1] 体验页面: :3597/
　　[2] 永福：林业科技特派员助力麻竹种植:
　　[3] 在线工具:

健康码、行程码可自动识别！自动收集，填表核对更轻松

采集交流 • 优采云 发表了文章 • 0 个评论 • 294 次浏览 • 2022-06-18 12:18 • 来自相关话题

　　健康码、行程码可自动识别！自动收集，填表核对更轻松
　　返工返校，为做好疫情防控工作，老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　 查看全部

　　健康码、行程码可自动识别！自动收集，填表核对更轻松
　　返工返校，为做好疫情防控工作，老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　

自动识别采集内容，自动订单同步，流量翻倍！(图)

采集交流 • 优采云 发表了文章 • 0 个评论 • 89 次浏览 • 2022-06-11 19:00 • 来自相关话题

　　自动识别采集内容，自动订单同步，流量翻倍！(图)
　　自动识别采集内容，自动订单同步，流量翻倍！自动压缩，
　　就像你说的，自动化操作是最轻松的一种方式。自动化操作优势在于效率提高，团队压力小，省事省力，不用大量的去添加新品，降低人力成本。问题就在于售后，价格压力的变化，操作标准化程度的提高。我们推出了一款自动化营销系统，专门用于电商的线上渠道引流，通过自动化操作，方便快捷的让商家在短期内，高效的展现自己的产品，通过自己手动推广，累积知名度，或者吸引人们的关注，并帮助商家完成转化。这款系统，团队压力小，售后成本低，操作标准化。所以推荐！。
　　一个是引流一个是转化
　　首先如果产品要做自动化操作，第一次打开系统操作时需要实时推送给买家，第二次要打开浏览器，首先要选择这个商品，进入浏览器，登录到账号，然后再点左边我的商品就出现了商品的订单查询的界面，进入我的订单，就可以看到该订单属于哪个渠道的，选择一下就行了，即使不精准，
　　一开始的时候，大部分是以团队操作为主，当有几个卖家的产品非常多的时候，买家在每个渠道中搜索商品的话，一个一个选择的话，这个工作量很大，所以，就需要一个可以快速自动转化的引流平台。 查看全部

　　自动识别采集内容，自动订单同步，流量翻倍！(图)
　　自动识别采集内容，自动订单同步，流量翻倍！自动压缩，
　　就像你说的，自动化操作是最轻松的一种方式。自动化操作优势在于效率提高，团队压力小，省事省力，不用大量的去添加新品，降低人力成本。问题就在于售后，价格压力的变化，操作标准化程度的提高。我们推出了一款自动化营销系统，专门用于电商的线上渠道引流，通过自动化操作，方便快捷的让商家在短期内，高效的展现自己的产品，通过自己手动推广，累积知名度，或者吸引人们的关注，并帮助商家完成转化。这款系统，团队压力小，售后成本低，操作标准化。所以推荐！。
　　一个是引流一个是转化
　　首先如果产品要做自动化操作，第一次打开系统操作时需要实时推送给买家，第二次要打开浏览器，首先要选择这个商品，进入浏览器，登录到账号，然后再点左边我的商品就出现了商品的订单查询的界面，进入我的订单，就可以看到该订单属于哪个渠道的，选择一下就行了，即使不精准，
　　一开始的时候，大部分是以团队操作为主，当有几个卖家的产品非常多的时候，买家在每个渠道中搜索商品的话，一个一个选择的话，这个工作量很大，所以，就需要一个可以快速自动转化的引流平台。

批量下载网页源代码，就可以采集热点新闻视频了

采集交流 • 优采云 发表了文章 • 0 个评论 • 98 次浏览 • 2022-06-10 09:01 • 来自相关话题

　　批量下载网页源代码，就可以采集热点新闻视频了
　　自动识别采集内容，并且能自动下载网页源代码。接下来就是批量下载网页源代码，就可以采集热点新闻视频了。新闻视频采集其实很简单的，重点还是python编程语言，可以学习一下《利用python进行数据分析》这本书，相信会对你有帮助，也是免费的。
　　不用任何软件，然后一台电脑，一根网线。去找个小网站，抓取自己需要的网页视频。可以找一些代码网站，如：excelhome技术交流贴吧等，会有代码，但只能抓取一部分。这样就完了？不！很粗糙，需要有人，有任务，有执行力。你可以找网上找一些get包或者采集大师、excelhome交流群等，不但可以爬虫，而且也会教你怎么做。
　　靠，网上有一些免费的爬虫软件可以用，也有些，需要的话帮你推荐，
　　老大，怎么会知道我爱看这个视频，
　　我跟你一样的境遇，有了个别字段，没有地方存储，只能是存在服务器上，想要存在本地，
　　我也需要各种视频我有个个人站，图片在verycd上有啊但是不全python可以做下面的工作（纯代码）1将某宝某东推荐的视频抓取下来2转换成网页3找到每个推荐视频的url，post到。
　　python可以做网页爬虫；linux能跑；python可以用于数据分析。等等...本人信息安全行业，现在从事互联网金融监管服务工作。 查看全部

　　批量下载网页源代码，就可以采集热点新闻视频了
　　自动识别采集内容，并且能自动下载网页源代码。接下来就是批量下载网页源代码，就可以采集热点新闻视频了。新闻视频采集其实很简单的，重点还是python编程语言，可以学习一下《利用python进行数据分析》这本书，相信会对你有帮助，也是免费的。
　　不用任何软件，然后一台电脑，一根网线。去找个小网站，抓取自己需要的网页视频。可以找一些代码网站，如：excelhome技术交流贴吧等，会有代码，但只能抓取一部分。这样就完了？不！很粗糙，需要有人，有任务，有执行力。你可以找网上找一些get包或者采集大师、excelhome交流群等，不但可以爬虫，而且也会教你怎么做。
　　靠，网上有一些免费的爬虫软件可以用，也有些，需要的话帮你推荐，
　　老大，怎么会知道我爱看这个视频，
　　我跟你一样的境遇，有了个别字段，没有地方存储，只能是存在服务器上，想要存在本地，
　　我也需要各种视频我有个个人站，图片在verycd上有啊但是不全python可以做下面的工作（纯代码）1将某宝某东推荐的视频抓取下来2转换成网页3找到每个推荐视频的url，post到。
　　python可以做网页爬虫；linux能跑；python可以用于数据分析。等等...本人信息安全行业，现在从事互联网金融监管服务工作。

自动识别采集内容、文本爬虫多线程等多种高级程序架构

采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-09 17:10 • 来自相关话题

　　自动识别采集内容、文本爬虫多线程等多种高级程序架构
　　自动识别采集内容、文本爬虫多线程等多种高级程序架构自动规则提取自动填充自动复制自动排序自动切词再到文本生成，合成，数据挖掘分析用最原始的方法调参、压缩、解压就能得到最有价值的数据还能自动根据使用情况创建更全的副本保证同步更新（数据量小）甚至可以自动收集整个网站的数据，将部分关键词作为xxx使用。具体可以参见诸葛io的《10分钟自动提取数据的程序开发》。
　　我开发过一个爬虫系统，爬下来的就是字幕翻译的结果，翻译质量还不错，供你参考。基本上把数据分析的部分和效率部分完全实现了。
　　手动翻译app,简单高效
　　requests+python
　　下个语言字幕组，直接把文本传给字幕组。需要提取哪一个台词，自己用机器翻译一下台词。
　　python+jieba+scikit-learn这一套下来，谁还用人工翻译。
　　captchalabelprocessing
　　python+tensorflow+googleapi这样一个web翻译应该可以搞定，web+liujiyun+websocket+ip解析+resharper+parselist+log...这样一个api貌似也可以搞定。
　　有个爬虫软件叫[六六体彩]，支持爬取九亿的历史数据的，直接可以从数据库读取资料出来自己查阅。支持windows与linux。 查看全部

　　自动识别采集内容、文本爬虫多线程等多种高级程序架构
　　自动识别采集内容、文本爬虫多线程等多种高级程序架构自动规则提取自动填充自动复制自动排序自动切词再到文本生成，合成，数据挖掘分析用最原始的方法调参、压缩、解压就能得到最有价值的数据还能自动根据使用情况创建更全的副本保证同步更新（数据量小）甚至可以自动收集整个网站的数据，将部分关键词作为xxx使用。具体可以参见诸葛io的《10分钟自动提取数据的程序开发》。
　　我开发过一个爬虫系统，爬下来的就是字幕翻译的结果，翻译质量还不错，供你参考。基本上把数据分析的部分和效率部分完全实现了。
　　手动翻译app,简单高效
　　requests+python
　　下个语言字幕组，直接把文本传给字幕组。需要提取哪一个台词，自己用机器翻译一下台词。
　　python+jieba+scikit-learn这一套下来，谁还用人工翻译。
　　captchalabelprocessing
　　python+tensorflow+googleapi这样一个web翻译应该可以搞定，web+liujiyun+websocket+ip解析+resharper+parselist+log...这样一个api貌似也可以搞定。
　　有个爬虫软件叫[六六体彩]，支持爬取九亿的历史数据的，直接可以从数据库读取资料出来自己查阅。支持windows与linux。

自动识别采集内容，适合做网站，大龄单身汪了吗

采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-09 02:03 • 来自相关话题

　　自动识别采集内容，适合做网站，大龄单身汪了吗
　　自动识别采集内容，适合做网站，app，微信公众号，包括微博也行，自动抓取微博，知乎，豆瓣等平台内容，还可以保存网站内容，非常方便。前端代码是html5,css3，javascript。
　　也只有我这样的大龄单身汪了吗这个，
　　就算是百分百匹配，你告诉我有什么用。还不如照片呢，
　　为什么要约呢？你能确定我看上你的颜值人品，
　　事实上有时候面试就是瞎聊天，可以尝试聊些有意思的话题，打发时间也可以知道对方喜欢什么不喜欢什么，当然，首先要肯定的是人品和性格靠谱。
　　你不敢确定对方喜欢你，
　　长得帅的我见过，颜值好的我看过，你也长得帅又不屑找对象，不如找我呢。说不定我也在安等着你，干嘛不试一试呢。这样子既不尴尬，又能知道对方的喜好。
　　长得还行，那就就从现在开始，从数据分析入手吧。
　　首先是眼缘，
　　颜值高，选择就多。但同时，颜值高的太多了，你能获得的就更多。从数据分析的角度来看，实在是太简单了。所以，如果你经济条件不错，不如去找找身边的人，问问有没有钱的可以投资，因为数据的采集，简单，但是要耗费人力物力，一对一几句话就完事了，互联网行业的恶臭传闻就不多说了。同时，人工智能要花很多的时间在上面，要是经济条件不是特别好，不建议一步到位，得做长线规划。
　　从打字的字里行间就能看出，你应该没有相关的基础知识。单纯的信息采集软件，基本可以忽略了。人工智能，要学，高中生可以试试，很有搞头。信息采集软件的优势在于它是模拟人说话，快速同时可以收集大量数据。 查看全部

　　自动识别采集内容，适合做网站，大龄单身汪了吗
　　自动识别采集内容，适合做网站，app，微信公众号，包括微博也行，自动抓取微博，知乎，豆瓣等平台内容，还可以保存网站内容，非常方便。前端代码是html5,css3，javascript。
　　也只有我这样的大龄单身汪了吗这个，
　　就算是百分百匹配，你告诉我有什么用。还不如照片呢，
　　为什么要约呢？你能确定我看上你的颜值人品，
　　事实上有时候面试就是瞎聊天，可以尝试聊些有意思的话题，打发时间也可以知道对方喜欢什么不喜欢什么，当然，首先要肯定的是人品和性格靠谱。
　　你不敢确定对方喜欢你，
　　长得帅的我见过，颜值好的我看过，你也长得帅又不屑找对象，不如找我呢。说不定我也在安等着你，干嘛不试一试呢。这样子既不尴尬，又能知道对方的喜好。
　　长得还行，那就就从现在开始，从数据分析入手吧。
　　首先是眼缘，
　　颜值高，选择就多。但同时，颜值高的太多了，你能获得的就更多。从数据分析的角度来看，实在是太简单了。所以，如果你经济条件不错，不如去找找身边的人，问问有没有钱的可以投资，因为数据的采集，简单，但是要耗费人力物力，一对一几句话就完事了，互联网行业的恶臭传闻就不多说了。同时，人工智能要花很多的时间在上面，要是经济条件不是特别好，不建议一步到位，得做长线规划。
　　从打字的字里行间就能看出，你应该没有相关的基础知识。单纯的信息采集软件，基本可以忽略了。人工智能，要学，高中生可以试试，很有搞头。信息采集软件的优势在于它是模拟人说话，快速同时可以收集大量数据。

又一批！App涉嫌采集隐私！10大常见违规问题送上

采集交流 • 优采云 发表了文章 • 0 个评论 • 372 次浏览 • 2022-06-01 16:00 • 来自相关话题

　　又一批！App涉嫌采集隐私！10大常见违规问题送上
　　明示“用户隐私声明”的较少，服务协议与隐私声明不区分，用户隐私声明内容多作为章节或段落呈现在“服务协议”或“用户许可”等文本中。
　　问题6：默认“勾选同意”
　　由于智能手机屏幕小，用户隐私声明通常以二次链接或者多次跳转链接的形式呈现在注册或设置界面。安装App时默认勾选用户协议和隐私政策，若用户拒绝信息收集，则自动视为拒绝该服务，等于强制用户接受App开发商的隐私政策。
　　问题7：频繁索权，后台高频次搜集信息
　　对于用户可选提供的系统权限，在用户拒绝后，每当其重新打开App或进入相应界面，都会再次向用户索要或以弹窗等形式提示用户缺少相关权限，干扰用户正常使用，属于一种变相的强制索权。且存在App后台大量收集用户信息并频繁调用的情况。
　　问题8：隐私政策内容与实际不符
　　隐私政策所声明收集的个人信息/系统权限以及提供的业务功能等，与实际情况不一致，存在隐瞒、冗余、偏差、错误或内容不属实等问题。包括：实际收集个人信息超出隐私政策所述范围，即未完整告知所收集个人信息类型以及用于实现的功能或目的；实际收集个人信息少于隐私政策所述范围，即声明了实际并未收集的个人信息或实际并未提供的功能；以及隐私政策所述与实际情况存在明显偏差、错误，甚至出现大篇幅抄袭现象等。
　　问题9：隐瞒第三方SDK收集行为
　　App嵌入了收集用户个人信息的第三方SDK，未逐一列出收集使用个人信息的目的、方式和范围等，且向第三方提供个人信息未做匿名化处理。App对用户隐私声明的设置和呈现不够重视，也侧面体现了互联网企业对用户个人信息保护的力度不足。
　　问题10：未充分明示个人敏感信息使用规则
　　收集身份证号码、银行卡号，生物特征识别信息等个人敏感信息时，未以显著方式同步告知收集目的、使用规则，安全保护措施等。如App收集人脸信息前未展示单独协议或进行显著特殊说明，在用户点击“继续”后，App在无任何提示的情况下便开始采集用户的人脸信息。
　　安全建议
　　移动互联网时代，用户每天进行大量“数据排放”，有权了解个人信息被收集和使用的情况，并有权对不合理的收集和使用提出质疑，同时也呼吁广大企业主和平台重视个人信息保护。以下是针对上述情况，梆梆安全专家给出的几点安全建议：
　　用户方：建议通过正规的应用商店或官方渠道下载相关应用，同时要注意认真阅读其用户协议和隐私政策说明，不随意开放和同意不必要的隐私权限，不随意输入个人隐私信息，定期维护和清理相关数据，避免个人隐私信息被泄露。
　　应用开发商：应遵守相关规定，禁止超范围收集、使用个人信息，并重视个人信息保护。
　　应用分发平台：作为App走向市场的第一道关卡，应做好审核筛查工作，严格落实App信息审核、重点审核App上架流程等要求。
　　梆梆安全助力移动应用合规
　　
　　梆梆安全移动应用合规平台，借助深度定制化的检测沙箱、利用自动化脱壳、应用自动化遍历及人工深度辅助测试等技术，对应用的合规情况、动态行为、软件成分、安全漏洞进行采集与分析，并可依托专业的技术服务人员，输出全面详尽的合规检测报告，提供整改建议，满足合规监管检测、企业自查自纠等检测场景，帮助用户发现应用违规行为并输出合规评估报告，保障应用上架后符合监管单位/机构的相关要求。 查看全部

　　又一批！App涉嫌采集隐私！10大常见违规问题送上
　　明示“用户隐私声明”的较少，服务协议与隐私声明不区分，用户隐私声明内容多作为章节或段落呈现在“服务协议”或“用户许可”等文本中。
　　问题6：默认“勾选同意”
　　由于智能手机屏幕小，用户隐私声明通常以二次链接或者多次跳转链接的形式呈现在注册或设置界面。安装App时默认勾选用户协议和隐私政策，若用户拒绝信息收集，则自动视为拒绝该服务，等于强制用户接受App开发商的隐私政策。
　　问题7：频繁索权，后台高频次搜集信息
　　对于用户可选提供的系统权限，在用户拒绝后，每当其重新打开App或进入相应界面，都会再次向用户索要或以弹窗等形式提示用户缺少相关权限，干扰用户正常使用，属于一种变相的强制索权。且存在App后台大量收集用户信息并频繁调用的情况。
　　问题8：隐私政策内容与实际不符
　　隐私政策所声明收集的个人信息/系统权限以及提供的业务功能等，与实际情况不一致，存在隐瞒、冗余、偏差、错误或内容不属实等问题。包括：实际收集个人信息超出隐私政策所述范围，即未完整告知所收集个人信息类型以及用于实现的功能或目的；实际收集个人信息少于隐私政策所述范围，即声明了实际并未收集的个人信息或实际并未提供的功能；以及隐私政策所述与实际情况存在明显偏差、错误，甚至出现大篇幅抄袭现象等。
　　问题9：隐瞒第三方SDK收集行为
　　App嵌入了收集用户个人信息的第三方SDK，未逐一列出收集使用个人信息的目的、方式和范围等，且向第三方提供个人信息未做匿名化处理。App对用户隐私声明的设置和呈现不够重视，也侧面体现了互联网企业对用户个人信息保护的力度不足。
　　问题10：未充分明示个人敏感信息使用规则
　　收集身份证号码、银行卡号，生物特征识别信息等个人敏感信息时，未以显著方式同步告知收集目的、使用规则，安全保护措施等。如App收集人脸信息前未展示单独协议或进行显著特殊说明，在用户点击“继续”后，App在无任何提示的情况下便开始采集用户的人脸信息。
　　安全建议
　　移动互联网时代，用户每天进行大量“数据排放”，有权了解个人信息被收集和使用的情况，并有权对不合理的收集和使用提出质疑，同时也呼吁广大企业主和平台重视个人信息保护。以下是针对上述情况，梆梆安全专家给出的几点安全建议：
　　用户方：建议通过正规的应用商店或官方渠道下载相关应用，同时要注意认真阅读其用户协议和隐私政策说明，不随意开放和同意不必要的隐私权限，不随意输入个人隐私信息，定期维护和清理相关数据，避免个人隐私信息被泄露。
　　应用开发商：应遵守相关规定，禁止超范围收集、使用个人信息，并重视个人信息保护。
　　应用分发平台：作为App走向市场的第一道关卡，应做好审核筛查工作，严格落实App信息审核、重点审核App上架流程等要求。
　　梆梆安全助力移动应用合规
　　
　　梆梆安全移动应用合规平台，借助深度定制化的检测沙箱、利用自动化脱壳、应用自动化遍历及人工深度辅助测试等技术，对应用的合规情况、动态行为、软件成分、安全漏洞进行采集与分析，并可依托专业的技术服务人员，输出全面详尽的合规检测报告，提供整改建议，满足合规监管检测、企业自查自纠等检测场景，帮助用户发现应用违规行为并输出合规评估报告，保障应用上架后符合监管单位/机构的相关要求。

输入法窥探隐私？实测：4款主流输入法可收集内容

采集交流 • 优采云 发表了文章 • 0 个评论 • 208 次浏览 • 2022-05-14 11:46 • 来自相关话题

　　输入法窥探隐私？实测：4款主流输入法可收集内容
　　
　　“和朋友聊到微波炉、尿布、洗面奶等东西时，发现有输入法自动推送了广告。”一位网友在知乎上发出了这样的问题描述。这个问题得到了不少网友的共鸣。1月19日晚间，对于有用户投诉“在微信里聊到什么，就在其他App里看到这个东西的广告”。微信事业群总裁张小龙在2021微信公开课中表示，微信不会看用户聊天记录，并称“从输入到接收信息的链路很长，因此为了更好地保护用户隐私，微信正在灰度测试自己的输入法。 ”对此，有声音解读称这或许是将“聊到什么就能收到什么广告”的原因归结到输入法上，那么，输入法是否真的会收集用户的聊天信息呢？输入法会根据用户的聊天内容推送广告吗？1月20日-21日，新京报优采云财经记者通过华为应用商店下载了推荐排名前列的5款输入法App，发现其中4款App均有提示加入或默认勾选加入的“用户体验改进计划”，而该计划的主要内容就是输入法可以收集用户上传的内容。而对于是否会根据聊天内容推送广告，不同输入法的隐私政策则有不同的解读。“实际上，只要拥有云词库功能的输入法，都需要收集用户数据，因为只有收集用户输入习惯，才能优化输入法的输入体验，而云词库功能几乎是主流输入法必备的功能。至于输入法是否会把信息卖给第三方公司，还需要看具体协议以及输入法的自觉。
　　”有从事网络开发的人士告诉优采云财经记者。实测：4家输入法用户服务协议规定有权收集用户上传内容新京报优采云财经记者测试发现，事实上，当手机安装来自第三方的输入法的时候，就会收到可能被收集打字内容的提示。1月20日-21日，新京报优采云财经记者通过华为应用商店下载了其排名靠前的5款输入法App搜狗输入法、百度输入法、讯飞输入法、QQ输入法、章鱼输入法。其中，每当安装一款输入法时，华为系统均会弹窗提示“此输入法可能会收集您输入的所有文字，包括密码和信用卡号等个人数据，是否使用？”只有选择继续才能正常使用该输入法。首次安装使用后，记者发现5款输入法均弹窗提示用户开启不同的隐私权限，其中搜狗输入法、百度输入法要求开启地理位置、通讯录；讯飞输入法和章鱼输入法要求开启照片访问权限、位置；QQ输入法则要求开启照片访问权限、通讯录，不过对于这些开启权限的要求，用户可以选择拒绝，并仍可继续使用。那么，这些输入法是否会像华为系统弹窗提示的那样，可能收集输入的文字呢？记者发现，相关的内容已经被写在了不少App的用户协议或隐私条款中，而“用户体验计划”则是开启App收集用户输入文字的大门之一。
　　
　　其中，搜狗输入法和QQ输入法在首次登录后，会弹窗提示用户加入“用户体验计划”，而百度输入法和讯飞输入法则会默认勾选加入“用户体验计划”（可手动取消），4款App均规定，加入用户体验计划即代表用户同意相关用户服务协议或隐私条款。优采云财经记者打开搜狗输入法用户服务协议发现，该协议3.1用户权利条款规定“您理解并同意，我们有权对您上传的内容进行存储。您授权我们对您上传的内容进行合理的使用，包括但不限于产品分析、宣传、推广等。”
　　
　　百度输入法也有类似的条款，其规定选择参与用户体验计划即表示授权百度输入法收集用户使用百度收入法的过程中的操作日志信息。百度输入法隐私政策则规定，通过使用收集的信息，百度输入法会得以向用户提供定制内容，例如向用户展现或推荐相关程度更高（而非普遍推送）的搜索结果、信息流或者广告/推广信息结果。QQ输入法表示用户体验改进计划“会对qq输入法期间提供的数据进行分析，用于功能界面设计等的优化改进，勾选即授权搜集使用QQ输入法期间的相关数据。”而讯飞输入法则表示，用户体验计划会针对输入法自身内容进行统计，不会涉及个人隐私数据。新京报优采云财经记者观察到，虽然目的可能是进行数据分析或功能优化，但阅读上述4款App在用户体验计划以及不同的用户协议或隐私政策可知，在技术上这些输入法都有能力做到上传用户输入的内容。不过为安全起见，它们也大多规定了保护隐私的措施，如搜狗输入法表示其可能会收集用户输入的部分拼音串或文本内容，但不会识别具体文本内容；百度输入法表示这些数据以匿名方式进行，不会和个人身份信息相关联；QQ输入法表示数据将以匿名方式进行，不会与个人身份信息相关联等；讯飞输入法表示对相关数据信息的收集完全匿名，同时不会将收集的信息与其他任何个人信息进行匹配储存。网友：输入法推送广告还弹窗专业人士：免费的代价前述网友在与朋友通过微信聊天谈到“最怕换尿布”的聊天内容时，搜狗输入法输入界面弹出了“孩子容易得尿布疹看看对策！”的广告弹窗。
　　
　　记者搜索发现，除了在输入法输入界面弹出广告外，有更多人对搜狗输入法PC端上存在弹窗广告一事有更深的“怨念”，搜索如何关闭搜狗弹窗广告的问题很多，此外，记者实测发现有时使用搜狗输入法在搜索引擎搜索关键词时，会出现搜狗输入法自动跳转到搜狗搜索的情况。“其实这都是国人不愿意为软件付费导致，这么做其实只会使得谋求利益的行为隐而不彰，以致容易无所顾忌。”知乎认证为小众输入法开发作坊主的网友“岁寒”吐槽到，“国人并不愿意为软件付费，甚至大有老子用你的软件是看得起你的傲娇之心。对于应用开发者而言，用户不愿意付费是吧，没关系，总会办法让你把钱吐出来的。”在优采云财经记者测试的5款输入法App中，章鱼输入法并没有与其他4款输入法一样要求记者加入“用户体验计划”，但记者在使用该App中发现不少弹窗广告。此外，该输入法号称拥有“金币提现”功能，即输入字符越多可获越多金额奖励，对于该功能，其表示是根据“点击键盘的次数”来判断输入的字符数量，不会涉及键入信息的具体内容。当记者点击足够多次数时，发现了一个金币领取选项，当点击领取时，该输入法再度跳出了广告，照此看来，章鱼输入法是走出了一条“用户主动点击广告赚钱”的模式……对此，有业界人士告诉记者，输入法广告同其他免费App的广告一样，是当前免费模式下的无奈之选。“微软智能ABC没有广告，但你看谁用它？如果需要便捷的功能以及联想就可弹出的表情包，都需要一定支出，此时只能通过广告等手段才能让输入法盈利，从另一方面来说，免费的就是最贵的。”网友大红苹果甜malic表示，目前一般有广告的输入法都是智能输入法，一定要有云词库，还可以登录账号。“智能化是需要开销的，例如不同专业的人士输入某个词的时候，输入法根据你以前输入的习惯与特点，可以把专业相关的词汇放在相当靠前的位置，方便你输入。相比于离线的输入法，这部分开销还是有点影响的。当然，很少有输入法要人付费使用，那就要靠广告。虽然很烦，但就当作是智能输入法的代价吧。” 查看全部

　　输入法窥探隐私？实测：4款主流输入法可收集内容
　　
　　“和朋友聊到微波炉、尿布、洗面奶等东西时，发现有输入法自动推送了广告。”一位网友在知乎上发出了这样的问题描述。这个问题得到了不少网友的共鸣。1月19日晚间，对于有用户投诉“在微信里聊到什么，就在其他App里看到这个东西的广告”。微信事业群总裁张小龙在2021微信公开课中表示，微信不会看用户聊天记录，并称“从输入到接收信息的链路很长，因此为了更好地保护用户隐私，微信正在灰度测试自己的输入法。 ”对此，有声音解读称这或许是将“聊到什么就能收到什么广告”的原因归结到输入法上，那么，输入法是否真的会收集用户的聊天信息呢？输入法会根据用户的聊天内容推送广告吗？1月20日-21日，新京报优采云财经记者通过华为应用商店下载了推荐排名前列的5款输入法App，发现其中4款App均有提示加入或默认勾选加入的“用户体验改进计划”，而该计划的主要内容就是输入法可以收集用户上传的内容。而对于是否会根据聊天内容推送广告，不同输入法的隐私政策则有不同的解读。“实际上，只要拥有云词库功能的输入法，都需要收集用户数据，因为只有收集用户输入习惯，才能优化输入法的输入体验，而云词库功能几乎是主流输入法必备的功能。至于输入法是否会把信息卖给第三方公司，还需要看具体协议以及输入法的自觉。
　　”有从事网络开发的人士告诉优采云财经记者。实测：4家输入法用户服务协议规定有权收集用户上传内容新京报优采云财经记者测试发现，事实上，当手机安装来自第三方的输入法的时候，就会收到可能被收集打字内容的提示。1月20日-21日，新京报优采云财经记者通过华为应用商店下载了其排名靠前的5款输入法App搜狗输入法、百度输入法、讯飞输入法、QQ输入法、章鱼输入法。其中，每当安装一款输入法时，华为系统均会弹窗提示“此输入法可能会收集您输入的所有文字，包括密码和信用卡号等个人数据，是否使用？”只有选择继续才能正常使用该输入法。首次安装使用后，记者发现5款输入法均弹窗提示用户开启不同的隐私权限，其中搜狗输入法、百度输入法要求开启地理位置、通讯录；讯飞输入法和章鱼输入法要求开启照片访问权限、位置；QQ输入法则要求开启照片访问权限、通讯录，不过对于这些开启权限的要求，用户可以选择拒绝，并仍可继续使用。那么，这些输入法是否会像华为系统弹窗提示的那样，可能收集输入的文字呢？记者发现，相关的内容已经被写在了不少App的用户协议或隐私条款中，而“用户体验计划”则是开启App收集用户输入文字的大门之一。
　　
　　其中，搜狗输入法和QQ输入法在首次登录后，会弹窗提示用户加入“用户体验计划”，而百度输入法和讯飞输入法则会默认勾选加入“用户体验计划”（可手动取消），4款App均规定，加入用户体验计划即代表用户同意相关用户服务协议或隐私条款。优采云财经记者打开搜狗输入法用户服务协议发现，该协议3.1用户权利条款规定“您理解并同意，我们有权对您上传的内容进行存储。您授权我们对您上传的内容进行合理的使用，包括但不限于产品分析、宣传、推广等。”
　　
　　百度输入法也有类似的条款，其规定选择参与用户体验计划即表示授权百度输入法收集用户使用百度收入法的过程中的操作日志信息。百度输入法隐私政策则规定，通过使用收集的信息，百度输入法会得以向用户提供定制内容，例如向用户展现或推荐相关程度更高（而非普遍推送）的搜索结果、信息流或者广告/推广信息结果。QQ输入法表示用户体验改进计划“会对qq输入法期间提供的数据进行分析，用于功能界面设计等的优化改进，勾选即授权搜集使用QQ输入法期间的相关数据。”而讯飞输入法则表示，用户体验计划会针对输入法自身内容进行统计，不会涉及个人隐私数据。新京报优采云财经记者观察到，虽然目的可能是进行数据分析或功能优化，但阅读上述4款App在用户体验计划以及不同的用户协议或隐私政策可知，在技术上这些输入法都有能力做到上传用户输入的内容。不过为安全起见，它们也大多规定了保护隐私的措施，如搜狗输入法表示其可能会收集用户输入的部分拼音串或文本内容，但不会识别具体文本内容；百度输入法表示这些数据以匿名方式进行，不会和个人身份信息相关联；QQ输入法表示数据将以匿名方式进行，不会与个人身份信息相关联等；讯飞输入法表示对相关数据信息的收集完全匿名，同时不会将收集的信息与其他任何个人信息进行匹配储存。网友：输入法推送广告还弹窗专业人士：免费的代价前述网友在与朋友通过微信聊天谈到“最怕换尿布”的聊天内容时，搜狗输入法输入界面弹出了“孩子容易得尿布疹看看对策！”的广告弹窗。
　　
　　记者搜索发现，除了在输入法输入界面弹出广告外，有更多人对搜狗输入法PC端上存在弹窗广告一事有更深的“怨念”，搜索如何关闭搜狗弹窗广告的问题很多，此外，记者实测发现有时使用搜狗输入法在搜索引擎搜索关键词时，会出现搜狗输入法自动跳转到搜狗搜索的情况。“其实这都是国人不愿意为软件付费导致，这么做其实只会使得谋求利益的行为隐而不彰，以致容易无所顾忌。”知乎认证为小众输入法开发作坊主的网友“岁寒”吐槽到，“国人并不愿意为软件付费，甚至大有老子用你的软件是看得起你的傲娇之心。对于应用开发者而言，用户不愿意付费是吧，没关系，总会办法让你把钱吐出来的。”在优采云财经记者测试的5款输入法App中，章鱼输入法并没有与其他4款输入法一样要求记者加入“用户体验计划”，但记者在使用该App中发现不少弹窗广告。此外，该输入法号称拥有“金币提现”功能，即输入字符越多可获越多金额奖励，对于该功能，其表示是根据“点击键盘的次数”来判断输入的字符数量，不会涉及键入信息的具体内容。当记者点击足够多次数时，发现了一个金币领取选项，当点击领取时，该输入法再度跳出了广告，照此看来，章鱼输入法是走出了一条“用户主动点击广告赚钱”的模式……对此，有业界人士告诉记者，输入法广告同其他免费App的广告一样，是当前免费模式下的无奈之选。“微软智能ABC没有广告，但你看谁用它？如果需要便捷的功能以及联想就可弹出的表情包，都需要一定支出，此时只能通过广告等手段才能让输入法盈利，从另一方面来说，免费的就是最贵的。”网友大红苹果甜malic表示，目前一般有广告的输入法都是智能输入法，一定要有云词库，还可以登录账号。“智能化是需要开销的，例如不同专业的人士输入某个词的时候，输入法根据你以前输入的习惯与特点，可以把专业相关的词汇放在相当靠前的位置，方便你输入。相比于离线的输入法，这部分开销还是有点影响的。当然，很少有输入法要人付费使用，那就要靠广告。虽然很烦，但就当作是智能输入法的代价吧。”

python自动采集内容到wordpress

采集交流 • 优采云 发表了文章 • 0 个评论 • 271 次浏览 • 2022-05-13 02:04 • 来自相关话题

　　python自动采集内容到wordpress
　　老金授权ITSEO独家发布其文章，转载注明出处！
　　最近用wordpress做了一个小站，目的很简单就是要第一时间更新小说并发布到wordpress,本来是想用优采云解决的，但没有模块无赖之下，只有自己用python手写，本来是想用mysqldb直接插入的，但wordpress表单实在是有点麻烦，且远程速度有点慢。一想到python的主要思想是不要重复发明轮子，于是在pypi找到了wordpress_xmlrpc模块，主要功能就不说了，详见官网：
　　目前wordpress_xmlrpc模块已经更新到了2.2版本，不过本人用的是1.5版本。懒的同学在centos下可以这样安装.
　　Wget --no-check-certificate
　　tar zxf python-wordpress-xmlrpc-1.5.tar.gz
　　cd python-wordpress-xmlrpc-1.5
　　python setup.py install
　　好了wordpress_xmlrpc模块就介绍到这儿，其它功能参考官网介绍。下面说一下程序思路。
　　1、用一个记事本记录已经抓取的URL。
　　2、再去抓这个页面看看，得到这个页面文章的全部URL。
　　3、for一下这个页面的全部URL是否在TXT中。
　　4、如果不在，就抓取这个URL的标题和内容发送到wordpress,并将URL写入txt中
　　5、最后用crontab自动任务，每天定时跑。
　　代码如下：（为防止某些同学不劳而获，用图片代替代码，红色部分别为网址，账号，密码，保存URL地址的txt）
　　
　　当然代码有一个小问题就是没有定义类别，其实wordpress_xmlrpc也是可以定义发布类别的，只是本人比较懒就在后台撰写默认文章分类设置了一下目录。
　　然后是crontab设为每小时定时更新一下。不会设置的自行脑补
　　 查看全部

　　python自动采集内容到wordpress
　　老金授权ITSEO独家发布其文章，转载注明出处！
　　最近用wordpress做了一个小站，目的很简单就是要第一时间更新小说并发布到wordpress,本来是想用优采云解决的，但没有模块无赖之下，只有自己用python手写，本来是想用mysqldb直接插入的，但wordpress表单实在是有点麻烦，且远程速度有点慢。一想到python的主要思想是不要重复发明轮子，于是在pypi找到了wordpress_xmlrpc模块，主要功能就不说了，详见官网：
　　目前wordpress_xmlrpc模块已经更新到了2.2版本，不过本人用的是1.5版本。懒的同学在centos下可以这样安装.
　　Wget --no-check-certificate
　　tar zxf python-wordpress-xmlrpc-1.5.tar.gz
　　cd python-wordpress-xmlrpc-1.5
　　python setup.py install
　　好了wordpress_xmlrpc模块就介绍到这儿，其它功能参考官网介绍。下面说一下程序思路。
　　1、用一个记事本记录已经抓取的URL。
　　2、再去抓这个页面看看，得到这个页面文章的全部URL。
　　3、for一下这个页面的全部URL是否在TXT中。
　　4、如果不在，就抓取这个URL的标题和内容发送到wordpress,并将URL写入txt中
　　5、最后用crontab自动任务，每天定时跑。
　　代码如下：（为防止某些同学不劳而获，用图片代替代码，红色部分别为网址，账号，密码，保存URL地址的txt）
　　
　　当然代码有一个小问题就是没有定义类别，其实wordpress_xmlrpc也是可以定义发布类别的，只是本人比较懒就在后台撰写默认文章分类设置了一下目录。
　　然后是crontab设为每小时定时更新一下。不会设置的自行脑补
　　

新功能上线｜健康码、行程码异常可自动识别！让收集核对工作更轻松

采集交流 • 优采云 发表了文章 • 0 个评论 • 160 次浏览 • 2022-05-13 01:56 • 来自相关话题

　　新功能上线｜健康码、行程码异常可自动识别！让收集核对工作更轻松
　　
　　节后返工返校，为做好疫情防控工作，行政、老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　 查看全部

　　新功能上线｜健康码、行程码异常可自动识别！让收集核对工作更轻松
　　
　　节后返工返校，为做好疫情防控工作，行政、老师们都会忙于收集健康码、行程卡等信息，但截图整理麻烦，核对排查也很费时。
　　WPS表单上线了健康码识别、行程卡识别功能，可自动识别上传的截图，将红绿黄码、行程是否带星等关键信息提取到表格，帮助大家高效完成收集。
　　01自动识别图片信息，核查更高效截图信息自动填充
　　以老师的收集工作为例，每次收集学生及同住人的健康码、行程卡截图，需逐一把图片下载保存，还要把本人信息及截图对应起来整理到表格中便于后续统计，工作量非常大。
　　如果使用表单进行收集，学生家长在填写页面上传健康码截图，就能提取出如码色、日期、核酸检测时间等关键信息并完成填写。
　　
　　网络不佳情况下，识别时间可能会稍慢
　　同样，上传行程卡也可以识别是否途经中高风险地区（带星），还可以提取途经的全部城市，方便后续的排查。
　　
　　网络不佳情况下，识别时间可能会稍慢收集结果自动统计
　　批量收集的结果是否有黄码、行程带星等异常情况，在统计页面会高亮显示，收集者的名字与上传的健康码图片、截图信息一一对应，筛查时一眼便知。
　　
　　入口：重新进入表单-数据统计&分析页面
　　如果想要快速找出收集人员是否途径某个中高风险地区、或检查是否持24小时核酸。我们可以在数据汇总表中，选择用【WPS打开】，回到我们能熟悉的WPS表格界面，使用「筛选」、「查找」等功能来进行深度处理。
　　
　　入口：重新进入表单-右上角「查看数据汇总表」-WPS打开02使用教程用模板，快速创建收集表单
　　打开电脑版WPS，点击左上角【新建】，在新建表单页面，按需选择表单模板快速进行创建。
　　
　　手机用户可直接点击下方，使用模板快速创建收集表：
　　在「健康码识别」、「行程卡识别」题目中还可以设置「选择识别信息」 ，选择想要提取的信息。比如上传截图的日期、是否有24/48小时核酸、接种疫苗次数等等。如需同时收集与同住人的健康码截图，还可以灵活设置多张上传张数。
　　
　　健康码识别支持的地区，以产品最新上线为准。
　　倘若每天都需要进行健康信息的收集，我们可以把表单设置为定期收集，无需每天重新点击发布。
　　
　　想要随时查看表单统计进度，可以在电脑版WPS应用的【分享协作】中，找到「统计表单」点击星标星，将它添加到WPS首页左边侧栏，即可在WPS首页进入查看。
　　

自动识别采集内容啊，推荐一个非常不错的自动采集工具集

采集交流 • 优采云 发表了文章 • 0 个评论 • 72 次浏览 • 2022-05-12 02:00 • 来自相关话题

　　自动识别采集内容啊，推荐一个非常不错的自动采集工具集
　　自动识别采集内容啊，推荐一个非常不错的自动识别工具集——elasticsearch内部数据导入。/。当然，如果你不常关注网站内容，你也可以用java自己实现一个采集软件，一般数据采集软件都会提供免费的定制服务，只是某些业务功能你可能需要自己实现而已，或者说有些功能使用定制的方案最有效率。
　　《byzantine-spacejavascriptapi3.0》[slideshare]
　　关注微信号：币评likeblockchain，可以买一些好玩的，
　　这个应该是很多人推荐的几个吧：【第四波】javascriptforblockchainandico。js超详细教程javascriptautomaticallyextractandserializeblockchaininformation。js精确找区块链数据资源|blockchain。com|前端培训教程。
　　(二维码自动识别)
　　第一个浏览器就能使用。教程中介绍了文件夹定位,json解析等方法,很好用。
　　现在用的emacs。
　　auto-send，效率非常高。一句话就能自动把想要的内容传送过去。和交易所的自动发货一样。
　　websocket/tcp/udp又没有浏览器插件
　　c++的可以用socket
　　建议使用servertoolboxautomaticallyextractblockchaininformation这里有完整代码github-grayws/server-toolbox:aguitoolboxforc++forblockchaindetection. 查看全部

　　自动识别采集内容啊，推荐一个非常不错的自动采集工具集
　　自动识别采集内容啊，推荐一个非常不错的自动识别工具集——elasticsearch内部数据导入。/。当然，如果你不常关注网站内容，你也可以用java自己实现一个采集软件，一般数据采集软件都会提供免费的定制服务，只是某些业务功能你可能需要自己实现而已，或者说有些功能使用定制的方案最有效率。
　　《byzantine-spacejavascriptapi3.0》[slideshare]
　　关注微信号：币评likeblockchain，可以买一些好玩的，
　　这个应该是很多人推荐的几个吧：【第四波】javascriptforblockchainandico。js超详细教程javascriptautomaticallyextractandserializeblockchaininformation。js精确找区块链数据资源|blockchain。com|前端培训教程。
　　(二维码自动识别)
　　第一个浏览器就能使用。教程中介绍了文件夹定位,json解析等方法,很好用。
　　现在用的emacs。
　　auto-send，效率非常高。一句话就能自动把想要的内容传送过去。和交易所的自动发货一样。
　　websocket/tcp/udp又没有浏览器插件
　　c++的可以用socket
　　建议使用servertoolboxautomaticallyextractblockchaininformation这里有完整代码github-grayws/server-toolbox:aguitoolboxforc++forblockchaindetection.

商品展示、排序时候可以给浏览者不同的信息

采集交流 • 优采云 发表了文章 • 0 个评论 • 62 次浏览 • 2022-05-09 03:00 • 来自相关话题

　　商品展示、排序时候可以给浏览者不同的信息
　　自动识别采集内容。内容是网页中的所有内容。动态识别页面中的每一个内容，你可以想象这页面中不同的人，看的是什么内容。
　　动态信息与静态信息有区别，比如说淘宝，有评论，有晒图，页面上有很多静态信息，但是动态信息里面有商品、评论等等，
　　打开淘宝首页，看到的一般是推荐的商品信息，商品的数量和宝贝库商品数量没有关系。而且，
　　这个问题其实很简单，你的搜索显示的内容肯定会有人搜，然后人来搜索以后可能出现一个和你喜欢相同的商品，点击然后购买，在购买完成之后这个东西还会给你推荐，
　　只在商品上面动态显示是基于不同的平台，如搜索，其他在搜索平台上显示的商品也是用动态信息表示，但显示的内容不是原本商品名，而是根据商品情况推荐给买家。
　　动态信息是指页面中有大量内容的，动态字段比静态字段难以抓取，通常来说动态字段中会使用动态tag。
　　动态信息应该是相对静态信息而言的。页面中大量的内容应该是静态信息，页面上不可能展示大量的商品信息，而在淘宝上这些内容是可以不加标识的。所以动态信息应该是指大量内容而用动态标识。个人理解。
　　个人对这个问题好奇，已经问过。被我解释得很清楚。网上对这个问题的讨论非常激烈，主要意见是动态信息和静态信息的分别就是动态信息多了一个浏览起始、浏览方向和浏览时间。作用就是商品展示、排序时候可以给浏览者不同的信息，这样清晰，就好比真实的购物一样。 查看全部

　　商品展示、排序时候可以给浏览者不同的信息
　　自动识别采集内容。内容是网页中的所有内容。动态识别页面中的每一个内容，你可以想象这页面中不同的人，看的是什么内容。
　　动态信息与静态信息有区别，比如说淘宝，有评论，有晒图，页面上有很多静态信息，但是动态信息里面有商品、评论等等，
　　打开淘宝首页，看到的一般是推荐的商品信息，商品的数量和宝贝库商品数量没有关系。而且，
　　这个问题其实很简单，你的搜索显示的内容肯定会有人搜，然后人来搜索以后可能出现一个和你喜欢相同的商品，点击然后购买，在购买完成之后这个东西还会给你推荐，
　　只在商品上面动态显示是基于不同的平台，如搜索，其他在搜索平台上显示的商品也是用动态信息表示，但显示的内容不是原本商品名，而是根据商品情况推荐给买家。
　　动态信息是指页面中有大量内容的，动态字段比静态字段难以抓取，通常来说动态字段中会使用动态tag。
　　动态信息应该是相对静态信息而言的。页面中大量的内容应该是静态信息，页面上不可能展示大量的商品信息，而在淘宝上这些内容是可以不加标识的。所以动态信息应该是指大量内容而用动态标识。个人理解。
　　个人对这个问题好奇，已经问过。被我解释得很清楚。网上对这个问题的讨论非常激烈，主要意见是动态信息和静态信息的分别就是动态信息多了一个浏览起始、浏览方向和浏览时间。作用就是商品展示、排序时候可以给浏览者不同的信息，这样清晰，就好比真实的购物一样。

Python自动化办公之 Excel 自动绘制图表

采集交流 • 优采云 发表了文章 • 0 个评论 • 65 次浏览 • 2022-05-08 01:27 • 来自相关话题

　　Python自动化办公之 Excel 自动绘制图表
　　近期活动
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python数据挖掘2022五一工作坊开始报名啦</p>
　　今天的主题是 Excel，相信大家都比较熟悉吧。而且我相信，大家在日常使用 Excel 的时候，肯定会遇到很多重复繁琐的工作，因为我也同样遇到过。这个时候我通常都会思考下，有没有办法让繁琐的事情变得简单些呢，毕竟我们是 Python 使用者嘛！
　　所以我个人在工作当中还是积累来一些 Excel 自动化相关都经验都，在后面都文章当中，我会陆续推出 Excel、PDF 等等相关软件都自动化内容，感兴趣都同学记得来看哦！
　　今天我们d的主题就是为 Excel 自动添加图表，实现起来很简单，保证五分钟完事儿！
　　基本原理
　　这里我们使用 xlsxwriter 这个库，简直不要太强大！
　　首先我们先来看下如何通过这个库来编辑 Excel 呢
　　import xlsxwriter<br /><br /># 创建一个excel<br />workbook = xlsxwriter.Workbook("chart.xlsx")<br /># 创建一个sheet<br />worksheet = workbook.add_worksheet()<br />
　　对于创建 Excel 和新增 sheet 都没啥说的，基本套路搞定！
　　# 自定义样式，加粗<br />bold = workbook.add_format({'bold': 1})<br /><br /># 向excel中写入数据，建立图标时要用到<br />headings = ['Number', 'testA', 'testB']<br />data = [<br />    ['2020-9-1', '2020-9-2', '2020-9-3', '2020-9-4', '2020-9-5', '2020-9-6'],<br />    [10, 40, 50, 20, 10, 50],<br />    [30, 60, 70, 50, 40, 30],<br />]<br /><br /># 写入表头<br />worksheet.write_row('A1', headings, bold)<br /><br /># 写入数据<br />worksheet.write_column('A2', data[0])<br />worksheet.write_column('B2', data[1])<br />worksheet.write_column('C2', data[2])<br />
　　这里，我们定义了一些测试数据，然后通过 write_row 函数写入表头，通过 write_column 函数来按列写入数据，此时我们得到的 Excel 应该是如下的
　　
　　画图开始
　　下面就是重点了，我们要看是根据测试数据来画图表了
　　# 创建一个柱状图(line chart)<br />chart_col = workbook.add_chart({'type': 'line'})<br /><br /># 配置第一个系列数据<br />chart_col.add_series({<br />    # 这里的sheet1是默认的值，因为我们在新建sheet时没有指定sheet名<br />    # 如果我们新建sheet时设置了sheet名，这里就要设置成相应的值<br />    'name': '=Sheet1!$B$1',<br />    'categories': '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$B$2:$B$7',<br />    'line': {'color': 'red'},<br />})<br /><br /># 配置第二个系列数据<br />chart_col.add_series({<br />    'name': '=Sheet1!$C$1',<br />    'categories':  '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$C$2:$C$7',<br />    'line': {'color': 'yellow'},<br />})<br />
　　通过 add_chart 函数来新增一个图表，type 就是 图表都类型
　　而对于 add_series 就是具体都图表数据信息了，相信也是一目了然的！
　　最后再设置 X、Y 轴的信息，并设置下图表所在的位置就完成了
　　
　　当然的对于画柱状图，饼图等都是类似的，我们也就不再重复了。
　　下一次，我们就来实现根据已有的数据，如何自动生成我们需要的图表，而且如果我想自动发送给某些人呢，能不能全程自动化搞定呢！
　　好了，今天就分享到这里，给个“在看”再走吧！
　　今日封面：
　　
　　精选文章
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python语法入门(含视频代码)<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　视频专栏课 | Python网络爬虫与文本分析
　　TransBigData库 | 出租车GPS数据处理<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　从符号到嵌入：计算社会科学的两种文本表示<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　案例实战 | 企业信息数据采集<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　使用文本相似度可以识别变化的时间点<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　PNAS | 文本网络分析&文化桥梁Python代码实现<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　tomotopy | 速度最快的LDA主题模型
　　在会计研究中使用Python进行文本分析<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　文本分析方法在《管理世界》（2021.5）中的应用
　　SciencePlots | 科研样式绘图库
　　Wow~70G上市公司定期报告数据集
　　YelpDaset: 酒店管理类数据集10+G  
　　极简浏览器启动页StartPage分享<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　doccano|为机器学习建模做数据标注
　　使用WeasyPrint自动生成pdf报告文件
　　推荐 | 社科(经管)文本分析快速指南<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　100min视频 | Python文本分析与会计
　　Python数据挖掘2022五一工作坊开始报名啦</p> 查看全部

　　Python自动化办公之 Excel 自动绘制图表
　　近期活动
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python数据挖掘2022五一工作坊开始报名啦</p>
　　今天的主题是 Excel，相信大家都比较熟悉吧。而且我相信，大家在日常使用 Excel 的时候，肯定会遇到很多重复繁琐的工作，因为我也同样遇到过。这个时候我通常都会思考下，有没有办法让繁琐的事情变得简单些呢，毕竟我们是 Python 使用者嘛！
　　所以我个人在工作当中还是积累来一些 Excel 自动化相关都经验都，在后面都文章当中，我会陆续推出 Excel、PDF 等等相关软件都自动化内容，感兴趣都同学记得来看哦！
　　今天我们d的主题就是为 Excel 自动添加图表，实现起来很简单，保证五分钟完事儿！
　　基本原理
　　这里我们使用 xlsxwriter 这个库，简直不要太强大！
　　首先我们先来看下如何通过这个库来编辑 Excel 呢
　　import xlsxwriter<br /><br /># 创建一个excel<br />workbook = xlsxwriter.Workbook("chart.xlsx")<br /># 创建一个sheet<br />worksheet = workbook.add_worksheet()<br />
　　对于创建 Excel 和新增 sheet 都没啥说的，基本套路搞定！
　　# 自定义样式，加粗<br />bold = workbook.add_format({'bold': 1})<br /><br /># 向excel中写入数据，建立图标时要用到<br />headings = ['Number', 'testA', 'testB']<br />data = [<br />    ['2020-9-1', '2020-9-2', '2020-9-3', '2020-9-4', '2020-9-5', '2020-9-6'],<br />    [10, 40, 50, 20, 10, 50],<br />    [30, 60, 70, 50, 40, 30],<br />]<br /><br /># 写入表头<br />worksheet.write_row('A1', headings, bold)<br /><br /># 写入数据<br />worksheet.write_column('A2', data[0])<br />worksheet.write_column('B2', data[1])<br />worksheet.write_column('C2', data[2])<br />
　　这里，我们定义了一些测试数据，然后通过 write_row 函数写入表头，通过 write_column 函数来按列写入数据，此时我们得到的 Excel 应该是如下的
　　
　　画图开始
　　下面就是重点了，我们要看是根据测试数据来画图表了
　　# 创建一个柱状图(line chart)<br />chart_col = workbook.add_chart({'type': 'line'})<br /><br /># 配置第一个系列数据<br />chart_col.add_series({<br />    # 这里的sheet1是默认的值，因为我们在新建sheet时没有指定sheet名<br />    # 如果我们新建sheet时设置了sheet名，这里就要设置成相应的值<br />    'name': '=Sheet1!$B$1',<br />    'categories': '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$B$2:$B$7',<br />    'line': {'color': 'red'},<br />})<br /><br /># 配置第二个系列数据<br />chart_col.add_series({<br />    'name': '=Sheet1!$C$1',<br />    'categories':  '=Sheet1!$A$2:$A$7',<br />    'values':   '=Sheet1!$C$2:$C$7',<br />    'line': {'color': 'yellow'},<br />})<br />
　　通过 add_chart 函数来新增一个图表，type 就是 图表都类型
　　而对于 add_series 就是具体都图表数据信息了，相信也是一目了然的！
　　最后再设置 X、Y 轴的信息，并设置下图表所在的位置就完成了
　　
　　当然的对于画柱状图，饼图等都是类似的，我们也就不再重复了。
　　下一次，我们就来实现根据已有的数据，如何自动生成我们需要的图表，而且如果我想自动发送给某些人呢，能不能全程自动化搞定呢！
　　好了，今天就分享到这里，给个“在看”再走吧！
　　今日封面：
　　
　　精选文章
　　<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">Python语法入门(含视频代码)<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　视频专栏课 | Python网络爬虫与文本分析
　　TransBigData库 | 出租车GPS数据处理<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　从符号到嵌入：计算社会科学的两种文本表示<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　案例实战 | 企业信息数据采集<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　使用文本相似度可以识别变化的时间点<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　PNAS | 文本网络分析&文化桥梁Python代码实现<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　tomotopy | 速度最快的LDA主题模型
　　在会计研究中使用Python进行文本分析<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　文本分析方法在《管理世界》（2021.5）中的应用
　　SciencePlots | 科研样式绘图库
　　Wow~70G上市公司定期报告数据集
　　YelpDaset: 酒店管理类数据集10+G  
　　极简浏览器启动页StartPage分享<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　doccano|为机器学习建模做数据标注
　　使用WeasyPrint自动生成pdf报告文件
　　推荐 | 社科(经管)文本分析快速指南<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　100min视频 | Python文本分析与会计
　　Python数据挖掘2022五一工作坊开始报名啦</p>

自动识别采集内容(自动识别采集内容，将用户拉到自己的直播间)

采集交流 • 优采云 发表了文章 • 0 个评论 • 75 次浏览 • 2022-04-20 18:03 • 来自相关话题

　　自动识别采集内容(自动识别采集内容，将用户拉到自己的直播间)
　　自动识别采集内容，将用户拉到自己的直播间的宝贝基本上就是采集的用户的宝贝或者价格加一定比例（比如20%）做成一个网成交。搜索并采集到网上出售同类型的宝贝则为你的用户搜索同样的内容，你的宝贝则被采集进你的店铺。
　　电商是讲销售的，搞自动化的就是做生意或者说是搞营销。这个你不需要专门去搞。你只需要去注意粉丝对你有没有兴趣，对你有没有需求，有没有一些意向的产品，有没有在你这里买东西的欲望就行了。现在你搞自动化技术，只要你能注意到其中一个粉丝不明真相时候对你这种东西的需求。到最后，
　　像这样的平台，本身就有官方采集工具，购物电商网站自带的和他们自己的收集数据工具；所以像采集工具推荐用官方的，但如果对排名，点击量等有追求，可以使用第三方工具。比如采集不了上的爆款产品，我们可以使用大量电商网站的爆款来采集分析，来进行二次调整来提高转化率。一个有采集工具的店铺利润往往比没有工具的店铺高得多。
　　你所说的第三方工具，并不是说工具可以采集所有类目的产品，而是可以根据你的产品定位来选择工具的用法，比如如果你想利用技术手段把一些没有转化或者没有流量的产品也采集过来，那这种工具不适合你。只有量身定制才能做出符合你的产品的店铺，才能有最好的效果。 查看全部

　　自动识别采集内容(自动识别采集内容，将用户拉到自己的直播间)
　　自动识别采集内容，将用户拉到自己的直播间的宝贝基本上就是采集的用户的宝贝或者价格加一定比例（比如20%）做成一个网成交。搜索并采集到网上出售同类型的宝贝则为你的用户搜索同样的内容，你的宝贝则被采集进你的店铺。
　　电商是讲销售的，搞自动化的就是做生意或者说是搞营销。这个你不需要专门去搞。你只需要去注意粉丝对你有没有兴趣，对你有没有需求，有没有一些意向的产品，有没有在你这里买东西的欲望就行了。现在你搞自动化技术，只要你能注意到其中一个粉丝不明真相时候对你这种东西的需求。到最后，
　　像这样的平台，本身就有官方采集工具，购物电商网站自带的和他们自己的收集数据工具；所以像采集工具推荐用官方的，但如果对排名，点击量等有追求，可以使用第三方工具。比如采集不了上的爆款产品，我们可以使用大量电商网站的爆款来采集分析，来进行二次调整来提高转化率。一个有采集工具的店铺利润往往比没有工具的店铺高得多。
　　你所说的第三方工具，并不是说工具可以采集所有类目的产品，而是可以根据你的产品定位来选择工具的用法，比如如果你想利用技术手段把一些没有转化或者没有流量的产品也采集过来，那这种工具不适合你。只有量身定制才能做出符合你的产品的店铺，才能有最好的效果。

自动识别采集内容(编辑本段常见技术及应用数字指纹技术的工作原理与文字搜索引擎)

采集交流 • 优采云 发表了文章 • 0 个评论 • 68 次浏览 • 2022-04-18 22:05 • 来自相关话题

　　自动识别采集内容(编辑本段常见技术及应用数字指纹技术的工作原理与文字搜索引擎)
　　编辑本段的工作方式
　　ACR技术的工作原理类似于文本搜索引擎。它需要采集海量的图像、音视频资源并不断更新。然后，通过数字信号处理技术，对多媒体资源的数字特征进行提取、索引、存储和索引。搜索引擎。
　　ACR搜索引擎收到查询请求后，对请求中收录的多媒体数据段采用相同的处理过程，提取相同格式的数字特征，然后在索引数据库中进行搜索、过滤、相似度计算，找到最相似的未知部分。对于多媒体资源，当相似度达到一定的置信度时，就认为找到了匹配结果。
　　编辑本段常用技术及应用
　　数字指纹
　　数字指纹是指可以近似为从多媒体资源本身提取的唯一标识的数字特征。不应考虑内容格式、编码、比特率、压缩率等方面的差异，只考虑内容所传达的信息是否相同或非常相似。
　　上述特点使得数字指纹技术的应用非常广泛，音频指纹的应用市场发展迅速，如音乐识别（Shazam）、版权检测（YouTube）、电视互动（新浪微博）、多屏互动（脸书）等等。
　　数字水印
　　数字水印技术的原理类似于二维码。它需要改变多媒体资源的内容。根据一定的规则，插入人类无法感知的信息，然后通过检测预设规则提取所代表的信息。水印技术消耗更少的资源。，但需要解决引入噪声控制的问题。
　　水印技术的特点使其适用于一些特定的场景，例如声波支付（支付宝）。
　　编辑本段技术平台
　　国际ACR技术市场发展迅速，各有千秋，正在推动互联网消费市场的技术变革。知名企业包括： 查看全部

　　自动识别采集内容(编辑本段常见技术及应用数字指纹技术的工作原理与文字搜索引擎)
　　编辑本段的工作方式
　　ACR技术的工作原理类似于文本搜索引擎。它需要采集海量的图像、音视频资源并不断更新。然后，通过数字信号处理技术，对多媒体资源的数字特征进行提取、索引、存储和索引。搜索引擎。
　　ACR搜索引擎收到查询请求后，对请求中收录的多媒体数据段采用相同的处理过程，提取相同格式的数字特征，然后在索引数据库中进行搜索、过滤、相似度计算，找到最相似的未知部分。对于多媒体资源，当相似度达到一定的置信度时，就认为找到了匹配结果。
　　编辑本段常用技术及应用
　　数字指纹
　　数字指纹是指可以近似为从多媒体资源本身提取的唯一标识的数字特征。不应考虑内容格式、编码、比特率、压缩率等方面的差异，只考虑内容所传达的信息是否相同或非常相似。
　　上述特点使得数字指纹技术的应用非常广泛，音频指纹的应用市场发展迅速，如音乐识别（Shazam）、版权检测（YouTube）、电视互动（新浪微博）、多屏互动（脸书）等等。
　　数字水印
　　数字水印技术的原理类似于二维码。它需要改变多媒体资源的内容。根据一定的规则，插入人类无法感知的信息，然后通过检测预设规则提取所代表的信息。水印技术消耗更少的资源。，但需要解决引入噪声控制的问题。
　　水印技术的特点使其适用于一些特定的场景，例如声波支付（支付宝）。
　　编辑本段技术平台
　　国际ACR技术市场发展迅速，各有千秋，正在推动互联网消费市场的技术变革。知名企业包括：

自动识别采集内容(【每日一题】基于线上平台识别验证码（1）)

采集交流 • 优采云 发表了文章 • 0 个评论 • 131 次浏览 • 2022-04-18 20:20 • 来自相关话题

　　自动识别采集内容(【每日一题】基于线上平台识别验证码（1）)
　　本篇文章主要为大家介绍“python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能”。小编将带领大家学习学习《python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能》文章。
　　1、 爬取网页分析
　　爬取的目标网址为：
　　登录界面需要做的工作是获取验证码图片，并识别验证码，以实现登录。
　　
　　使用浏览器抓包工具可以看到登录界面的请求头收录cookie和user-agent，所以发送请求时需要这两个数据。用户代理可以手动添加到请求头中，cookie值需要自动获取。
　　
　　分析完毕，开始练习！！！
　　2、验证码识别
　　(1）基于在线打码平台识别验证码
　　(2）编码平台：超级鹰、云编码、编码兔
　　该项目使用 Super Eagle 编码平台完成。网站链接：
　　
　　打包下载的源代码
　　
　　3、cookies是自动获取的
　　import requests
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
        #手动处理cookie
        # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825"
    }
session = requests.Session() # 创建session对象
# 第一次使用session，捕获请求cookie
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
　　4、程序源码chaojiying.py
　　#!/usr/bin/env python
# coding:utf-8
import requests
from hashlib import md5
class Chaojiying_Client(object):
    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode(&#39;utf8&#39;)
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            &#39;user&#39;: self.username,
            &#39;pass2&#39;: self.password,
            &#39;softid&#39;: self.soft_id,
        }
        self.headers = {
            &#39;Connection&#39;: &#39;Keep-Alive&#39;,
            &#39;User-Agent&#39;: &#39;Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)&#39;,
        }
    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            &#39;codetype&#39;: codetype,
        }
        params.update(self.base_params)
        files = {&#39;userfile&#39;: (&#39;ccc.jpg&#39;, im)}
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, files=files, headers=self.headers)
        return r.json()
    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            &#39;id&#39;: im_id,
        }
        params.update(self.base_params)
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, headers=self.headers)
        return r.json()
if __name__ == &#39;__main__&#39;:
    chaojiying = Chaojiying_Client(&#39;超级鹰用户名&#39;, &#39;超级鹰用户名的密码&#39;, &#39;96001&#39;) #用户中心>>软件ID 生成一个替换 96001
    im = open(&#39;a.jpg&#39;, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1902)) #1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
　　登录.py
　　# 模拟登录
# 流程：1 对点击登录按钮对应的请求进行发送（post请求）
#      2 处理请求参数：
#        用户名 密码 验证码 其他防伪参数
import requests
from lxml import etree
from chaojiying_Python.chaojiying import Chaojiying_Client
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
}
# 封装好的验证码识别函数
def tranformImgCode(imgPath,imgType):
    chaojiying = Chaojiying_Client(&#39;用户名&#39;, &#39;密码&#39;, &#39;软件ID&#39;)         # 用户中心>>软件ID 生成一个替换 软件ID
    im = open(imgPath, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return(chaojiying.PostPic(im, imgType))[&#39;pic_str&#39;]
# 自动获取cookie
session = requests.Session()
# 识别验证码
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
# 识别验证码
code_text = tranformImgCode(&#39;./code.jpg&#39;,1902)
print(code_text)
login_url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
data = {
    &#39;__VIEWSTATE&#39;: &#39;frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=&#39;,
    &#39;__VIEWSTATEGENERATOR&#39;: &#39;C93BE1AE&#39;,
    &#39;from&#39;: &#39;http://so.gushiwen.cn/user/collect.aspx&#39;,
    &#39;email&#39;: &#39;用户名&#39;, # 更换自己的用户名
    &#39;pwd&#39;: &#39;密码&#39;,     # 更换自己的密码
    &#39;code&#39;: code_text,
    &#39;denglu&#39;: &#39;登录&#39;
}
# 对点击登录按钮发起请求,获取登录成功后对应的页面源码数据
page_text_login = session.post(url = login_url,data = data,headers = headers).text
with open(&#39;./gushiwen.html&#39;,&#39;w&#39;,encoding = &#39;utf-8&#39;) as fp:
    fp.write(page_text_login)
　　以上就是文章文章《python爬虫如何实现模拟登录、自动获取cookie值、验证码识别功能》的全部内容，感谢阅读！相信大家都有一定的了解。希望分享的内容对大家有所帮助。想了解更多知识，请关注易宿云行业资讯频道！ 查看全部

　　自动识别采集内容(【每日一题】基于线上平台识别验证码（1）)
　　本篇文章主要为大家介绍“python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能”。小编将带领大家学习学习《python爬虫如何实现模拟登录、cookie值自动获取、验证码识别等功能》文章。
　　1、 爬取网页分析
　　爬取的目标网址为：
　　登录界面需要做的工作是获取验证码图片，并识别验证码，以实现登录。
　　
　　使用浏览器抓包工具可以看到登录界面的请求头收录cookie和user-agent，所以发送请求时需要这两个数据。用户代理可以手动添加到请求头中，cookie值需要自动获取。
　　
　　分析完毕，开始练习！！！
　　2、验证码识别
　　(1）基于在线打码平台识别验证码
　　(2）编码平台：超级鹰、云编码、编码兔
　　该项目使用 Super Eagle 编码平台完成。网站链接：
　　
　　打包下载的源代码
　　
　　3、cookies是自动获取的
　　import requests
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
        #手动处理cookie
        # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825"
    }
session = requests.Session() # 创建session对象
# 第一次使用session，捕获请求cookie
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
　　4、程序源码chaojiying.py
　　#!/usr/bin/env python
# coding:utf-8
import requests
from hashlib import md5
class Chaojiying_Client(object):
    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode(&#39;utf8&#39;)
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            &#39;user&#39;: self.username,
            &#39;pass2&#39;: self.password,
            &#39;softid&#39;: self.soft_id,
        }
        self.headers = {
            &#39;Connection&#39;: &#39;Keep-Alive&#39;,
            &#39;User-Agent&#39;: &#39;Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)&#39;,
        }
    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            &#39;codetype&#39;: codetype,
        }
        params.update(self.base_params)
        files = {&#39;userfile&#39;: (&#39;ccc.jpg&#39;, im)}
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, files=files, headers=self.headers)
        return r.json()
    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            &#39;id&#39;: im_id,
        }
        params.update(self.base_params)
        r = requests.post(&#39;http://upload.chaojiying.net/U ... 39%3B, data=params, headers=self.headers)
        return r.json()
if __name__ == &#39;__main__&#39;:
    chaojiying = Chaojiying_Client(&#39;超级鹰用户名&#39;, &#39;超级鹰用户名的密码&#39;, &#39;96001&#39;) #用户中心>>软件ID 生成一个替换 96001
    im = open(&#39;a.jpg&#39;, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1902)) #1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
　　登录.py
　　# 模拟登录
# 流程：1 对点击登录按钮对应的请求进行发送（post请求）
#      2 处理请求参数：
#        用户名 密码 验证码 其他防伪参数
import requests
from lxml import etree
from chaojiying_Python.chaojiying import Chaojiying_Client
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
}
# 封装好的验证码识别函数
def tranformImgCode(imgPath,imgType):
    chaojiying = Chaojiying_Client(&#39;用户名&#39;, &#39;密码&#39;, &#39;软件ID&#39;)         # 用户中心>>软件ID 生成一个替换 软件ID
    im = open(imgPath, &#39;rb&#39;).read() #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return(chaojiying.PostPic(im, imgType))[&#39;pic_str&#39;]
# 自动获取cookie
session = requests.Session()
# 识别验证码
url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
page_text = session.get(url = url,headers = headers).text
# 解析验证码图片地址
tree = etree.HTML(page_text)
img_src = &#39;https://so.gushiwen.cn/&#39; + tree.xpath(&#39;//*[@id="imgCode"]/@src&#39;)[0]
# 将验证码图片保存到本地
img_data = session.get(img_src,headers = headers).content
with open(&#39;./code.jpg&#39;,&#39;wb&#39;) as fp:
    fp.write(img_data)
# 识别验证码
code_text = tranformImgCode(&#39;./code.jpg&#39;,1902)
print(code_text)
login_url = &#39;https://so.gushiwen.cn/user/lo ... 39%3B
data = {
    &#39;__VIEWSTATE&#39;: &#39;frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=&#39;,
    &#39;__VIEWSTATEGENERATOR&#39;: &#39;C93BE1AE&#39;,
    &#39;from&#39;: &#39;http://so.gushiwen.cn/user/collect.aspx&#39;,
    &#39;email&#39;: &#39;用户名&#39;, # 更换自己的用户名
    &#39;pwd&#39;: &#39;密码&#39;,     # 更换自己的密码
    &#39;code&#39;: code_text,
    &#39;denglu&#39;: &#39;登录&#39;
}
# 对点击登录按钮发起请求,获取登录成功后对应的页面源码数据
page_text_login = session.post(url = login_url,data = data,headers = headers).text
with open(&#39;./gushiwen.html&#39;,&#39;w&#39;,encoding = &#39;utf-8&#39;) as fp:
    fp.write(page_text_login)
　　以上就是文章文章《python爬虫如何实现模拟登录、自动获取cookie值、验证码识别功能》的全部内容，感谢阅读！相信大家都有一定的了解。希望分享的内容对大家有所帮助。想了解更多知识，请关注易宿云行业资讯频道！

自动识别采集内容(自动识别采集内容，本身做得很好--spark)

采集交流 • 优采云 发表了文章 • 0 个评论 • 91 次浏览 • 2022-04-17 12:02 • 来自相关话题

　　自动识别采集内容(自动识别采集内容，本身做得很好--spark)
　　自动识别采集内容，本身做得很好。功能和效果做的很全，可以根据自己的业务对接到相关性很高的数据，优势很大。你提到的这个php采集这块，估计是商盟的吧，客户对接商盟，商盟自动识别采集，商盟可以给各平台做定制内容，合作很有优势。
　　其实php脚本采集的效果，可以说只要是和数据结构有关的，基本上都可以采用php去实现，但是本案例的效果，应该是结合了深度学习算法，采用了深度学习的api去实现，该案例已经结合了单变量机器学习，并且采用了其他神经网络算法，涉及了深度学习，数据结构的对应关系，以及图算法，作者在文中把对应算法介绍了出来，实现是更容易，效果更好了。
　　目前自动采集基本都是在搭建深度学习的框架上完成，基本框架也就是spark,dlib,tensorflow这些。在android的平台上，主要还是java实现。图片的采集还可以使用opencv库来使用。简单说下针对图片自动采集的优缺点：优点：快速高效，即使你框架api写得很细致，效率提升很有限，后面还是得加速响应和重排查，方便追求高效的童鞋。
　　缺点：并发采集相对较慢，毕竟针对不同浏览器实现的效果有差异，包括动态分析网页数据流的思想还没有完全理解，并发数会限制性能表现。图片、文本自动采集教程：1.“picasa+xlwt+webtext+神经网络”图片自动采集教程2.“picasa+xlwt+webtext+神经网络”图片自动采集详细教程。 查看全部

　　自动识别采集内容(自动识别采集内容，本身做得很好--spark)
　　自动识别采集内容，本身做得很好。功能和效果做的很全，可以根据自己的业务对接到相关性很高的数据，优势很大。你提到的这个php采集这块，估计是商盟的吧，客户对接商盟，商盟自动识别采集，商盟可以给各平台做定制内容，合作很有优势。
　　其实php脚本采集的效果，可以说只要是和数据结构有关的，基本上都可以采用php去实现，但是本案例的效果，应该是结合了深度学习算法，采用了深度学习的api去实现，该案例已经结合了单变量机器学习，并且采用了其他神经网络算法，涉及了深度学习，数据结构的对应关系，以及图算法，作者在文中把对应算法介绍了出来，实现是更容易，效果更好了。
　　目前自动采集基本都是在搭建深度学习的框架上完成，基本框架也就是spark,dlib,tensorflow这些。在android的平台上，主要还是java实现。图片的采集还可以使用opencv库来使用。简单说下针对图片自动采集的优缺点：优点：快速高效，即使你框架api写得很细致，效率提升很有限，后面还是得加速响应和重排查，方便追求高效的童鞋。
　　缺点：并发采集相对较慢，毕竟针对不同浏览器实现的效果有差异，包括动态分析网页数据流的思想还没有完全理解，并发数会限制性能表现。图片、文本自动采集教程：1.“picasa+xlwt+webtext+神经网络”图片自动采集教程2.“picasa+xlwt+webtext+神经网络”图片自动采集详细教程。

自动识别采集内容(BaoAI小宝人工智能和量化系统和 )

采集交流 • 优采云 发表了文章 • 0 个评论 • 167 次浏览 • 2022-04-15 00:10 • 来自相关话题

　　自动识别采集内容(BaoAI小宝人工智能和量化系统和
)
　　BaoAI小宝人工智能及量化系统
　　人工智能和量化从这里开始
　　
　　小宝AI与量化平台是一个简洁、直观、强大的前后端SPA开发框架，支持国际化，基于模块，让WEB应用、人工智能和量化系统的开发变得更快更容易。平台收录多个模块，主要包括基于角色的权限管理基础平台（用户、角色、权限、日志、附件、配置参数、分类管理）、通知模块、代码自动生成模块、任务系统模块、内容管理系统模块、 网站模块、电子手册模块、人工智能模块、图像识别模块、人脸识别模块、金融数据采集模块、大数据模块、量化交易模块等。
　　特点：下载源代码
　　宝爱的前后端分离框架，包括前端项目和后端项目
　　文档
　　API
　　模块扩展
　　前端和后端开发工具
　　视觉工作室代码
　　安装插件：
　　Visual Studio Code 的中文（简体）语言包
　　jshint
　　Python
　　Git 历史
　　项目后端BaoAIBack安装步骤
　　需要 Python 3.6
　　# 1. 创建虚拟环境
# windows, 假设项目根路径：d:/baoai/BaoaiBack/
cd d:/baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
d:/baoai/BaoaiBack/venv/Scripts/activate.bat
cd d:/baoai/BaoaiBack
# linux, 假设项目根路径：/baoai/BaoaiBack/
cd /baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
source /baoai/BaoaiBack/venv/bin/activate
cd /baoai/BaoaiBack
# 2. 安装依赖库(必须处于虚拟环境)
# windows 安装依赖库
python -m pip install --upgrade pip
pip install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# linux 安装依赖库
python -m pip3 install --upgrade pip
pip3 install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# 3. 运行 Restful 服务
# windows
run_baoai.bat
# linux
# 默认使用gunicorn做为wsgi
chmod +x run_baoai.sh
./run_baoai.sh
# 4. 运行 www 服务(Jinja模块)
# windows
run_www.bat
# linux
chmod +x run_www.sh
./run_www.sh
# 常用功能
# 清空缓存
python manage.py clean
　　项目后台数据库
　　该项目支持大多数流行的关系数据库，包括：SQLite、MySQL、Postgres、Oracle、MS-SQL、SQLServer 和 Firebird。
　　已提供 Sqlite 数据库和 MySQL 数据脚本文件。MySQL 支持 5.5 及以上。
　　数据库转换不需要修改代码，只需要修改config.py中的SQLALCHEMY_DATABASE_URI即可。
　　默认使用 sqlite 数据库。优点是不需要安装专门的数据库软件，方便测试和开发。请使用mysql或其他数据库软件进行生产部署。
　　sqlite数据保存在db/baoai.db中，直接使用。
　　mysql数据库脚本保存在db/baoai.mysql.sql中，需要新建一个数据库如baoai，然后导入脚本。
　　如果您使用其他数据库，您可以使用 Navicat Premium 工具菜单中的数据传输来执行不同数据库之间的数据迁移。
　　数据库相关操作：
　　# 数据迁移服务
# 初始化
python manage.py db init
# 模型迁移
python manage.py db migrate
# 数据库脚本更新（操作数据）
python manage.py db upgrade
　　项目代码自动生成模块
　　使用代码自动生成模块，可以将字段、模型、生成的数据库、前端代码、后端代码和权限配置一起可视化，可以零代码实现一般项目。这部分主要包括三个扩展模块：数据迁移模块、自动代码模型模块和自动代码生成模块
　　BaoAI小宝人工智能及量化平台系统架构
　　
　　BaoAI小宝人工智能与量化平台知识体系
　　可用于各行业前后端系统软件开发，cms、人工智能、图像识别、人脸识别、大数据及量化投资等领域。 end 与 SPA 架构分离，使用 AngularJS/Bootstrap 等前端框架来实现响应式和 SPA 编程。后端主要使用Python语言，包括以下框架：flask提供web服务，Jinja2提供模板服务，Numpy、Pandas、Scikit-Learn、Tensorflow和Keras实现人工智能服务，celery实现任务调度，scrapy to提供网络爬虫、基于Backtrader的金融量化服务等。
　　
　　基于宝爱的设计案例：
　　内容管理网站：
　　
　　管理系统背景：
　　
　　人工智能：
　　
　　定量系统：
　　 查看全部

　　自动识别采集内容(BaoAI小宝人工智能和量化系统和
)
　　BaoAI小宝人工智能及量化系统
　　人工智能和量化从这里开始
　　
　　小宝AI与量化平台是一个简洁、直观、强大的前后端SPA开发框架，支持国际化，基于模块，让WEB应用、人工智能和量化系统的开发变得更快更容易。平台收录多个模块，主要包括基于角色的权限管理基础平台（用户、角色、权限、日志、附件、配置参数、分类管理）、通知模块、代码自动生成模块、任务系统模块、内容管理系统模块、 网站模块、电子手册模块、人工智能模块、图像识别模块、人脸识别模块、金融数据采集模块、大数据模块、量化交易模块等。
　　特点：下载源代码
　　宝爱的前后端分离框架，包括前端项目和后端项目
　　文档
　　API
　　模块扩展
　　前端和后端开发工具
　　视觉工作室代码
　　安装插件：
　　Visual Studio Code 的中文（简体）语言包
　　jshint
　　Python
　　Git 历史
　　项目后端BaoAIBack安装步骤
　　需要 Python 3.6
　　# 1. 创建虚拟环境
# windows, 假设项目根路径：d:/baoai/BaoaiBack/
cd d:/baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
d:/baoai/BaoaiBack/venv/Scripts/activate.bat
cd d:/baoai/BaoaiBack
# linux, 假设项目根路径：/baoai/BaoaiBack/
cd /baoai/BaoaiBack
mkdir venv
cd venv
python -m venv .
# 运行虚拟环境
source /baoai/BaoaiBack/venv/bin/activate
cd /baoai/BaoaiBack
# 2. 安装依赖库(必须处于虚拟环境)
# windows 安装依赖库
python -m pip install --upgrade pip
pip install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# linux 安装依赖库
python -m pip3 install --upgrade pip
pip3 install -r requirements.txt
# 如果下载速度慢可以采用国内镜像
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# 3. 运行 Restful 服务
# windows
run_baoai.bat
# linux
# 默认使用gunicorn做为wsgi
chmod +x run_baoai.sh
./run_baoai.sh
# 4. 运行 www 服务(Jinja模块)
# windows
run_www.bat
# linux
chmod +x run_www.sh
./run_www.sh
# 常用功能
# 清空缓存
python manage.py clean
　　项目后台数据库
　　该项目支持大多数流行的关系数据库，包括：SQLite、MySQL、Postgres、Oracle、MS-SQL、SQLServer 和 Firebird。
　　已提供 Sqlite 数据库和 MySQL 数据脚本文件。MySQL 支持 5.5 及以上。
　　数据库转换不需要修改代码，只需要修改config.py中的SQLALCHEMY_DATABASE_URI即可。
　　默认使用 sqlite 数据库。优点是不需要安装专门的数据库软件，方便测试和开发。请使用mysql或其他数据库软件进行生产部署。
　　sqlite数据保存在db/baoai.db中，直接使用。
　　mysql数据库脚本保存在db/baoai.mysql.sql中，需要新建一个数据库如baoai，然后导入脚本。
　　如果您使用其他数据库，您可以使用 Navicat Premium 工具菜单中的数据传输来执行不同数据库之间的数据迁移。
　　数据库相关操作：
　　# 数据迁移服务
# 初始化
python manage.py db init
# 模型迁移
python manage.py db migrate
# 数据库脚本更新（操作数据）
python manage.py db upgrade
　　项目代码自动生成模块
　　使用代码自动生成模块，可以将字段、模型、生成的数据库、前端代码、后端代码和权限配置一起可视化，可以零代码实现一般项目。这部分主要包括三个扩展模块：数据迁移模块、自动代码模型模块和自动代码生成模块
　　BaoAI小宝人工智能及量化平台系统架构
　　
　　BaoAI小宝人工智能与量化平台知识体系
　　可用于各行业前后端系统软件开发，cms、人工智能、图像识别、人脸识别、大数据及量化投资等领域。 end 与 SPA 架构分离，使用 AngularJS/Bootstrap 等前端框架来实现响应式和 SPA 编程。后端主要使用Python语言，包括以下框架：flask提供web服务，Jinja2提供模板服务，Numpy、Pandas、Scikit-Learn、Tensorflow和Keras实现人工智能服务，celery实现任务调度，scrapy to提供网络爬虫、基于Backtrader的金融量化服务等。
　　
　　基于宝爱的设计案例：
　　内容管理网站：
　　
　　管理系统背景：
　　
　　人工智能：
　　
　　定量系统：
　　

自动识别采集内容(批量统计报告有“神器”了网信天津2022-11)

采集交流 • 优采云 发表了文章 • 0 个评论 • 198 次浏览 • 2022-04-12 19:30 • 来自相关话题

　　自动识别采集内容(批量统计报告有“神器”了网信天津2022-11)
　　核酸检测结果汇总统计助手功能上线，批量统计核酸报告有“神器”
　　
　　天津网通 2022-04-11
　　为积极服务企业复工复产和复学复课，天津市委网信办、天津市大数据管理中心新开发了在线核酸检测结果汇总统计辅助功能. 即日起，企业、学校相关管理人员可随时使用该功能，自动将多批次核酸检测报告汇总截图生成表格，方便您快速掌握员工核酸检测结果，学生，省时、省力、省力。确保数据安全。
　　核酸检测结果汇总统计助手功能是一款单机程序，将核酸截图中的姓名、脱敏身份证号、采样时间、检测机构、检测结果等信息提取后自动生成excel文件测试结果。读取的图片信息无需上传至云服务器，不存在信息采集和个人隐私泄露风险，有效保障个人信息安全。
　　核酸检测结果汇总统计助手功能好用
　　一、安装
　　第一步：下载程序。在浏览器中输入地址： ，点击天津核酸检测结果汇总统计助手（Windows版-含依赖包），下载程序。
　　
　　程序下载页面
　　第二步：安装程序。双击“Tjtj-net.exe”程序，按照提示一步步安装。安装完成后，桌面会自动显示快捷方式“核酸检测结果统计助手”。
　　桌面快捷方式
　　“核酸检测结果统计助手”图标
　　如果双击图标不起作用，请安装相应的依赖程序：install net4.8、 安装Microsoft C++运行库。
　　依赖程序（.net4.8 ，C++ 运行时库）图标
　　二、为员工、学生等采集核酸检测结果。
　　1. 本程序仅支持对通过“健康天津”APP和“津心办”APP查询的核酸检测结果截图进行识别。
　　2.核酸检测结果截图必须包括：页面描述、个人信息、检测结果。
　　3. 图片格式支持：jpg、jpeg、bmp三种格式；
　　4. 截图必须严格按照图例截图，否则无法识别。
　　核酸检测结果图例
　　三、一键生成汇总表文件
　　第一步：打开程序。桌面---双击“核酸检测结果统计助手”快捷图标进入功能页面。
　　“核酸检测结果统计助手”图标
　　
　　功能页面
　　第 2 步：使用该程序。点击“选择文件夹”按钮，选择已保存待生成统计报表的文件夹，点击开始识别。
　　
　　选择文件夹
　　
　　开始识别
　　第 3 步：找到报告。在保存核酸检测结果截图的原创文件夹下，自动生成“文件输出”文件夹——鉴定结果文件。
　　
　　“文件输出”文件夹
　　点评：王少云
　　编辑：王安
　　材料安排：许晓薇、石娇娇 查看全部

　　自动识别采集内容(批量统计报告有“神器”了网信天津2022-11)
　　核酸检测结果汇总统计助手功能上线，批量统计核酸报告有“神器”
　　
　　天津网通 2022-04-11
　　为积极服务企业复工复产和复学复课，天津市委网信办、天津市大数据管理中心新开发了在线核酸检测结果汇总统计辅助功能. 即日起，企业、学校相关管理人员可随时使用该功能，自动将多批次核酸检测报告汇总截图生成表格，方便您快速掌握员工核酸检测结果，学生，省时、省力、省力。确保数据安全。
　　核酸检测结果汇总统计助手功能是一款单机程序，将核酸截图中的姓名、脱敏身份证号、采样时间、检测机构、检测结果等信息提取后自动生成excel文件测试结果。读取的图片信息无需上传至云服务器，不存在信息采集和个人隐私泄露风险，有效保障个人信息安全。
　　核酸检测结果汇总统计助手功能好用
　　一、安装
　　第一步：下载程序。在浏览器中输入地址： ，点击天津核酸检测结果汇总统计助手（Windows版-含依赖包），下载程序。
　　
　　程序下载页面
　　第二步：安装程序。双击“Tjtj-net.exe”程序，按照提示一步步安装。安装完成后，桌面会自动显示快捷方式“核酸检测结果统计助手”。
　　桌面快捷方式
　　“核酸检测结果统计助手”图标
　　如果双击图标不起作用，请安装相应的依赖程序：install net4.8、 安装Microsoft C++运行库。
　　依赖程序（.net4.8 ，C++ 运行时库）图标
　　二、为员工、学生等采集核酸检测结果。
　　1. 本程序仅支持对通过“健康天津”APP和“津心办”APP查询的核酸检测结果截图进行识别。
　　2.核酸检测结果截图必须包括：页面描述、个人信息、检测结果。
　　3. 图片格式支持：jpg、jpeg、bmp三种格式；
　　4. 截图必须严格按照图例截图，否则无法识别。
　　核酸检测结果图例
　　三、一键生成汇总表文件
　　第一步：打开程序。桌面---双击“核酸检测结果统计助手”快捷图标进入功能页面。
　　“核酸检测结果统计助手”图标
　　
　　功能页面
　　第 2 步：使用该程序。点击“选择文件夹”按钮，选择已保存待生成统计报表的文件夹，点击开始识别。
　　
　　选择文件夹
　　
　　开始识别
　　第 3 步：找到报告。在保存核酸检测结果截图的原创文件夹下，自动生成“文件输出”文件夹——鉴定结果文件。
　　
　　“文件输出”文件夹
　　点评：王少云
　　编辑：王安
　　材料安排：许晓薇、石娇娇
更多...
© 优采云AI内容工厂
QQ群1：574685687(已满)　QQ群2：294515895(新)　微信公众号：www_ucaiyun_com

官方客服QQ群

微信人工客服

QQ人工客服

在
线
客
服