网站ip不要图省钱，为了长久就要买高质量的服务
　　网页文章采集工具，我也在用，
　　你可以网站全抓。但是。不可能实现你所说的那么一应俱全。因为现在网站都是有垂直分类的。只要你不止收录一类，基本上都能满足。另外你有地区的设置吗？你要是说除了chobits和hbuilder你还能有其他的工具。那真是有点匪夷所思了。
　　我用的第三方抓取工具，不过需要信息的一般不用他。直接用官网的工具。
　　这方面我了解过的网站有几个：1.爱问问答社区2.百度文库
　　我们公司也在做爬虫，出口国外的可以抓到全球各个国家的。感兴趣可以咨询我。
　　googlerelatedusermetadata+chrome+extension...
　　国内的可以试试国外的:creategreatextensionsforfeed.now.
　　刚刚查看了下楼主的网站，已经爬取了下，达到你的要求了，下面是网站所以请求。
　　还可以开设海外仓，只需要买cod，
　　国内需要买的话，去“海淘之家”看看吧，专业的卖家加上优惠的服务，应该可以满足楼主的要求，多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务“多来几个站点，ip不要图省钱，为了长久就要买高质量的服务“多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务“多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”多来几个站点，ip不要图省钱，为了长久就要买高质量的服务”。 查看全部

　　浩华|君无嘻言—种草高效工具 节省网页数据采集时间
　　
　　图/文：淄博城市策划总监尹珑
　　
　　作为地产行业策划，我们多数时间和精力都放在操盘方案和执行中，经常漫游在Word、Excel和PPT之间。而有时候在面对提案以及关键节点方案时，我们要求做到更详尽的区域市场数据，网页上的土地信息就是必不可少的一部分。如果没有做好月度的数据积累、或面对一个陌生的城市环境，短时间内整理好这些陌生数据是很难的。一直纠结于是否要给大家“种草”数据采集工具，一是此类工具我们应用机会很少（但是救急用到是真香）；二是小编属于数据爬取“门外汉”还没法做到具体问题情况解答。
　　但是，在地产提高“人效”的大环境下，希望大家多掌握一个软件使用、提高工作效率，比较不是坏事。因此，借助“君无嘻言”的机会给大家“种草”优采云采集器软件。
　　1
　　明确工作目标
　　采集（汇总）某城市市场数据，例如我们经常需求的当地“某阶段内土地供应和成交数据”、住宅网签数据等（值得大家注意的是，网签数据各个城市网站差别很大，部分网站用软件采集很难实现）案例如图，如果我们需要2个小时把这个城市的土地供应成交明细整理出来，单纯每个地块打开复制粘贴，是不现实的，这就需要数据采集工具来提高效率。
　　
　　2
　　学会看网页地址
　　我们来到案例城市的土拍网页，是一个市本级区域的土地成交明细记录。发现这个网页环境里，点击下一页及任何翻页，网页地址是不变的，因此我们可以在采集器里输入这个网址来进行全部数据（或者部分数据，如只采集2021年）。但是目前这个界面里面的文字不是我们想要的内容，我们需求的是这里面每一个地块的具体详情。然而我们又发现，每一个地块打开后，它的网页地址都是不一样的。
　　由此，我们可以分析出采集工作流程：
　　采集市本级网页下的文本内容（结果公示地块标题+时间）和每一个地块的地址链接（深度采集）
　　复制所有明细地块的地址链接，开始采集地块详情，并最后导出Excel文件
　　3
　　具体采集工作操作方法
　　第一：下载“优采云采集器”，官网下载即可，1个手机号账户可免费做100个采集任务。（足够）
　　第二：打开软件之后会有2种模式：流程图模式和智能模式流程图模式是依据自己手动分工每步操作（操作比较复杂这里不做具体阐述推荐），而我们通常使用智能模式，用此模式我们来具体阐述实战案例（点击智能模式开始采集）。
　　
　　第三：首先输入网址有3种方式，手动输入（复制粘贴）不能超过200行；文件导入（使用txt文本文件格式）我们一般采集单个或几个网页一般用前者，批量生成的众多深度链接（土地地块详情页地址）一般采用后者，而批量生成是指有一定规律的参数变化网页地址（如翻页参数的序列数字变化）。因此，我们先复制粘贴需要采集的市本级成交地块的网站地址，点击立即创建。
　　第四：点击后看到采集器已经开始做了第一页的信息自动识别和采集（绿色部分）并在下方生成表格预览，同时字段2（地块标题）也给我们做好了相对应的深度链接采集（就是把每个地块的详情页地址采集到了）
　　第五：重点讲解一下翻页：翻页是指在采集过程中，程序要自动模拟人工翻页，如果翻页按钮无法识别，我们后续的采集工作就会重复停留在某一页或者某前几页来回重复采集，导致数据结果无限重复。
　　首先我们要知道为什么会出现这种情况，少数情况下如果网页按钮（下一页）XPath识别不到就会出现“自动识别分页失败”；而有时即便识别到了，但是10页之后的“下一页”位置又变了，也会出现采集过程翻页错误。如下图展示的就是“下一页”按钮在第11页出现了偏差：
　　
　　
　　解决翻页方案（如果你所常用的网页能够自动识别翻页，请忽略以下）：
　　【1】点选分页按钮：手动点一下分页（下一页）按钮，但通常是在“下一页”按钮不发生错位情况下奏效【2】编辑分页XPath
　　
　　
　　由于此处涉及编程知识，对于我地产小编已经严重超纲….好在通过编程老师帮助，给了一套案例方案，我通过多个网站做了一个规律模仿，大家可以尝试一下（至于操作原理我们就没必要研究了，只看步骤就好）：
　　【2-1】回到浏览器网页界面，把鼠标放到“下一页”，点击右键审查元素，会看到如下图：
　　【2-2】我们只需要复制一下“”双引号里面的蓝色部分，然后回到采集软件中的“编辑分页XPath”输入//*/a[img[@src="复制的蓝色部分"]] 例如上图案例需要输入 //*/a[img[@src="/TPFront/images/page/nextn.gif"]] 以上就是介绍的翻页失败的处理方法。
　　第六：设置采集范围：如果我们只想采集某一阶段的土地信息，可以点击采集范围来设置。弹出对话框，点击新建条件，点击新建分组。
　　案例中“字段3”是地块的时间，因此我们在字段3设置条件为“包含”值如果出现2020，点击确定（意思就是采集到2020值就会停止任务）当然我们可以从设置起始页和结束条件，来采集某个特定年份的数据。
　　
　　第七：点击开始采集-任务完成后点击导出数据即可。
　　第八：以上我们就把第一轮采集完毕，目的是得到每个地块的详情页网址；接下来，我们把Excel里的网站一键复制到新文本文件（.txt）然后新建任务导入网站文件，直接点击采集即可（因为详情页无需翻页）
　　第九：导出Excel结果文件，进行稍加修饰即可。这里推荐大家下载“方方格子”office版本的Excel插件，免费级的就超级好用。
　　例如批量删除地块成交时间的“**时**分”仅保留年/月/日（批量删除后5位字符）；批量提取最大容积率，在规定容积率范围值栏中，批量保留指定最大容积率，我们可以公式计算规划建面、楼面价等。
　　下图是导出的直接结果：
　　下图是修改调整后的效果：
　　总结
　　以上就是给大家分享的地产数据相关的网页数据爬取，每个城市的土地信息网有新旧网站，建议大家选择旧版网站土地汇总页为目标（相对识别较容易）；同时关于商品房网签的数据页面每个城市都差别很大，而且需要看采集器是否能识别出来。不建议大家花过多的时间再去研究爬虫程序，我们只需利用采集软件节省数据汇总时间即可。
　　⋅///⋅
　　【往期推荐】
　　点击图片即可查阅
　　——
　　
　　本文章为浩华专业原创，未经许严禁转载、挪用或以做商业用途 查看全部

　　网站文章不收录？如何打造快速收录的高质量内容
　　
　　看了就要关注我，喵呜~
　　每个站长都希望自己的文章、自己的网页能被快速收录，但是很多小伙伴的网站上线一个月都没收录一个首页，更别说内页；有的小伙伴的老站，文章内容页，怎么发都不收录，为什么呢？
　　
　　首先我们需要明白百度为什么收录你内容？要知道我们网站的内容是做给用户看的。做好以下五个点，是收录的前提
　　1.避免站内的相似度：两篇三篇或者更多的页面内容相似的，相同的地方才会产生相似度（相似度工具检测）百分之80以上的相似度，百度基本不收录了。
　　2.站外的重复度：站内的大量内容是否复制粘贴来的，采集照搬过来的？
　　3.内容的可读性：
　　（1.）蜘蛛只能读懂文本内容，图片、视频、框架等是无法识别的
　　（2.）用户看了是否通俗易懂，是否图文并茂，甚至有必要配上视频。
　　4.内容的来源：内容是怎么来的？抄的还是原创的？自己写的是不是优质的？（什么是优质内容?满足前面三个小点基本算是优质内容。）
　　5.搜索引擎能够抓取：都不能抓取谈什么收录呢？什么内容不能抓取？比如需要登录才能访问的内容，再比如需要输入密码才能够显示的内容，蜘蛛是不会注册帐号也不会登录的。
　　
　　我们试想一下，平时去流量网页我们喜欢什么样的内容？你不喜欢的用户能喜欢吗？你肯定不喜欢一下几点：
　　1.内容写主题不符，不相关，内容不可读，不完整，（例如我标题写我是卖衣服的，你看到标题进来了，发现我内容写的是擦鞋的，你会读下去吗？）
　　2.内容里面只有一张图片，空白页面，广告影响用户阅读的（只有一个标题，点击进去没有可读性的内容，你来能读懂什么？）
　　3.有权限的，需要登录或输入密码才能看到的（深山也经常这样，第一次到一个网站，要我注册登录才能下载或者浏览，我直接关闭）
　　
　　了解了蜘蛛凭什么抓取我们的内容，了解了用户喜欢什么样的呢绒，那怎么打造高质量内容？
　　1.好的内容应该有一个标题（主题），而标题应该是用户热搜的问题词、长尾词，这样的词有人搜，这样的文章才能解决用户的问题。
　　2.内容怎么写？段落清晰，对标题的延伸，结合图片，视频，文字，通俗易懂就好，不需要长篇大论，不需要多么有文采，用户能读懂，能帮助他们解决问题。
　　3.用户看完这篇文章能明白你说的内容，也是他正在寻找的内容，这样的内容才能够增加用户停留时间，才能够增加用户对网站的粘性。
　　今天的分享就到这里，更多原创优质内容请持续关注！
　　比较会装傻会卖萌
　　比较想你关注我(*￣∇￣*) 查看全部

　　aoly18搜索万网通慧聪慧聪_网站大全去爬这个好用么？
　　网页文章采集工具商品链接采集工具
　　推荐几个，比如用谷歌浏览器，安装一个插件；用电脑浏览器有个dommon.js，用，这个网站就可以抓取netjs和iweb里的url。
　　页面数据爬取工具
　　接curl
　　免费的有urlmonitor,可以自己改
　　二手市场很多很多，但是我也没遇到过。因为它是你需要要有ajax加载才可以抓取，这里提供一个拿去吧，它是靠广告位挣钱的哦。去哪儿高级版也提供抓取的。但是大部分都要花钱的哦。我一直用它。
　　aoly18搜索
　　万网通
　　慧聪慧聪_网站大全去爬
　　这个好用么？天下网站一大通。
　　eaobao
　　“好事多磨”是一款去重工具，可以去重的办法很多，个人觉得这个比较好用，
　　万网去重一般用万网通就可以的
　　这是一个神器！！！
　　你可以关注
　　你可以关注这是一个神器！！！
　　然而，对一个资深淘宝用户来说，
　　第一次回答，毫无经验，希望能帮到你~~~我是小白，仅是从个人角度来简单说下。如果是站长，可以看看a站；如果是站长熟悉某个商品（如某种特定商品的详情页）；如果是网店有商品详情；如果特定商品的url重复出现也是可以用。 查看全部

　　网页文章采集工具专业的网页抓取工具有没有值得推荐的呢？
　　网页文章采集工具专业的网页抓取工具有没有值得推荐的呢？答案是肯定的，今天推荐的几款网页抓取工具，基本满足网站的浏览、收集需求，价格便宜，即使是2块钱，相信网站文章采集工具大家也不陌生了。apistore上还有：page4us、采趣、小软件、帝国好用...等众多好用工具。快来看看！爬虫工具福利：有的人对爬虫可能会有误解，认为所有网站都可以爬，可能是一个思维误区！爬虫算是网站数据采集的一个基础工具，用来爬虫的工具有很多，你们觉得哪个好用呢？戳链接，上车！免费爬虫3套！。
　　天天抓取-网页数据采集工具
　　豆瓣流量正在下降，
　　推荐去ieee,但是要翻墙
　　rescuetime
　　/网址
　　/
　　推荐国外的一个，类似badboy的网站数据采集软件，国内有googledocs和ga。
　　从爬
　　/#/pages?id=66031834
　　feedslide这是我在用的爬虫工具。数据采集无非就那几种，这个算是api的入门工具吧，不仅可以采集api网站上的数据，还可以爬取图片，文档，
　　jieba.progoogle的api.
　　可以试一下zhutianwen.liu， 查看全部

　　网页文章采集工具，安装兔来抓数据就可以了
　　网页文章采集工具，网站流量统计工具，媒体追踪，机器人客服等等。里面很多功能，可以看看api接口，客服工具，网页抓取，页面ai，留言采集等等，
　　chrome，firefox，
　　自动回复这个功能，用的开源软件思兔兔，测试了下效果还不错，
　　用讯飞听见
　　国内首页搜索语音采集平台语音兔，可以尝试用下，用百度搜索下。
　　其实自己可以设置关键词采集引擎，这样别人说你要的东西你就能直接采集到了。比如评论，提示，图片等等。
　　其实可以用大蚁sdk来做这些东西，支持所有的api，app,pc，小程序，微信公众号等。直接采集淘宝等其他app的评论，还可以关注公众号了解下其他各种应用的服务。
　　如果有赞赏计划的话用ga、oauth都有可能，没有可以直接打开官网免费获取ga，前提是你可以得到企业认证，认证之后获取的数据就更全了，如果不能得到认证就用第三方获取吧，
　　兔来了接入其他的api接口的时候可以做一些交互，比如对话、按键等，也可以评论收录。不过速度肯定没有大蚁官网那么快了。
　　流量统计工具，网站抓取，网页文章采集，媒体追踪，机器人客服等等，安装兔来抓数据就可以了。 查看全部

　　文案、编辑、策划等写作者都用得到的五种采集工具
　　点击上方蓝字关注运营小公爵↑
　　随着阅读量的增长，学的越来越多，能记住的越来越少，我们就不得不到知识的下一个阶段，对知识进行采集。而采集的工具有很多，但最后，我都是用印象笔记作为载体，来存储这些信息。
　　PC端采集工具
　　1.1.强大的文本扩展工具PopClip
　　PopClip是一款在Mac上人尽皆知的小工具，说到PopClip，它可能是Mac下面最值得买的一个软件了。它的操作也很简单，只需要选择文本然后反白文本就好，这个软件简单高效，具有强大的拓展功能,在没有安装插件的时候，它就有如下几种功能。
　　粘贴
　　打开链接
　　复制
　　词典
　　拼写检查
　　邮件跳转
　　是不是很赞？更赞的是，它还支持一百多个各种各样的插件，这些插件有许多不同的功能。比如说支持选中文字翻译、修改文字格式、搜索豆瓣、保存到Doit.im等等……
　　
　　你只需要去它的官网，下载相应的插件，就能使用这些插件了。
　　之所以把它放到采集这一章来说是因为，自从我装了一个Evernote的插件以后，妈妈再也不用担心我采集文本的方法了！
　　只需要点一下印象笔记的按钮，就能在印象笔记里面新建一个文件。
　　
　　1.2.强大的复制粘贴工具Paste
　　我们在使用文本的时候，免不得需要大量的使用复制和粘贴，然而，有时候复制了一个文本，原来复制的文本就被这个文本覆盖了，之前复制粘贴的东西就没有了……Paste则很好的解决了这个问题，它在设置项里面可以选择保存500个以上的复制粘贴的历史，我们需要粘贴的时候，只需要按shift+command+v就可以看到历史的复制内容，然后选择并且操作了。
　　
　　Paste与Mac结合的如此之好，以至于它看起来就像是原生的应用一样。它不光能够记录复制的历史，类别和预览展示的效果也很好，真是写作者的必备神器！
　　1.3.作弊式的快捷键查询工具
　　说起来一个高效的写作者，多半都是键盘党，比如说我就已经将近两年没有用过鼠标，因为平时的操作用快捷键完全都可以解决了，可是有的新软件自己根本不知道它的快捷键怎么办？一个个摸索？完全不需要有cheetcommand就好，安装了它，当你在使用一款软件的时候，长按Command键就能看到完整的快捷键映射关系图哦，对照着快捷键用软件，是不是爽歪歪啊？
　　1.4.Chrome下的网页内快捷键
　　说到快捷键，我们就不得不说chrome下的一个小插件Vimium
　　
　　Vimium是一款很棒的插件，安装启用这个插件后，只需要在浏览器页面上按下F键就能看到按钮能够跳转到对应的页面。
　　如果想退出，直接按Esc键即可。
　　有了这个神器，再配合浏览器上的快捷键，在浏览网页的时候，根本就用不到触控版！工作效率显著提升！
　　除了这些，其实PC端还有很多采集和整理的工具，譬如上篇文章说的Pocket、Chrome内的印象笔记剪藏插件，这些都比较平常，就不再细说了。
　　移动端采集工具
　　除了在PC端上采集资料以外，我们往往还需要在移动端采集一些资讯和做一些笔记，除了pocket以外，还有一些常用的方法和软件。
　　1.我的印象笔记
　　在移动端，最经常使用的是我的印象笔记微信公众号了，只需要关注："我的印象笔记"并且绑定帐号以后。
　　就可以在文章页将其分享到自己的印象笔记里面去。
　　然后界面提示保存成功，我们到印象笔记里面就能找到这篇文章了。
　　
　　当然远不止这些，以上写的几个软件，都是我在采集文本的过程中最经常使用的软件，而这些软件采集的内容，最终都汇总到一个地方，就是印象笔记。你平时用哪个？下方留言讨论一下吧~ 查看全部

　　网页文章采集工具，不止一家值得用的。
　　网页文章采集工具，不止一家值得用。
　　一、pc端直接访问：/有更多的快捷访问。
　　二、手机：请google搜索：/可以模拟登录/谷歌搜索工具。我推荐使用前缀为sugar的pc端，而不是前缀为bd的，原因在于pc端文章发布的范围更广，可以看到近期的任何文章，而不仅仅局限于html5。这个功能也推荐使用谷歌浏览器的谷歌搜索工具，可以屏蔽广告。
　　三、网页文章采集器前端玩家必备。用户端开发，支持vpn。除了常见的文章采集工具，除了上面的contentconfig.xml文件，还会有password,preferreddata和cookie等配置属性。
　　四、爬虫工具user-agent调制解调器简单、好用的爬虫工具，支持采集国内外网站的实时新闻内容，并有详细的user-agent清单和下载链接。
　　你有bdinstaller（还有中文版，非常好用）现在来对比一下最好用的几个:全站爬虫采集,采集广告,网站摘要,社交平台抓取,精准搜索,用户关系绑定,网站广告自动触发等功能。
　　如果问html5网页的网站数据采集我推荐你了解一下任务宝（）网站有定制和在线两种方式欢迎您来体验,非常方便国内外主流、高质量的资源第三方采集平台平台，包括国内外知名平台：yahoo!()谷歌竞价流量获取：googleanalytics、yahoo!servers、inmobi()搜狗竞价流量获取：searchengine。
　　com、sparrow、yahoo!priceanalysis()百度竞价流量获取：百度竞价流量获取(新规)：yahoo!youbi()雅虎竞价流量获取：yahoo!japan()谷歌推广流量获取：yahoo!japan()维基解密(thewikilook)英文站点：wikimedia-commons美国站点：-wiki-look-eng。
　　org/注册使用简单快捷。结合手机版简直完美。我现在用的是第一个（civ）进行采集,目前同步到了多平台知乎回答数目破千，有需要详细的多平台采集策略，定制的小伙伴也可以联系我~wow。 查看全部

　　网页文章采集工具-agent001免费试用版-001
　　网页文章采集工具-agent001有免费试用版，还算可以，这个看地区的，
　　我也抓了一下，用的是国内免费的程序，还可以。
　　papier,通过papier下载最为方便。
　　推荐使用易词通来采集外文网站的文章，不仅能够抓取谷歌等热门的搜索引擎的文章还可以抓取百度，雅虎，
　　crazypipe、等软件都可以抓百度的内容，
　　搜狗网页云：
　　可以试试chrome谷歌插件-phenx-web我就是从这个看到的，
　　谢邀，是抓取谷歌吗？首先还是要将你的网站链接到谷歌的自定义搜索引擎的地址栏中，然后在谷歌搜索框中输入你的网站的关键词，之后你就可以看到你的网站所有在谷歌有收录的文章了。
　　各种爬虫类插件，比如similarweb，可能是目前最适合你的。
　　phantomjs
　　采集360网站的
　　agent001可以抓取谷歌百度雅虎这些互联网国外站点的文章和页面。不是谷歌爬虫，但很多老外都是用这个软件（我是不是在说重话？）。搜狗也可以抓，但抓不到谷歌。别问我为什么抓不到。ps:我不是打广告。
　　可以用爬虫插件比如similarweb爬取国外的网站一般没什么问题 查看全部

　　office工具集 公众号及网页文章转换，批量PDF转换，去除添加水印
　　
　　
　　
　　【特色功能】
　　01.加水印：文档加水印可以直接给word文档操作，直接转成PDF，水印加强功能，能有效避免被工具一键去除水印。
　　02.去水印：不仅可以去掉传统意义的水印，增加了二维码水印去除功能，也可以去掉扫描件的水印。
　　03.公众号文档下载：可以把公众号的文档转换成PDF或者word
　　以上功能以后也会重点更新。
　　【使用方法】
　　注：把需要转换的PDF文件拖拽到列表里面，点击开始即可转换，转换成功后的文件在当前目录里面的相应文件夹里面，可以进行批量操作，但是仅限于单线程。因为PDF很多操作还是很占用资源的，怕多线程处理起来内存跑崩目前不考虑加入多线程。
　　
　　01.文档转换：支持PDF转Word、PPT、Excel、图片、抽取图片、网页、EPUB格式。
　　PDF转图片功能会将每一页的PDF文档以图片格式保存下来，同时保存一份图片格式PDF文档。PDF抽取图片功能会把PDF里面嵌入的图片全部抽取出来。
　　
　　02.文档去水印：普通水印的去除、编辑权限密码去除、二维码水印的去除、智能深度水印去除、手动精准水印去除、扫描件水印去除，扫描件修复等等。
　　注：深度去文字和深度去图片可能存在误删，经过大量含有水印的文档写的算法，比较均衡一般不会误删。
　　手动移除 深度去文字功能都不能太干净的移除本软件水印加强生成的PDF（此功能故意添加，总不能让自己的矛干掉自己的盾...）
　　
　　03.文档加水印：可以在九个位置添加水印。也可以添加页眉页脚、插入水印页，如插入PDF，插入图片。
　　水印加强勾选上以后，所有水印以正文的形式进行伪装，使去水印工具很那能够一键去除等等。
　　
　　04.网页转文档：支持网页转换成Word，方便用户离线查看文档，针对公众号文章进行优化（可以下载某些公众号上面的音视频或者把公众号中的图片保存成PDF）。
　　
　　05.PDF压缩：可以对PDF进行压缩，有高中低三档，以及自定义，自定义数值越小，压缩体积越小，勾选上禁止编辑生成的PDF讲不能编辑。
　　
　　06.拆分PDF：提取某页到某页之间的PDF，把PDF平均分为N份,每隔n页生成一个PDF。
　　
　　07.PDF合并：把需要合并的PDF、图片都拖拽到列表里，然后手动进行调序，点击开始按钮进行合并。
　　注：默认勾选图片自适应会把所有图片自适应PDF，不会因为有的图片大有的图片小导致PDF的每一页大小不一。
　　但是有一个弊端，很小的图片就会自适应成很大的图片，这样就会模糊，如果出现这类情况，可以把图片自适应按钮勾掉。
　　软件介绍
　　软件类型：免费版
　　资源大小：32.1MB
　　兑换积分：0积分（1元=10积分）
　　下载方式：百度网盘+蓝奏云 查看全部

　　【干货长文】从信息收集到文案输出，如何找到合适自己的知识管理工具
　　作为一个OneNote的重度使用者，用OneNote前后加起来将近有十年的时间了。
　　在这期间OneNote一个工具承担了信息收集、资料整理总结、项目管理、文章写作等多项功能。
　　
　　onenote.jpg
　　应该说对于一个不清楚什么是Markdown或者文件块概念的小白来说，OneNote是一个很好的知识管理工具。
　　它免费、多平台可用、支持同步（就是同步速度比较慢）、对图片图表有很好的编辑功能，而且数据也可以进行本地化保存。
　　然而当一个工具承担的任务过多， 在使用的时候就总觉得有些难受。比如信息收集这个操作，我需要在电脑前把网页内容复制后，再拷贝到OneNote中，这在使用PC的时候还好说， 当使用手机的时候就非常的不方便。
　　于是本着不折腾不舒服斯基的精神，我就开始了又一轮的折腾之路。
　　01 Notion初尝试
　　我早就听说过Notion，然后在初次使用后，很快放弃了。
　　
　　notion.jpg
　　WHY？
　　因为用OneNote用的时间太长， 早就习惯了那种在笔记中同时打开好几个笔记页面，并且非常喜欢在不同页面中切换来切换去的感觉。
　　Notion这种模块化的文件处理方式虽然是很好， 但它是网页端的，加载速度是一个问题， 更重要的问题是如果你想同时打开多个笔记，就只能打开多个网页然后再逐一定位到想要打开的笔记上。
　　再加上前面说的网页加载问题，于是在使用Notion的时候，总是觉得没有OneNote或者其他本地的笔记软件使用起来那么丝滑，感觉莫名的别扭。
　　02 Obsidian
　　严格来说我并没有放弃Notion， 我只是放弃了Notion作为主力笔记工具的想法。Notion的模块化、数据库加上能支持windows\Mac\iOS和安卓的多端登陆功能，作为一个信息收集的工具还是可以的。
　　Notion之后， 又尝试了Obsidian。上手之后立刻直呼，这个赞，超级赞！！
　　它和OneNote一样左右布局，可以在不同笔记页面中顺滑切换；又因为是本地工具，打开速度比网页端的工具不知道快多少。
　　更重要的它支持双链和标签，可以在不同笔记间建立极强的关联，将各种知识点串联起来。
　　
　　obsidian.png
　　收费方面，个人版是永久免费的，在个人使用方面只需要解决一个同步问题就行。Obsidian的同步问题可以用坚果云、Dropbox或者同步盘工具实现，我用的是坚果云。
　　对于Obsidian，我并不打算把之前在OneNote中的笔记都迁移过来。OneNote还是我的主力笔记工具，而Obsidian承担的主要任务就是一个：码字。
　　只要你能稍微熟悉下Markdown语法，再给自己配一个图床，那在Obsidian中码字的感觉真是一个字--丝滑！
　　03 Cubox
　　在某一天刷B站的时候， 这个工具映入我的眼帘，我立马意识到我需要它。
　　于是迅速的打开应用商城，下载、安装。配置好后，堪称丝滑。 Cubox支持多端登陆、多个浏览器插件， 能快速收藏网页书签、片段、速记；更牛逼的是在微信中配置好后，直接转发微信到Cubox助手中也能完成收藏。
　　真的是超级好用， 立马付费。
　　
　　cubox (2).png
　　当然Cubox也有免费版，不过如果想要用的更顺畅，还是买个高级会员更安心。
　　04 为什么要用这么多的工具
　　就我目前所用到的各类笔记工具有：
　　具体来说就是：
　　cubox做收集，notion写日志和读书笔记， obsidian进行写作思考，滴答清单处理日常管理，oneNote做资料主仓和项目运营记录。
　　在知识管理这件事上，务必放弃不靠谱的AIO（all in one），更合适的应该是根据自己的日常习惯和场景，采用不同的工具，哪个合适用哪个。
　　比如我自己常见的场景有下面这几种：
　　收集、整理、写日志和写读书笔记、任务管理、文章写作和项目运营
　　1、收集
　　先是收集， 收集包括从网页、微博、看书等地方收集。
　　现在收集用cubox， 直接用插件或者在手机上复制下，就能自动导入，等到一定量的时候再把一些觉得有收藏价值的转移到OneNote中。
　　2、日志记录和读书笔记
　　日志记录这个事情也交给Notion
　　Notion可以方便以一年为一个单位创作一个主页，关键的是可以在windows，Mac,安卓和iOS四个平台上都能跑。
　　所以日常的日记录， 月记录都交给Notion, 还有读书总结这个事情也交给Notion。
　　至于年总结， 那是正式的文章， 可以用Obsidian来写。
　　3、任务管理
　　所有用Notion或者Obsidian做任务管理的都是扯淡，用清单工具不香吗，非要在笔记工具中找来找去，是嫌自己时间多是吧。
　　没什么好说的， 肯定是用清单工具。安装个滴答清单，比用任何笔记系统改造的都好用。
　　4、文章写作
　　对于比较传统的长文写作，Obsidian非常合适。
　　写完后通过双链和索引将相关的文章关联起来，时间长了可以得到一个强大的知识图谱，从中挖掘相关的知识也会异常方便。
　　5、项目运营思考
　　因为我运营着公司，公司有不同的项目。在做项目运营思考需要把各种外部案例， 内部分析都放到一起， 更关键的是本地化， 安全。OneNote可以无限细分的好处是可以从项目的各个方面来进行分析和处理，而且各种排序也很方便。
　　当然这是我的特别需求，你也可以根据自己的特别需求而选择对应的工具。
　　05 结语
　　到目前为止我的主力笔记本仍然是OneNote，毕竟OneNote中放着我将近十年的各类资料。
　　然而不一样的是，现在可以根据不同的场景需求来使用对应的更加高效的工具。
　　不要因为工具多而觉得麻烦，在认真梳理自己各种不同场景的需求后， 不同工具搭配起来使用，那才是真的香。 查看全部

　　【seo优化知识】网站文章更新的注意事项
　　网站seo优化的内容比较杂，需要掌握的seo优化知识很多，比较单单一个网站文章的更新就有很多的门道，稍不注意就可能出现网站排名上不去，网站降权等情况。今天seo知识网小编为大家介绍一下网站文章更新的注意事项，希望对大家有所帮助。
　　
　　网站文章更新的注意事项：
　　一、文章重复度过高，导致网站收录和排名上去
　　很多站长闲麻烦，或者是工作太多，忙不过来，就会抱着侥幸的心理，利用文章采集工具大量采集文章内容，填充到自身网站中。而这些内容，相信大家也知道，质量低，重复度高，搜索引擎很少会收录这些文章内容。并且，当这些采集的内容大量充斥在网站中时，还会导致网站的评分直线下降，不受搜索引擎的信任，排名自然就提升不上去，还会受到搜索引擎的惩罚。
　　二、网站文章图片数量过多，价值不高
　　如今的网站优化流传着一句话，小编认为很有道理，那就是“内容为王”，有价值，充斥着高质量内容的网站，母庸置疑，网站排名一定不会差到哪里去。但是就有一些网站，文章中满满的都是图片，文字的信息非常少，这种类型的网站比较难优化。甚至有的网站，图片也不加说明，而搜索引擎并不能很好的识别图片，如果添加alt属性，那么在蜘蛛严重就相当于一堆乱码一样，质量可想而知，排名自然很难上去。
　　三、网站文章内部链接的建设也非常重要
　　网站就相当于一个蜘蛛网，编制好蜘蛛网，才能让搜索引擎蜘蛛很好的爬行，从而提升我们网站的权重和排名，文章中的内链建设就是其中一个比较重要的环节，可以起到传递权重和提升用户体验的目的。不过在设置内链时，我们要注意做好相关性，这样才能让网站得到提升，而不是起到反效果。
　　
　　四、网站文章的更新频率要稳定
　　很多新手seo都是从网站内容编辑开始的，经常会听到资深seo说，内容更新要保持频率，要定时定量。但是很多新手seo不是很了解，为什么要这样。其实主要的目的就是为了让蜘蛛养成固定时间来我们网站抓取页面的习惯，从而提升网站的排名和收录量。
　　五、网站文章关键词的布局和密度把控
　　网站文章更新的时候，我们还需要做好关键词的布局，不然即使你的网站被搜索引擎收录了，对于相关的关键词没有丝毫帮助，或者帮助小，网站排名想要提升，自然就需要更长的时间，因此我们需要做好网站关键词的布局，在文章中，标题、头部、尾部以及图片alt属性，这些方面是重点，需要做好相应关键词的布局。同时，我们也要把控好关键词的密度，避免出现优化过度的情况，不要为了布局关键词而降低了网站的质量。
　　 查看全部

　　推荐 | Web渗透测试之信息收集工具大全
　　Author：QftmData：2020/01/18ProjectAddress：GitbookAddress：进入正文"只有不努力的黑客，没有攻不破的系统"。在SRC漏洞挖掘或渗透测试中，信息收集占很大一部分，能收集到别人收集不到的资产，就能挖到别人挖不到的洞。项目已整理Gitbook文档，方便阅览：
　　https://qftm.github.io/Informa ... book/
　　感谢：@cckuailong师傅由此项目整理的SRC资产信息收集聚合网站：
　　http://lovebear.top/info/
　　目录：收集相关应用信息收集子域名信息查找真实IP收集常用端口信息指纹识别收集敏感信息漏洞公共资源库社会工程免责声明郑重声明：本号所涉及的技术、思路和工具仅供以安全为目的的学习交流使用，任何人不得将其用于非法用途，否则后果自行承担！版权声明：关于转载非原创文章安全初心转载的第三方文章，版权归原作者所有。如转载稿涉及版权等问题，请立即联系，我们会予以更改或删除相关文章，保证您的权利。
　　
　　觉得不错点个“赞”、“在看”哦~~~
　　 查看全部

　　数据治理 | 数据分析与清洗工具：Pandas 缺失值与重复值处理
　　我们将在数据治理板块中推出一系列原创推文，帮助读者搭建一个完整的社科研究数据治理软硬件体系（详情见文末）。
　　目录：
　　一、前言二、缺失值 1. 缺失值处理方案2. 如何识别缺失值3. 使用 Pandas 处理缺失值三、重复值1. 如何检测重复值2. 删除重复值四、总结
　　Part1前言上期文章中，，大家学习之后再也不用对着 Excel 一点一点手动筛选数据了。本期文章我们将学习数据清洗非常重要的一步——缺失值和重复值的处理。缺失值和重复值对数据质量的影响非常大，本文将会向大家介绍如何使用 Pandas 处理缺失值和重复值，从此大家将免受缺失值，重复值的困扰！本文中所有 Python 代码均在集成开发环境 Visual Studio Code (VScode) 中使用交互式开发环境 Jupyter Notebook 中编写。Part2缺失值1缺失值处理方案提到缺失值，大家脑海中第一个出现的应该就是空值了。事实上空值的确是缺失值中的常客，我们也普遍认为缺失值一般泛指空值。虽然我们都知道什么是缺失值，但是处理缺失值却并没有那么简单，如何处理缺失值取决于缺失值的来源、数据的用途以及数据类型等各种因素。在 Pandas 中，缺失值的表现形式也并不唯一，例如 NaN、None 以及空字符''、空格' '、换行符 '\n'等等。缺失数据千千万，对付他们要怎么办呢？缺失值处理的方案一般有以下三种：① 删除法，删除含有一定量缺失值的行或列② 填充法，使用其他值来替换缺失值③ 不处理，当作没看见
　　对于不同的数据、不同的使用需求，我们一般使用不同的方法来处理缺失值。
　　删除法一般适用于稀疏数据（缺失数据占总数据的绝大多数）或关键数据缺失的数据；假设我们需要做一个 “某 APP 用户年龄与购买力的关系” 的数据分析，但是一些数据的用户年龄或者消费金额缺失了，那么这一条数据就失去了存在的意义，一般会选择删除。填充法通常是使用最多的方案，这种方案适用于大多数使用场景。但同时填充法也是缺失值处理方案中最复杂的，我们将在下文介绍如何使用填充法填充缺失值。不处理方案貌似是最鸡肋的处理方案了，但是有的时候，缺失值的出现是正常的甚至是必然的，比如一家存活的企业不会有注吊销日期，这种时候不处理或许就是最好的处理方法。2如何识别缺失值前面我们介绍了几种常见的缺失值，对于一个字段中的不同缺失值，我们处理的方式大多数时候是一样的，但是处理缺失值的前提是识别缺失值。对于常见缺失值 NaN （下文会介绍什么是 NaN）和 None，Pandas 提供了便利的方法来识别他们，df.iana() 及其别名 df.isnull() 是 Pandas 中判断缺失值的主要方法。下表是某年中国工业企业数据的一小部分，我们以此表为例，使用 Pandas 为大家展示如何处理缺失值。
　　
　　使用 Pandas 读取数据并手动插入几个其他类型的缺失值。
　　import numpy as np<br />import pandas as pd<br />data = data = pd.read_excel('./数据/工业数据15条.xlsx')<br />data.loc[2, '行业大类名称'] = None   # 插入空值 None<br />data.loc[7, '企业名称'] = ''         # 插入空字符 ''<br />data.loc[0, '成立年份'] = '\n'       # 插入换行符 \n<br />data    # 输出查看 data<br />
　　
　　我们使用 df.iana() 检测以上数据中的缺失值，它可以让缺失值显示为 True，非缺失值显示为 False。
　　data.isna()  # 或者使用 data.isnull()，pd.isna(data)<br />
　　
　　可以发现，缺失值 NaN 和 None 都被 Pandas 检测为缺失值，因为NaN 是 Numpy 模块的空值类型，表示为 np.nan，是 Not a Number 的简写，而 Pandas 是由 Numpy 开发而来的，所以保留了 NaN ，它在 Python 中是 float 类型（即小数型）数据；而 None 是 Python 中的空值对象，所以两者都会被判断为缺失值。但是 data 中的空字符，换行符却没有被判断为缺失值。这是因为他们都是字符型数据，Pandas 并不认为这些值是缺失值。但在实际的数据中，这些值又没有任何作用，可以被认为是缺失值。那我们怎么把这些值检测出来呢？前面的文章中，我们介绍过字符处理大师——。没错，对于这些字符型 “缺失值”，只需要一个简短的正则表达式就可以将他们识别出来。pd.isna() 可以判断一个值是否为空值或者判断一个 DataFrame 或 Series 中的值是否是缺失值，缺失值显示为 True，非缺失值显示为 False。下面我们分别使用 pd.isna() 和正则表达式来识别不同类型缺失值。
　　# 使用 pd.isna() 判断常规缺失值 NaN（np.nan）和 None<br />pd.isna(np.nan)  # 返回 True， NaN 被判断为缺失值<br />pd.isna(None)    # 返回 True， None 被判断为缺失值<br />pd.isna('')      # 返回 False，空字符不被判断为缺失值<br />pd.isna('\n')    # 返回 False，换行符不被判断为缺失值<br />pd.isna('\t')    # 返回 False，制表符不被判断为缺失值<br /><br /># 使用正则匹配字符型缺失值（空值，无意义值）<br /># 有返回值，说明被判断为缺失值<br />re.search('^\s+$|(^$)', '').group()   #返回 ''<br />re.search('^\s+$|(^$)', '\n').group() #返回 '\n'<br />re.search('^\s+$|(^$)', '\t').group() #返回 '\t'<br /># 无返回值，所以含非空数据的空字符不会被误判为缺失值<br />re.search('^\s+$|(^$)', 'ab cd\nef\tg')  # 无返回值<br />
　　成功识别字符型缺失值后，我们就可以根据需要将他们替换为 Pandas 中的缺失值 NaN，然后就可以统一处理浮点型缺失值 NaN，也可以将 NaN 替换为 字符型缺失值空字符 ''。这样这些就可以参与到字符数据的运算中。3使用 Pandas 处理缺失值本节将会讲解 删除法处理缺失值 和 填充法处理缺失值。（1）删除法处理缺失值Pandas 提供了一个删除缺失值的方法 df.dropna()，他可以删除含有缺失值的行或列；可以删除全为缺失值的行或列；也可以删除缺失值数量大于某个阈值的行或列。场景 1：删除含有缺失值的所有行删除行需要指定参数 axis=0，删除列则指定参数axis=1；删除含有缺失值的数据需要指定参数 how='any'，删除全为缺失值的数据则需要指定参数 how='all'。下面将不再多举例说明。
　　# 没有指定参数 inplace=True,所以该操作不会在原数据上生效，<br /># 而是返回一个处理后的新数据<br />data.dropna(how='any', axis=0)<br />
　　
　　注意，这里由于空字符'' 和 换行符等字符型缺失值不会被 Pandas 判断为缺失值，所以含有这些数据的行得以保留。
　　场景 2：删除缺失值数量大于 3 的所有列
　　df.dropna() 中的参数 thresh 可以指定非缺失值的数量（正整数），表示非缺失值的数量，当非缺失值数量小于这个整数值，这一行/列（需要根据 axis 参数来指定）会被删除。这个描述可能比较绕，我们通过这个使用场景来感受一下。
　　# 数据共有 15 行，缺失值数量大于 3 就等价于非缺失值数量不小于 12<br />data.dropna(axis=1, thresh=12)<br />
　　删除前：
　　
　　删除后：
　　
　　可以看出，由于 “资产总计(万元)” 含有 4 个缺失值，故此列被删除。需要注意的是，当已经指定了 how 参数时，thresh 参数将不再生效，起作用的将会是 how 参数。需要注意的是，df.dropna() 默认不会修改原始的数据，而是返回一个经过处理的新数据，所以即使刚刚删除了几行或者几列，数据 data 都没有发生变化。如果想要修改原数据，使删除操作在原始数据上生效，有以下两种方法。
　　# 第一种：设置该方法的 inplace 参数为 True<br />data.dropna(inplace=True)<br /><br /># 第二种：将新生成的数据赋值给原始数据的变量名<br />data = data.dropna()<br />
　　两种方法有着一样的效果，但是不能同时使用，否则不仅不能达到期待的效果，反而会误删数据。（2）填充法处理缺失值① 使用df.fillna()Pandas 专门为填充缺失值提供了一个方法 df.fillna()，他可以将缺失值替换为指定数据，也可以替换为缺失值附近的数据。替换为指定数据时，只需要传入一个要被替换为的数据即可；如果需要使用缺失值所在位置的前一个非缺失值来填充，只需要传入一个参数 method='ffill' 即可；使用后面一个非缺失值来填充时则需要传入参数 method='bfill'。fillna()方法既可以在整个数据上应用，也可以指定数据区域应用，最常见使用场景的是填充某一列的缺失值。
　　场景 3：将数据中 "资产总计(万元)" 一列中的缺失值填充为 0
　　data['资产总计(万元)'].fillna(0)<br />
　　
　　这个结果是不是让人有一点小意外，虽然缺失值被填充为整数 0，但是填充后却是浮点型数值 0.0 ，而且返回的数据不是 DataFrame 类型，而是 Serise 类型。首先，整数 0 变为 浮点数 0.0 是因为字段 “资产总计(万元)” 的数据类型是 float 类型，其精度高于整数类型，当一列中的数据都是数值型时，Pandas 会自动将精度较低的数值类型转为精度更高的数值类型，即 float 型。其次，为什么只返回了一列数据，而且不是跟原始数据一样的 DataFrame 类型呢？因为 df.fillna() 方法与刚才介绍的 df.dropna() 方法一样，也和 Pandas 中绝大多数涉及到数据修改的方法一样，他们都不会直接修改原始的数据，而是返回一个新的数据。这就是为什么会返回填充后的数据，而返回 Serise 类型的原因是，调用 fillna() 方法的数据 data['资产总计(万元)'] 本身就是一个 Series ，所以会返回一个同样类型的数据。同样地，如果想要使修改数据的操作在原始数据上生效，有以下两种方法。
　　# 第一种：设置该方法的 inplace 参数为 True<br />data['资产总计(万元)'].fillna(0, inplace=True)<br /><br /># 第二种：将新生成的数据赋值给原始数据的变量名<br />data['资产总计(万元)'] = data['资产总计(万元)'].fillna(0)<br />
　　场景 4：填充字段“资产总计(万元)”中的缺失值，要求是使用该字段中上一个非缺失值填充后面的缺失值
　　# 使用缺失值所在位置的前一个非缺失值来填充，需要传入参数 method='ffill'<br />data['资产总计(万元)'].fillna(method='ffill')<br />
　　
　　可以看到，该字段中所有缺失值都被前一个非缺失值填充。② 使用df.replace()我们前面有讲到，缺失值不仅可以是 NaN 或者 None，还可以是空字符、空格以及换行符等字符型缺失值。但是缺失值填充方法 df.fillna() 只能识别和填充 NaN 和 None，对于字符型缺失值却束手无策。这个时候 Pandas 中数值替换方法 df.replace() 就可以很好地解决这个问题，该方法可以将 DataFrame 中几乎所有数据值（除 None 外）替换你想要的值， df.replace() 方法有许多种使用方法，这里只为大家介绍一种最常用，最简单易懂的使用方式。就像 Excel 中的查找替换功能一样，只需要先后传入替换前的值和替换后的值即可。
　　场景 5：将数据中所有的“采矿业”替换为“采矿产业”
　　# 将数据中的所有的“采矿业”替换为“采矿产业”<br />data.replace('采矿业', '采矿产业')<br />
　　
　　有人可能会提问，将“矿业”替换为“矿产业”不是也能达到一样的效果吗？这样做在 Excel 中确实可行，但在 df.replace() 并不支持这种操作，因为该方法查找和替换的是数据值，而非数据值的某一部分。使用df.replace()是可以填充一些特定的数据值了，可是字符型缺失值有很多种形式，这样一个一个查找、替换是不是效率太低了？请看下面这个例子。
　　场景 6：将数据中所有缺失数据替换为“数据缺失”
　　首先，使用 df.fillna() 填充缺失值。
　　# 填充缺失值 NaN 和 None, 设置参数 inplace=True，使操作生效<br />data.fillna('数据缺失', inplace=True)<br /># 由于设置了参数使替换生效，故不会有任何返回值，这里重新输出 data<br />data<br />
　　
　　可以看到，缺失值 NaN 和 None 已经成功被填充为指定值，但是空字符和换行符没有被填充。使用 df.replace() 可以一次性将这些字符型缺失值处理掉。其原理是什么呢？很简单，df.replace() 方法是支持使用正则表达式的，我们将能够匹配所有字符型缺失值的正则表达式当作替换前的数据传入该方法，再设置参数 regex=True ，表示使用正则模式。就可以一次性替换字符型缺失值了。操作如下：
　　# 设置参数 regex=True ，表示使用正则模式<br /># 设置参数 inplace=True，使操作生效<br /># '^\s+$|(^$)' 是一个能够匹配所有字符型缺失值的正则表达式<br />data.replace('^\s+$|(^$)', '数据缺失', regex=True, inplace=True)<br />data<br />
　　
　　字符型缺失值被成功替换。通过以上几个缺失值填充案例，我们可以发现：df.fillna() 适合处理缺失值 NaN 和 None；而 df.replace() 的使用场景可以替换几乎所有值，尤其是字符型数据值。但是不能处理空值 None，所以这两个方法在缺失值填充方面是互补的。灵活使用他们，就可以填充或者修改所有缺失值。Part3重复值由于各种各样的原因，比如重复采集，误操作等，导致我们的数据可能存在数据重复的现象。包括行重复，列重复等情况，这其中即会出现完全重复，又会有部分字段重复的情况。大多时候这些数据并不是我们所需要的，需要将它们删除。下面将会介绍如何检测和删除这些重复值。为了方便理解，我们使用较少的数据，如下图所示，该数据变量名为 score。
　　
　　如图，数据最后两行是完全重复的。1如何检测重复值Pandas 提供了一个用于检测重复值的方法：df.duplicated() 。该方法有两个主要的参数用来设置检测重复值的条件。用法为：
　　# 该方法返回一个 Series，重复的行会被标记为 True, 非重复行会被标记为 False<br />df.duplicated(subset=None, keep='first')<br />
　　该方法返回一个 Series，重复的行会被标记为 True, 非重复行会被标记为 False。其中参数 subset 表示判断是否重复所需的列，例如当检测数据 score 的重复值时，传入参数 subset=['学号','姓名'] ，就表示使用数据的 “学号” 和 “姓名” 这两列来查重，这两列分别一样的数据行会被标记为重复数据。例如下图中红色矩形框内的三行数据。
　　
　　尽管除了 “学号” 和 “姓名” 外的其他字段的数据并不是完全一样的，但是由于指定了使用这两列来查重，所以最后三行数据就会被判定为重复数据。subset 参数的默认值是 None，使用默认值时，所有字段都会被用于查重，仅当所有字段都分别相同的数据行才会被认定是重复数据，例如数据 score 的最后两行。参数 keep 用来确定如何标记重复值，可选的参数值及其含义如下：'first' ：默认的参数值，将除了第一次出现的重复值标记为 True，即首次出现的重复值不会被认定为重复值。'last' ：将除了最后一次出现的重复值标记为 True，即最后一次出现的重复值不会被认定为重复值。False ：将所有重复值标记为 True。
　　下面用一个例子来体会一下 df.duplicated()。
　　场景 7：根据“学号”和“姓名”字段找到并取出所有的重复行。
　　# 根据要求，指定查重字段为 '学号' 和 '姓名'，所以参数 subset=['学号', '姓名']<br /># 根据要求，需要找到所有的重复值，所以参数 keep=False<br />score.duplicated(subset=['学号', '姓名'], keep=False)<br />
　　
　　这个结果缺失与数据中的重复情况是一致的，但这样还不够。我们只是找到了重复数据并打上了 True 标签，却并没有把数据取出来，其实取出打上 True 标签的数据只需要简单的一步就可以了。
　　# 把查重结果作为条件筛选的条件，使用数据筛选的方法就可以取出数据了<br />score[score.duplicated(subset=['学号', '姓名'], keep=False)]<br />
　　2删除重复值Pandas 中的 df.drop_duplicates() 是专门用来删除重复值的方法，这个方法的原理就是根据 df.duplicated() 方法找出重复值后将它们删除。所以前者的主要参数和用法与后者是一样的。删除后返回一个新数据，不会直接修改原始数据。如果想要使删除操作在原始数据上生效，需要指定参数 inplace=True，相信大家对这个参数的使用已经比较熟悉了。
　　场景 8：对数据 score 做去重操作，重复的行数据只保留第一行
　　# 根据要求，我们只需要使用默认的参数值就可以了<br /># 指定参数 inplace=True，使操作在原始数据上生效<br />score.drop_duplicates(inplace=True)<br />score<br />
　　
　　数据 score 中第4，5两行（行索引为 3 和 4）是完全一样的，参数 keep 的默认值是 'first'，表示保留重复数据中首次出现的一行，所以第四行（行索引为 3）得以保留，第五行（索引为 4）被删除。Part4总结这篇文章介绍了数据清洗中常用的数据清洗操作——处理缺失值与重复值。对于数据使用者来说，这些技能是必备的，即使我们不会专门去做类似的数据清洗，但是这些方法仍然被其他的数据需求所需要。下期文章我们将继续为大家介绍 Pandas，学习如何转换数据类型，包括字符型，整数型，浮点型以及日期格式。
　　
　　社科研究数据治理软硬件体系
　　 查看全部

　　建筑人必知的五大素材网站
　　阅读本文前，请您先点击上面的蓝色字体，再点击“关注”，这样您就可以继续免费收到文章了。每天都有分享，完全是免费订阅，请放心关注。
　　学建筑的同学如果光知道去百度寻找素材那是万万不行的。但是现在的网站内容都五花八门,质量参差不齐,今天学姐就从学建筑的同学那里打听到他们平时常用的几个找建筑素材网站,希望你能派上用场噢!
　　这是世界上访问量最大的建筑网站。建筑案例和素材图片都非常充足,无论是从建筑的历史背景，还是材料构造，抑或是作者的作品说明都十分详细而易懂。
　　
　　里面有着近5w个建筑项目供你参考:
　　
　　涵盖的建筑产品种类数量非常多:
　　
　　甚至还能在其中寻找工作机会:
　　
　　gooood是中国第一影响力与最受欢迎的建筑/景观/设计门户与平台。旗下网站年流量2.2亿+，排名为建筑类网站全球前四，亚洲第一，中国第一。
　　
　　能根据专辑、分类等内容进行检索,还能将你的优秀作品投稿推广噢~
　　
　　在里面能找到优秀的建筑设计师的案例,如果能力突出还能承接建筑项目!
　　这个网站之前也推荐过多次了,designboom旨在汇集来自不同背景的专业和年轻创意人士。通过发布建筑，设计，技术和艺术领域的最新新闻,它是一个全面的来源，拥有超过5w篇文章，有价值的有用信息和富有洞察力的采访，工作室参观，新产品的文档，展览和书籍的评论以及历史调查。
　　
　　可以根据分类去寻找你想要的信息噢~
　　
　　网站中对每一个案例介绍和讲解的都比较全面,里面能看到较多有关建筑方面的评论,如果你想做一个建筑评论家,参考里面的内容是个不错的选择!
　　
　　这是一个免费使用的建筑素材管理工具,当你在看这些素材网站时,遇到感兴趣的建筑素材不需要一张一张单独保存,这个软件支持浏览器插件进行采集,有复制、剪切和索引模式,还能区域截屏整页截屏等等。
　　
　　
　　
　　数万张图片、还是各类字体、音视频、设计源文件等等，Billfish都可以帮你快速分类整理,非常推荐! 查看全部

　　网页文章采集工具(如何使用好网页采集器让网站更多的被搜索引擎收录)
　　网页采集器，最近很多站长朋友问我如何指定网站，市面上的网页采集工具基本都需要写采集规则，这个需要网站 长友知道正则表达式和html代码基础。这对于小白站长来说是一件非常困难的事情。网页采集器可视化批次采集指定网站及自动伪原创发布及一键自动百度、神马、360、搜狗推送。
　　
　　网页采集器可以被任意网页数据抓取，所见即所得的操作方法只需点击几下鼠标即可轻松获取。那么我们如何使用好的网页来采集器网站更多的搜索引擎收录并获得好的SEO排名。
　　网页采集器要求我们能够清晰直观的网站定位会带来较高的客群转化率。我们的网站 目的是营销。我们的网站只有专注于一件事才能更好的展示出来，这样网站的内容搭建就会相当的简单。网页采集器基于高度智能的文本识别算法，根据关键词采集文章，无需编写采集规则。
　　页面采集器做网站SEO优化需要网站合理的结构。首先要提的是网站的结构要清晰，布局要合理，拒绝冗余代码，拒绝大量的JS脚本和FLASH动画，会影响网站 的打开速度。设置应清晰可见，便于客户导航。
　　
　　和关键字描述信息。事实上，大多数人都知道 关键词 和描述对于一个 网站 非常重要，但是有些人忽略了这些信息。关键词 和 description 相当于一个搜索领导者提交的名片。有了这张卡片，人们就会更多地了解你的网站。
　　网页采集器可以通过长尾关键词做全网关键词文章pan采集，然后合并批量伪原创到网站 文章定期发布，让搜索引擎判断你的网站内容属于原创，更容易获得搜索引擎的青睐。还有一点要提醒大家，在网站收录之后，不要轻易改变你网站的关键词。所以一个好的关键词和描述也是一个网站的必要条件之一。网页采集器可以对文章的标题描述和内容进行相应的SEO优化设置。
　　网页采集器内置了很多网站优化方法。网页 采集器 支持自动内部链接。我们都知道网站的内链在一个网站中起着非常重要的作用，所以网站采集器内的网页会合理的安排内链。网页采集器伪原创文章也会大大提高网站SEO优化的指标。好的伪原创文章，对蜘蛛的吸引力很大。网页采集器自动全网采集，覆盖六大搜索引擎。自动过滤内容相关度和文章平滑度，只有采集高度相关和平滑度文章。
<p>当蜘蛛进入网站时，网站地图被视为很好的引导，蜘蛛可以轻松进入网站的每一个角落，网页采集器可以自动生成并更新网站的sitemap地图，让蜘蛛第一时间知道你网站的文章链接，可以方便蜘蛛抓取你 查看全部

　　网页文章采集工具(dsp不是游戏运营的核心策略，前期的引流才是)
　　网页文章采集工具。通过计算机网络和无线通信技术，对访问者流量进行分析并自动对可能的潜在订单数量进行预测并存储以方便后续查询。
　　嗯，你的要求我也可以实现哦，
　　我也想知道dsp怎么实现，好像平台推荐的dsp都不大靠谱，自己开发呢，这个有点没钱。可能要公司赞助，没办法呀。
　　现在没有这个功能。不要纠结了，自己做。dsp只是一个展示方式，里面有很多东西。有的不需要dsp推广也可以收集到购买的用户信息，不需要。可以放在自己的网站上。dsp推广只是表象，推广背后的本质是对用户购买行为的分析。
　　既然不想参与游戏内置的dsp推广，在游戏流量量和产品端量上考虑，应该优先考虑找种子渠道推广，然后再发放dsp推广位给所有游戏玩家。种子渠道既可以是腾讯的新闻媒体平台，网易的首页新闻，天天快报等；也可以是地方的地方新闻；同时也可以选择各大的b2b搜索引擎。既然提到种子流量和量级的问题，那应该在游戏一开始上线的时候就已经在找种子流量了，种子流量一般来自广点通，百度，搜狗，360等自有渠道。
　　既然已经选定了正规的dsp推广引流渠道，后续就只需要通过dsp平台的推广获取广告费用，补贴给游戏用户。最后，多说一句：dsp不是游戏运营的核心策略，前期的引流才是！。 查看全部

　　网页文章采集工具(百度指数在网站优化方面应该挺适合做内容采集的)
　　网页文章采集工具有很多，
　　搜索baiduconverter按照你需要读的网站去搜就好了，按功能分类很多。[读书]。
　　为什么不试试idm，
　　艾瑞的flash采集工具是我用过最强大的。flash的问题不在采集而在于其本身的兼容性和传输问题。如果想采集所有页面，可以放在php里面。
　　百度指数在网站优化方面应该挺适合做内容采集的。
　　1.懂技术，有耐心，
　　百度搜索框中输入网址的时候，输入site:可以自动抓取在这个网站中的所有的文章及内容。webmasters（webmasters中国站，请看中国站介绍）是一个中国站导航，收集了大量的国内外webmasters网站。可以自行到去注册自己想要去的国外webmasters网站。
　　推荐一个英文/中文采集器:(推荐下原因之一是速度快)
　　要想采集网站内容你可以尝试一下小马宋的beta站,你只需要修改地址栏的url
　　youtube上面挺多很有趣的视频的，一些黑科技啊，什么的，你懂的，可以用stockholm收集英文的图片。
　　小马宋系列的《社会化营销》。
　　everything，
　　readinggoal要电子版本 查看全部

　　网页文章采集工具(数据交付：理想的网站内容采集工具的选择还取决于)
　　数据交付：理想的网站content采集工具的选择还取决于数据需要交付的数据格式。例如，如果我们的数据需要以 JSON 格式传送，那么我们的搜索范围应缩小到以 JSON 格式传送的爬虫。网站内容采集工具可以提供多种格式的数据存储。理想情况下，数据传输格式应该是 XML、JSON、CS 等。因为在某些情况下，我们可能不得不以我们不习惯的格式提供数据。多功能性确保我们不会在数据交付方面失败。
　　应对反采集机制：很大一部分网站目前都有反采集措施。如果我们担心遇到这个问题，可以通过 网站Content采集 工具绕过这些措施。
　　网站Content采集 工具是我们可以在工作中使用的辅助工具之一。在使用网站Content采集工具的时候，我们还是需要重点关注我们的目标网站进行筛选，无论是从数据质量的角度，网站安全还是&lt; @网站分析，只有准确优质的数据，才能给我们带来良好的分析基础。
　　网站content采集tools的分享就到这里，网站content采集tools随着科技的进步不断完成更多的整合。功能越来越多，但用户体验是网站content采集工具的突出特点。我们可以轻松使用 网站content采集 工具快速让白人用户也拥有完全控制权。如果你喜欢这个文章，请留下评论，点赞和采集。
　　特别声明：以上内容（包括图片或视频）由自媒体平台“网易”用户上传发布。本平台仅提供信息存储服务。 查看全部

　　网页文章采集工具(30种网页抓取（也称为网络数据提取或网页爬取）)
　　网页抓取（也称为网页数据提取或网页爬虫）是指从互联网获取数据，将获得的非结构化数据转换为结构化数据，最后将数据存储在本地计算机或数据库中的过程。一种技术。
　　网页抓取是通过抓取软件实现的。当您使用 Chorme 等浏览器浏览页面时，我们不仅可以捕获您正在浏览的页面的数据，还可以捕获您浏览器的本地缓存（cookie）。你开始担心你的隐私了吗？是的，我也有这个顾虑，但我们不会在这里讨论。
　　有许多用于网络抓取的软件。在这个文章中，我将列出30种主流软件供大家参考。
　　1.美汤
　　
　　Beautiful Soup 是一个 Python 库，专门用于抓取 HTML 和 XML 文件。如果您的操作系统是 Debian 或 Ubuntu，您可以尝试安装这个免费软件。
　　2. 导入.io
　　
　　Import.io 是一个免费的在线网页抓取软件，它从 网站 抓取数据并将其组织成数据集。它具有良好的交互设计，使用起来非常方便。
　　3. 莫曾达
　　
　　Mozenda提供的数据提取工具可以轻松的从网页中抓取数据，即使没有键盘，只有鼠标也能轻松操作。
　　4. ParseHub
　　
　　ParseHub 是一个可视化的网页采集软件，可以用来从网页中获取数据。它可以很容易地从不提供 API 的 网站 创建 API。
　　5.八卦
　　
　　Octoparse 是一款适用于 Windows 的免费网页抓取软件。它可以将 网站 中的非结构化或半结构化数据转换为结构化数据集，无需编码，这对于不懂编程的人非常有用。
　　6. 爬行怪物
　　
　　CrawlMonster 是一款用于网站搜索引擎优化的免费网络软件，它可以扫描网站各种不同的数据点。
　　7.内涵
　　
　　Connotate 提供自动化的网络数据抓取解决方案。您只需要提供信息类型的模板，Connotate 就可以自动为您抓取您想要的数据。
　　8.普通爬取
　　
　　Common Crawl 为爬取 网站 提供公共数据集。它收录原创网页数据、提取的元数据和文本信息。
　　9.疯了
　　
　　Itching 提供自动数据转换服务，可以将网页中的各类数据转换成 JSON 或 CSV 格式的结构化数据。
　　10.内容抓取器
　　
　　Content Grabber 是面向企业的网页抓取软件，可让您创建独立的网页抓取代理。
　　11. 差异机器人
　　
　　Diffbot是一款可以自动将结构化数据生成API的软件，是开发者的好工具。
　　12.Dexi.io
　　
　　Dexi.io 是一款专业的数据抓取软件，同时提供数据清洗功能。这将是处理 JavaScript 的最佳选择。
　　13.数据抓取工作室
　　
　　Data Scraping Studio 是一款免费的网页抓取软件，可以快速抓取 HTML、XML 和 PDF 格式的数据。目前PC端只适用于Windows操作系统。
　　14.简单的网页提取
　　
　　Easy Web Extract 是一款用于商业用途的可视化网页抓取软件。该软件的一个独特功能是 HTTP 表单提交。
　　15. 矿工
　　
　　fminer 是一款可视化网页抓取软件，可以让你创建项目的宏记录，方便日后查询调用。 查看全部