专业知识:会计从业资格考试经验分享之文章采集站和抓包软件

　　专业知识:会计从业资格考试经验分享之文章采集站和抓包软件

　　文章采集站和抓包软件-其乐来源第一篇文章出来后还有很多朋友私信问我要不要发一篇文章把经验分享出来，那么首先谢谢你们给了我这个机会，第二部就是希望能够尽快找到一个优秀的对代码掌握较好的小伙伴一起分享经验，也许有小伙伴因为经济等各种原因不想加入，可以看一下我的经验分享，我觉得你能更快找到属于自己的位置，让我们一起继续进步吧。

" />

　　在介绍先简单介绍一下我个人，本人没什么技术，也不是特别热爱学习，只想安安静静的写东西，做点自己喜欢的事，如果你恰好和我有一样的想法那我们就一起来走这条路吧，共勉。首先进入这一次的主题之前我想给你说明两点:1.我写的东西并不全是我公司的，有两部分原因，首先我们是一个新公司，需要给别人宣传是必然的，这个肯定要外包。

" />

　　外包也要花钱，可是我不想让更多的人入坑，所以我要自己来做宣传，第二本人也是刚开始做python爬虫，需要一部分时间的去摸索新的爬虫，熟悉这个的知识，对自己来说也是有利无害，没必要直接用爬虫工具写爬虫。2.我们公司的一部分同事都有专门的反爬虫工具，没有公用，并且我们之间仅仅是互相了解对方岗位需要的技能，比如说防止上传，防止返回验证码等，和我们没有任何关系，如果你是一个对代码技术要求比较高的朋友你可以在这里找到你要爬取的网站，如果你技术不是很好或者感兴趣你可以先入坑。

　　有些人说其实不用找，现在很多大的公司都是外包的，外包也需要有技术人员和工具才能够开展工作，所以我们也不用担心技术水平不够，平时不要宅在家里，学点东西出来爬爬试试，让自己变得更好。大家给予我鼓励和支持，我感到很荣幸，希望你的坚持是对的，加油，我们一起提高吧，一起自信的面对生活。一.抓包我想说一下我对抓包的一些理解，随着web3.0的发展，各种web新特性层出不穷，无论是以前的xpath还是现在http2,http1.1的统一规范，都不是一蹴而就的，我们需要一步一步来，不要心急，先慢慢来，现在人这么多，谁又能说的准你所需要的网页信息不是其他人做过的呢，那你的资源跟其他人比不了，竞争力也会被其他的较老版本的http工具所替代，所以抓包是有必要做一些储备工作的，这样你才能在新的场景下去想办法分析请求，不至于抓瞎，到最后什么结果都得不到，然后回头就是一阵恶心，所以我认为第一步我们需要做的是学会如何分析出响应的httpheader以及其它的一些需要掌握的一些http相关技术，然后你可以去找一些脚本，我们用python可以完成这些分析的功能，我相信你已经有了一点基础，可以自己。