内容采集(Github地址内容介绍(一)会介绍-地址)

　　内容采集(Github地址内容介绍(一)会介绍-地址)

　　资料采集从入门到放弃Github地址内容介绍

　　这本书将介绍我所知道的关于爬虫的所有知识。它更像是我的技能清单。我会仔细阅读所有内容。目的是传播知识。

　　大概会分为几个大方向（介绍）：

　　爬虫介绍、就业状况、爬虫工程师面试题

　　可能会添加一些其他（放弃），例如：

　　简单的验证码处理（这个我也在学习）IOS反向Chrome断点调试和加密分析Docker使用Selenium和Appium，pyppeteer Bloom filter Charles，mitmproxy抓取全站爬取思路Flask开发Spark相关其他语言如Go ,JAVA爬虫

　　每一个点都需要花费大量的时间去学习，希望大家共同进步。

　　我不知道Python的基本语法，所以建议你去BeginnersGuide和documentation。

　　说说开发环境的标题

　　先解释一下标题，为什么是从入门到放弃。

　　首先，这不是嘲讽，而是我现在的内心感受。我做爬虫快两年了，从运营转过来的。我想我对爬虫有这三个阶段：

　　喜欢。一开始没有真正接触到真正的业务需求的时候，因为知乎（你懂的）的渲染，我才真正对爬虫感兴趣。每打开一个新的网站，我都想尝试一下。爬行，什么是反爬行？这个阶段一直持续到真正的项目开始，然后慢慢过渡到下一个阶段。这里我想说，肯定还有人像我一样对爬虫有很高的热情，喜欢爬取一些网站的数据。一个关键点是数据的问题。很多时候数据不完整，或者数据不持久，没有持续的数据分析，你爬取的数据毫无价值。这就是我做一些长期项目的感受。没感觉。把爱好变成事业是一件很痛苦的事情。我在做*敏*感*词*的时候，很羡慕爬虫工程师，觉得他们好幸福。当我真正开始做的时候，一开始是好的，一年后我的心态会改变。这件事情是由很多原因导致的。这首歌是红玫瑰：遥不可及的永远动荡，被宠的永远没有恐惧，自己感受吧。放弃。第二阶段和第三阶段是一样的感觉，因为对爬虫的兴趣没有以前那么大了，慢慢会想要开始做其他的事情。我博客中的描述是“数据采集，数据处理，机器学习”。数据采集 只是第一步。数据处理和机器学习是重点（高薪职业），未来发展方向大有可为。这就是我要学习 Spark 和 Scala 的原因，我希望在未来的某个时候，我可以切换到与“数据”和研究数据的真正接触。自我介绍