互联网中最基础的网络爬虫技术是怎样的？

　　互联网中最基础的网络爬虫技术是怎样的？

　　网页数据抓取、网页存储、网页解析

　　1.微博数据抓取技术：文本摘要处理，聚类，关系抽取，网络爬虫，页面拼接等。2.代码：从wordpress页面爬取各个列表页、推荐页、微博列表页，

　　最近几年国内的互联网公司搞新闻爬虫太hin简单了，没有分析爬虫的算法过程，没有自己的研究方法和理论基础。所以能够找到开源的的论文，也就是前人挖的坑。这个过程对各个语言，各个爬虫框架都是设计者或者开发者的技术积累过程。看起来很简单，但是给没有基础的人对算法效率效果带来的落差一定是巨大的。

　　楼上搜米的答案已经很全面了，简单来说就是三种：1，解析网页，通过解析网页来获取对应的消息。2，通过文本和非文本数据交互，比如写入mysql数据库等。3，通过if的模型来处理爬虫中用于处理url内容的代码。我发现解析网页是互联网中最基础的网络爬虫技术。非常好理解，比如我们抓取某某网站的时候，要把网站上所有的url都爬下来，不可能有任何的第三方代理来帮我们拿request请求的url吧，那我们要用http协议去交互的话，就需要server这个角色去去解析请求http。

　　简单来说，当然我们也可以通过现在高效的浏览器登录，我们用浏览器保存登录信息，提取出url获取到我们需要的url，但这样的效率实在是低的可怕，分辨率受限，传输性能问题都是很大的问题。那么问题就来了，能不能通过解析网页，我们不用代理也能拿到我们需要的url呢？那就是爬虫中常用的聚类啦，一般用的都是nestedsetfactorization。

　　这种聚类可以说方便我们从一个互联网中去筛选出某一类群（比如聚类到一个facebook或者instagram的用户）。因为多看几个ip就可以找到不同类型的用户。但是如果我们还想知道用户的标签（比如找到网红用户等），我们就得需要用stringprocessor的话，那样就太麻烦了。于是这些聚类也被抽象成多种算法（nork，pai），这些算法还有很多优化啊，怎么组合的问题。基本上针对一个需求，即可以有多种变种方法。我说的这一些就是爬虫中的可视化组件啦，有人看再补充~。