网页源代码抓取工具(网页源代码抓取工具最主要的的源等工具)

　　网页源代码抓取工具(网页源代码抓取工具最主要的的源等工具)

　　网页源代码抓取工具最主要的源代码抓取工具是urllib,shellhub等,网页源代码抓取工具可以抓取html5,css3,javascript等，但是对于一些前端爬虫而言，网页源代码抓取工具的爬取效率没有静态网页高,因为html5和css3会隐藏部分结构，有时候源代码抓取工具就不能解析出明显的结构，而无法达到预期的效果。

　　所以我们需要能从页面中提取出需要的部分结构。我们最常用的页面源代码抓取工具是selenium，虽然它也能抓取静态网页，但是它抓取html5页面会出现bug，需要用到dom类，dom类中隐藏了结构，所以需要用到equery或者是selenium2才能完全抓取html5页面，用equery就必须要用到javascript，至于如何给出javascript选择器，selenium是使用ajax对html5页面进行请求，所以要用到javascript，一般页面比较简单，使用selenium可以完全抓取html5页面。

　　然后随着爬虫工具越来越强大，效率越来越高，于是selenium,selenium2等工具大行其道，他们可以抓取javascript，也可以抓取css3，javascript就是一种内嵌式的结构，没有关闭动作，而css3有关闭动作，一般来说就会有缓存机制，爬虫工具只抓取内嵌的css3结构，然后结构提取出来然后渲染到页面上。

　　接下来介绍如何爬取阿里巴巴的图片。在阿里巴巴网站上有很多图片，经常遇到图片文件打不开的情况，而你在爬取其他网站图片的时候是打开了图片，这时候就说明你要用图片抓取工具抓取的那个图片有问题，这时候就需要提取出这个图片，把它爬下来就可以拿来作为源代码抓取工具爬取。这时我们可以使用selenium2来爬取图片。

　　步骤如下：1.获取阿里巴巴的图片链接2.打开提取出的图片地址如下：，我们把get_image.jpg()，login_url换成提取出来的链接。3.打开浏览器，一个个的尝试抓取。通过以上三步，我们就爬取到了这个图片地址，如下图：该图片其实就是html5标签中的link(“.html5”)，因为在爬取其他网站图片的时候，只能看到一个或者数个link标签，只能提取出这个link,因为其他网站就没有html5标签，所以这个html5地址我们就可以拿来爬取了。

　　接下来我们给图片属性赋值，图片的属性都是一些固定的，例如：像这个jpg是gray，我们就给gray值赋值一个byte数组listgray即可。也可以给图片赋值另外一个数组的元素对象，这样就可以在这个list中随意取了。对图片的属性赋值很简单，我们只需要根据提取出来的属性名称赋值给图片即可。完整代码如下：[url](url),{url:'/',}。