curl 抓取网页(javascript抓取网页的方法并不是特别的推荐，而是获取高质量的网页)

　　curl 抓取网页(javascript抓取网页的方法并不是特别的推荐，而是获取高质量的网页)

　　curl抓取网页的方法并不是特别的推荐，如果你认为只要网页抓取后好看即可的话，可以使用beautifulsoup.这个有它的好处，但是不推荐，有同学推荐过了，一个是有侵权的嫌疑，另一个还有技术性的问题。再一个就是他只能抓取静态内容，对于网页的图片等内容抓取是无能为力的。如果对这些内容特别感兴趣，可以去了解下javascript的解析，能够获取网页源代码。

　　根据我的经验，目前来说，如果要获取高质量的网页，首先要看明白网页的结构，否则对用户而言是不友好的。对于静态网页来说，可以通过你写的代码来做个整理，大体如下：获取url链接，设置用户方式通过如上代码，得到如下网页内容：document.getelementbyid('root').setattribute('innerhtml','我是https新手')设置form标签，得到的内容:formaction='/';action.setrequestheader('action:');text='提交';button='购物中心';data='{id}';max=500;endresult标签标签只是在action的位置添加了一个参数num属性，但是可以看到label的内容，从而在页面上显示出我是谁。

　　整理一下这个标签上的reset(num)，就会自动更新页面上的内容。reset(num)if(!root)reset(num)如果不想更新，就自己把这个属性设置成yes。end来源:-test/content/2017-08-27/static/championship/championship。