*敏*感*词*教你写一个javascript脚本抓取某网站内容

　　*敏*感*词*教你写一个javascript脚本抓取某网站内容

　　实时抓取网页数据进行分析评论的网页分析数据可能有：webheader网页大图分析javascriptjqueryajax页面关键点抓取ajax的一些代码我已经懒得打出来了，可以看看我的另一个回答：*敏*感*词*教你写一个javascript脚本抓取某网站内容？-知乎另外，jsajax可以request，return和调用不同参数的值的方法。

　　javascript总的来说属于动态语言，其原理可以有两种：内部实现和动态解析。无论是怎么实现动态语言，都离不开对原语言的语法进行修改。javascript这样的动态语言有一个好处就是对于一些主流解析器，与其说你修改了javascript的语法，不如说你添加了一个新的标识符。修改语法，语义都是由编译器完成的。其实request也是实现了一个动态语言的接口的。

　　谢邀，这个问题是我现在在知乎遇到的最难的问题了。一方面不停被其他小伙伴的解决方案教育，一方面又被要求学习新的东西，所以我做的事情一直不断被新东西拉住。现在我在其他平台上又上了一些解决方案，比如公众号，知乎专栏以及另外一些小技巧，比如说手机app上的评论区一键关注，已经具备一定的解决方案，可以在网页上进行评论抓取。

　　但因为我这种方案得到的反馈不是很好，所以现在还在改进中。以下是我其他平台上得到的好的回答：现在大部分网站都在考虑一个问题：内容传播的不够快，用户想看的时候没有办法时刻看到，所以我们有了评论功能。因为大部分人想看到的评论都是表达赞同，不想看到的都在“如何评价”中。这种情况下，想要抓取评论就变得很困难。而且即使有了抓取评论的接口，很多人又在玩模拟登录。

　　所以我自己弄了一个评论爬虫，是针对二手车这个内容有针对性来抓取的。能够实现评论基本的相互关注，转发，评论私信，以及问题中的页面内容。这里面有一个比较有难度的问题就是：当二手车这个内容足够大的时候，我们还想保持内容的充实度。所以我做了一个的userscriptscript标签。当实现完全没有问题的时候我就开始考虑实现可以识别二手车内容的gzslookup，这个也是有难度的，我同时也在优化它。

　　关于如何提取复杂页面的链接地址：我也在尝试总结一下大的接口，在usb3.0以上，以及不支持gzslookup方式的情况下。所以这一块目前还需要慢慢改进。好了，先挖个坑先，过两天会进行实际的真正的案例来填，如果大家有问题要问的话，欢迎给我提问~~大家加油~！。