京东购物车特卖商品数据采集站点采集数据判断方法

　　京东购物车特卖商品数据采集站点采集数据判断方法

　　文章采集站点以京东商城为例,选择对应商品并提交在京东.京东购物车系统开始采集数据，这里我们对京东购物车特卖的商品数据一起爬取导出，所以准备使用多线程使用多进程登录使用服务器端selenium.webdriver.view.urlencode方法来进行值的编码以及解码。webdriver.webdriver.view.view_code方法来对页面进行判断。

　　判断页面是否加载完成以及抓取保存的标签类型。判断访问请求是否为由服务器端发起的url方法，例如京东主页，搜索框为例。判断数据是否加载以及抓取保存的标签为用户定义和自定义类型判断数据加载是否成功以及抓取保存的标签为服务器端请求发起的包装函数。

　　好像一些语言也对js的反爬有封禁的，但是，

　　在京东商城上用过java、python、ruby、都爬过数据，都还比较顺利。看你从什么地方入手，sql、php、java都可以考虑。建议按照方向选择爬虫语言，爬虫应该是一个长期的项目，希望你能坚持下去，重在积累。

　　看到一个漂亮妹子，明确了爬虫这个方向，然后分析了妹子们的公众号，加了她们的公众号，调取了所有数据。试了几种语言，都没有成功，烦得要死。

　　如果公司要求只能使用前端的话，从页面和其他地方不可能看出重点，只有看到店铺id才能看到商品。比如看到一堆垃圾桶却没有看到商品，比如看到一堆商品和店铺却没有看到用户名。爬这种数据如果一定要用语言的话那只能sql，其他的哪怕ruby都很别扭。不会爬是要学习的，前端框架比如gulp，让你以一种中世纪般的高效，美滋滋。