在线抓取网页(电商网站从事采购业务的用户画像，如何使用在线抓取网页数据)

　　在线抓取网页(电商网站从事采购业务的用户画像，如何使用在线抓取网页数据)

　　在线抓取网页数据，比如log4j、mysql、mongodb、php等，以及在线抓取新闻、中文搜索、百度学术搜索、搜狗问答等网站的用户数据、日志数据等。上面是一个电商网站从事采购业务的用户画像，每个用户都有三个属性：性别，年龄，职业，每一条数据都是根据三个属性进行匹配，选择相应的用户数据。如果要抓取的数据为销售商品，则要从行为指标中找出关键行为。这样的分析可能关注商品用户的推荐，会员等级等。

　　目前市面上是有人从各个渠道爬取数据，比如数据运营、运营工具大厅、拉勾、天眼查、qq数据、机构号、知乎、百度知道等等。采用的通常是把爬取到的信息进行汇总分析。我们可以采用的工具是julia或者scikitlearn。julia有一个userjupter，不用写爬虫脚本，有一个轻量级的非python开发库islandsolution。

　　这个非常轻量级，只需要两行代码，使用方法如下：juliainstallislandsolution>orgssl:julia0.19.2notebooks(org)一个例子是抓取猫眼app上购买电影的用户画像，直接用julia来实现。（当然其他渠道爬取到的数据也可以用julia）下载链接：-install.py为什么不直接去链接下载呢？因为官网多了个python的爬虫环境，需要用pip。

　　但是如果用python爬取数据，很可能会超出需求，这个时候直接运行脚本会遇到代码报错，报错的规则是：toopen"global-python-qmakerc:3.7",packagesrequired:d:\python_scripts\python2.7\gits\recursive\jupython\python._reqmakerc.gitvolume1:path=["c:\windows\system32\exe"],c:\windows\system32\system32\pathfalse"d:\python_scripts\python._reqmakerc.git",extras"so",extras"fuck",extras"cao",extras"gy",extras"hello",password="script"所以要选择跳过jupyter环境，直接用pip下载。