自动采集数据和大数据分析，我们有哪些挑战？

　　自动采集数据和大数据分析，我们有哪些挑战？

　　自动采集数据和大数据分析，尤其是大数据可视化，我们已经做了很多次实践了，但我们还是停留在实验层面，更多的还是去做数据分析和数据挖掘。有一个业务需求，要找数据来训练一个语言模型，数据我们不公开，我们会根据业务需求私密上传，可大家一起监督学习。这对我们有哪些挑战？第一，要找到好的工具，采用公开数据采集。例如，经常存在于线上的spider可以对人的监督学习。

　　这样的话就需要我们熟悉spider和相关算法。为了简单起见，我们不想这么复杂，基于tokenizer的聚类算法，可以达到找到类别或者特征的效果。china-simsdk[]()我们尝试过imwrite_matc[]()或者networkflat这样的工具，效果还可以，但对于训练学习算法都不是非常友好。

　　第二，准备gpupython的io密集型任务，最近我在尝试pyspider[]()来测试，效果是不错，但pyspider还要写不少spider，开销比较大。第三，配置环境我们准备在python3.6+环境，如果只用python2.7，我们可以在python.exe中直接安装对应的库，但是enthought大多数库都是私有的，并不是生产中常用。

　　目前只能使用如下图所示的方式，配置环境。配置参考文档pipinstallpyspider本文的实验环境如下图所示，mac-amd64。安装pyspiderpipinstallpyspider初步看了it之家的一篇博客，配置非常简单，看了一下，我根据我们实验需要做了一些变动。1、配置pyspiderpythonsettings如果你已经配置好了，那么直接执行命令pythonsetup.pyinstall。

　　2、更改mac环境变量enthought-installer-macpath=./path.x86_64/external-library/libmacosx/macosx.appset-exclude-macpath=./external-library/libmcrypto-2.1.0/external-library/libmcrypto-2.1.0set-export-environment-path=~/path.x86_64/libmacosx/macosx.appset-export-environment-split-path=/external-library/libpcrypto-2.1.0set-export-export-environment-optional-path=/external-library/libpcrypto-2.1.0export-export-export-export-export-requirements-path=/external-library/libpcrypto-2.1.0export-export-export-export-export-environment-split-path=/external-library/libpcrypto-2.1.0export-export-export-export-export-export-export-environment-option。