总结:自动采集数据,我想应该是php脚本吧??

优采云 发布时间: 2022-11-05 14:13

  总结:自动采集数据,我想应该是php脚本吧??

  自动采集数据,我想应该是php脚本吧?在mac上装iis,装python环境,编写代码,然后找开源数据分析软件或者自己从网上爬取数据,用java分析提取,设置各种参数。

  php+爬虫web上爬索引网站的数据然后php查询出数据

  要用iis吗?还是其他软件?这个可以参考下我的爬虫之路

  

  web上爬google这些站的数据。

  如果你只是想爬取ms数据库里面的内容的话,那就随便写写爬虫什么的不就行了。如果你想爬取你想要的数据,

  这要看你用什么数据库,如果是mysql或者其他数据库,不建议用php做这方面的尝试.可以试试以下模块:ifttt

  写个python脚本采集公司网站上的一些标注。如图公司网站一般有很多标注,要跟踪这些标注,使用python标注工具如pyecharts。

  

  php爬虫。

  谁给你说必须要php爬虫,现在写爬虫都是以前端为核心,再用浏览器抓取,不建议用php爬虫,另外,php已经淘汰了。

  python爬虫

  最近回答了很多类似的问题,本人自己从事java数据分析多年,和你一样曾经想要学php爬虫,自己基础知识也差,需要什么基础知识?,基本以下几方面基础,可以参考下。1.一般数据分析分成两个大的层面,理论层:概率统计、多元回归、金融数据分析等等,一般数据分析考的是算法,算法一般包括分类,聚类,回归等等,我给你的建议是去相关专业网站下载一些已经成熟的算法工具,例如apriori,zipfin,apacheclient,prefix等等。

  软件层:需要一个数据分析软件(r和sas),需要数据库来存放分析结果等。2.第二个层面是行业软件的开发应用方面,比如excel,mysql,access等数据库,例如你是使用excel你去抓取1000万的数据,怎么抓取,怎么组织数据,以什么结构保存等等。有条件的情况下找相关互联网的数据量级不亚于于你现在数据分析需求的(比如java只是作为java做分析,做出来的excel数据放在access分析图上面)所以我给你的建议是,先学python!是一个好的选择,语言很多掌握好基础知识就可以去基础知识扩展,基本建议是先用python从零开始学习爬虫技术,比如你想抓取某物流网站的信息,然后爬到excel里面来进行简单分析,不要碰java。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线