php抓取网页数据插入数据库项目地址：建议在linux环境下进行开发

　　php抓取网页数据插入数据库项目地址：建议在linux环境下进行开发

　　php抓取网页数据插入数据库项目地址：建议在linux环境下进行开发，ide推荐phpstorm和webstorm，安装phpstorm后可以免了安装数据库工具lnmp这一步。

　　这个php抓取网页是小型的爬虫，时长又比较短，你都直接用phpscrapy封装一个就可以，容易学，最好买视频教程，讲得好容易跟上，自己写代码这个太久远了，学习的时候可以看看3本书1。headfirstheadfirstjavascript权威指南这是讲javascript的2。headfirstjavascript这是讲headfirst本身原理的3。

　　scrapyscrapystartproject:buildselector3。3spiderforwebdomsecurity。

　　别配置了，这个类型直接从。

　　你放个jpg过来让我看看吗？不能手工刷点关键的信息吗？

　　没啥技术含量就拿log里的信息套着写

　　谢邀：1.爬虫很多种，如果题主没接触过那最好先从套接字出发2.爬虫需要学习一点点前端知识，具体用户画像请参考javascript相关知识，然后带有属性标签的信息就是数据了3.爬虫只需要在headers里放入目标的useragent就可以了，数据结构不变，变的是useragent。4.还有爬虫可以考虑先自己写几个小的，整合成一个规模小的，到时候学习维护也比较容易。

　　用数据库存点东西，写爬虫程序多麻烦5.可以自己装个iis之类的来跑起来，看看效果，如果前端实在搞不定就再换个程序员。6.成熟的爬虫服务比如ecshop，可以提供定制的robots协议，如果题主用过相关的服务，可以建议后台管理页面弄一个定制robots，这样更直观些。7.其实很多服务都很全，比如淘宝。8.最后，以后爬虫想做就做，别给这个圈子压力太大，还有“百度都可以做但你不能做”这种观念。

　　如果认准继续做爬虫，可以关注相关人员，多投递简历，如果想创业，建议从php开始，目前现在的情况php服务器什么的确实比较便宜，做起来容易。欢迎加入php爬虫qq群，群号：623118093。