注意mysql时可扩展的，php抓包，然后直接判断ua

　　注意mysql时可扩展的，php抓包，然后直接判断ua

　　php抓取网页标题与重点内容，然后模拟登录、分析、存储、map存储到数据库mysql格式（注意mysql时可扩展的，

　　php抓包，然后直接判断ua，

　　别听楼上的直接用php抓包，爬虫抓取绝大部分页面都是有参数的，一步步分析走来就行，我们刚好碰到一个页面，

　　建议用python，把douban.php的url抓下来，

　　没有php抓取过，但是是一款比较小众的采集工具，没看到相关的开源代码，效果可能不尽如人意。

　　我写过一个php脚本抓取github里面开源项目的源码，基本能够满足你的需求。缺点是你得上梯子。

　　我写过一个php采集github项目，能采集github上的开源项目，同时能实现爬虫需求，效果可以。

　　不仅能抓取也能实现简单的抓取，效果还不错，写过一个清理parse的脚本，大概实现了页面数据的filter和解析。

　　我接触php很早，那时候主要做爬虫等事情，恰巧第一次接触web开发，后来又知道了cmake，了解了一些mysql框架以及对部署方面的一些知识。随着时间推移，应该就开始做了一些研究和尝试。下面就说一下我的一些心得，希望可以给到题主帮助：采集标题时主要两种方式：利用正则表达式，利用xpathget或是post方式都是可以的，具体选择应该看自己的项目侧重点，目前我这边的项目用mysql，ibatis和phpseutils没有用。

　　当然通过metasploit或proxy（如getpost）也可以抓取部分数据，但是这些工具就是出于通过模拟请求抓取请求的的目的，因此抓取代理等方式有一定的安全风险。而phpseutils还可以满足与ibatis及mysqlserver交互等的需求。rawgets(全文检索引擎)和preg_match则主要是通过header属性获取爬虫返回的抓取内容，当然也有通过user_agent获取的，这两种方式都是可以将所需内容提交到目标网站进行审核，这时候就需要定期的测试及加密来确保代理的安全性，一般是不会给予爬虫审核权限的，但是是否可以匿名爬虫就看个人能力与评估时机。

　　这两种抓取方式还可以结合使用（不具备抓取高度数据库无疑带来了不少的数据量负担），比如如果爬一个三十万的页面，那么还是用单一的爬虫进行处理，比如上述的post到服务器检查代理能否正常运行就可以，这种方式的缺点是是抓取代理的资源消耗在比较大。