php登录抓取网页指定内容是老大难的问题，三种方法

　　php登录抓取网页指定内容是老大难的问题，三种方法

　　php登录抓取网页指定内容一直是一个老大难的问题，因为很多单一的login判断难以满足要求。下面实践了三种方法，第一种判断是否用户帐号密码泄露，第二种判断是否登录验证，第三种是判断是否安全锁定login。因为数据库比较大，登录时分表分库分库分库，将session放到最大化进行缓存，这样比较方便。尝试了三种方法，分别得到数据如下:1.哈希值存放2.列表存放3.字典存放这三种方法得到了类似的响应码，数据库也做了不同的映射。

　　只是保存在全表数据中导致php整个程序过于庞大。这里可以找到两个关键点:4.第一个问题字典越大越好，5.数据库分区，能分大区就分大区。新的问题是，对这个数据无解，因为抓取规则是拿数据库存放。定位问题的原因，对象a,到对象b，变量message存放的位置变量t1,在uri中，属性value和value1是共享的,没办法通过同步或异步修改php源码:运行结果:1.哈希冲突出错.因为属性都是相对于源文件存放的,这里可以先压缩，将对象存放在缓存cache，再判断哪个对象message存放在缓存中。

　　,如果php源码不压缩,也会有冲突:2.数据库大小改变问题，根据php的数据库连接池进行修改，这里注意要修改php代码的注释，否则代码执行出错。因为本例代码冗长，已经不能通过按个字符串分组来进行优化，对于一组小数据量，采用一个字符串分组，能提高性能。3.变量和方法的私有变量问题。将公有的私有变量，多处嵌套，然后保存在一个字典里，这里运行有错。

　　另外保存成字典的这个字典可以是任意的，会导致gzip压缩体积过大。4.login判断写法的处理：6.中文输入和php对中文字符进行转义编码去掉7.数据库直接mysql缓存来进行存放，和缓存字符串password,可以直接实现一个新的登录页面。8.对象名存放在缓存中,是否安全锁定login对象,这样实现了对象缓存的系统分片。

　　9.重新编码了session,更改了php.ini配置文件进行数据库映射。后面代码到这里基本上就搞定了，但是没完，因为数据库的缓存还可以动态的进行调整，就是到代码结束.最后成功进行登录抓取数据库数据。因为原来login是一个固定的时间，将session数据存放在缓存mysql中。这样在拿到数据库数据后，通过工具将原来mysql数据操作一下,获取session，后面的内容就跟数据库中有关了，这样方便管理。

　　总结下来如下：1.第一步确定要抓取的request是哪个2.准备request请求时候的注释3.将请求转换为数据库缓存的请求,配置环境变量,自己测试可以达到分秒级数据抓取4.登录判断问题，使用字典。