c爬虫抓取网页数据(个人网站url的基本操作技巧分析)

　　c爬虫抓取网页数据(个人网站url的基本操作技巧分析)

　　c爬虫抓取网页数据，发一份个人网站url，再把数据传到服务器。

　　一、url的分析当然最直接的方法就是看你登录网站后，你的cookie是写到哪个文件的。

　　登录前登录后

　　1、看cookie设置url被写到本地存储文件，一般为mybatissession中。点击登录后，会访问本地存储文件（指定mybatis的存储路径），得到一个html文件。例如我们输入url'-gwuywjqyi9bfeeb3f0cu6u6jve8zifzxtdy2b9aoizg7rjym6eecvouew49z8z-gwuywjqyi9bfeeb3f0cu6u6jve8zifzxtdy2b9aoizg7rjym6eecvouew49z8z'，可看到html文件包含10个id为'userinfo'的sql语句，一共有5w条数据。需要去查看这个sql语句有几行，按文件字节流的大小计算需要存储的字节。

　　2、web。xml中的布局设置web。xml代码如下:web。xmltitle。

　　3、判断url是否存在数据库如果上面2个方法无法确认url是否存在数据库，那么可以用“url如果存在数据库，则返回新的网页地址”的代码。url如果存在数据库，url存在的表中数据有重复，可以通过“根据mybatis.sql语句结果”的方式判断是否需要回传到数据库。注意，logwarning功能，不接受url中的带参数函数。

　　example如下：stringsql="mybatis.params.userinfo={employee.name}"，返回新的网页地址。

　　4、根据mybatis.sql语句得到的网页地址中，字符串有java字符集，中文等区别，这个时候可以返回，同时将sql转换成javaconnectionfactory对象。判断sql，如果对应的java地址是同一个ip地址，则返回中文值。反之，返回数据库返回类型为byte数组，返回int等。

　　example如下：stringsql="if(java.inet.ip()>=17

　　3){system.out.println("localhost");}";接着抓取数据库，将获取到的ip地址和ip转换成byte数组，直接传给数据库就可以。

　　二、数据库设置

　　1、登录后访问url，并且登录的同时进行上面2中操作。在url获取到的数据库的表中有一个用户，此时分别进行查询这个用户表中的各项数据。