怎样抓取网页数据(解析XML网页链接来抓取指定的内容比如豆瓣电影排行榜,)

　　怎样抓取网页数据(解析XML网页链接来抓取指定的内容比如豆瓣电影排行榜,)

　　如果给你一个网页链接去抓取特定的内容，比如豆瓣电影排名，你怎么做？

　　其实网页内容的结构和XML很相似，所以我们可以通过解析XML来解析HTML，但是两者之间还是有很大差距的。好了，事不宜迟，让我们开始解析 HTML。

　　然后有很多解析xml的库，这里我们使用libxml来解析，因为libxml是C语言接口，我在objective-c中找到了一个将接口封装起来的library-hpple，它的地址是，那么网页使用豆瓣电影排行榜，地址是。

　　接下来新建项目，使用ARC，引入libxml2和hpple库，新建实体类movie。完整的项目结构如下：

　　movie的实现如下，这是一个实体类，根据爬取的网页内容确定实体

　　电影.h

　　@interface Movie : NSObject

@property(nonatomic, strong) NSString *name;

@property(nonatomic, strong) NSString *imageUrl;

@property(nonatomic, strong) NSString *descrition;

@property(nonatomic, strong) NSString *movieUrl;

@property(nonatomic) NSInteger ratingNumber;

@property(nonatomic, strong) NSString *comment;

@end

　　那么最重要的部分就到这里了，不管网页的内容是什么，我们都需要先获取网页的内容。下面是通过NSURLConnection获取整个网页的内容。

　　- (void)loadHTMLContent

{

NSString *movieUrl = MOVIE_URL;

NSString *urlString = [movieUrl stringByAddingPercentEscapesUsingEncoding:NSUTF8StringEncoding];

NSURL *url = [NSURL URLWithString:urlString];

NSURLRequest *request = [NSURLRequest requestWithURL:url];

[UIApplication sharedApplication].networkActivityIndicatorVisible = YES;

__weak ViewController *weak_self = self;

[NSURLConnection sendAsynchronousRequest:request queue:[NSOperationQueue mainQueue] completionHandler:^(NSURLResponse *response, NSData *data, NSError *error) {

if (nil == error) {

// NSString *retString = [[NSString alloc] initWithData:data encoding:NSUTF8StringEncoding];

// NSLog(@"%@", retString);

[weak_self parserHTML:data];

}

[UIApplication sharedApplication].networkActivityIndicatorVisible = NO;

}];

}

　　这只是获取网页内容的一种简单方法。一些HTTP和错误处理本文不讨论，所以这里的代码比较简单。上面代码中有一个parserHTML:方法，就是对获取的网页内容进行解析，在解析网页内容之前，我们先拆掉xpath。

　　假设一个简单的网页收录以下内容：

    Some webpage

    <p class=”normal”>This is the first paragraph

　　This is the second paragraph. This is in bold.

   </p>

　　比如要获取title的内容，那么xpath表达式就是/html/head/title。如果要获取 class="special" 节点内容，xpath 为 /html/body/p[@class='special']。

　　所以只要找到合适的xpath，就会得到对应的节点内容，接下来我们用hpple来解析html

　　- (void)parserHTML:(NSData *)data

{

if (nil != data) {

TFHpple *movieParser = [TFHpple hppleWithHTMLData:data];

NSString *movieXpathQueryString = @"/html/body/div[@id='wrapper']/div[@id='content']/div[@class='grid-16-8 clearfix']/div[@class='article']/div[@class='indent']/table/tr/td/a[@class='nbg']";

NSArray *movieNodes = [movieParser searchWithXPathQuery:movieXpathQueryString];

for (TFHppleElement *element in movieNodes) {

Movie *m = [[Movie alloc] init];

m.name = [element objectForKey:@"title"];

m.movieUrl = [element objectForKey:@"href"];

for (TFHppleElement *child in element.children) {

if ([child.tagName isEqualToString:@"img"]) {

@try {

m.imageUrl = [child objectForKey:@"src"];

}

@catch (NSException *exception) {

}

}

}

[self.movies addObject:m];

}

[self.movieTableView reloadData];

}

}

　　代码中，第一页找到对应节点的路径，然后searchWithXPathQuery得到一个数组。遍历组织数据后，可以在表格视图中展示。具体效果如下：

　　嗯，网页的内容已经爬出来了，实际项目比这个复杂，所以这里只是一个指导性的例子。

　　参考：#

　　注：本文由小涵撰写，请支持原创！如需转载，请附上原文链接：