iOS开发之抓取花瓣网json数据

最近在研究iPhone流水布局的实现,首先得有数据,所以我就随便在网上抓一些数据来实现。网上有很多网站是用瀑布流,比如蘑菇街,花瓣网,美丽说等等,今天就以花瓣网为例子,尝试去抓取里面我们想要的数据。

本来是我是想用objective-c的一个HTML开源框架hpple去解析花瓣网返回的html数据,提取里面我们想要的节点,但是我尝试了一下,实现不了,也听网上说这个框架不是很完善。所以我干脆用工具来实现了,网上有很多这样的工具,现在我先一个叫charles的http代理监听工具,它能够监听我们http的请求和数据返回。安装好charles看到这个软件的安装目录里面有很多jar包,那这个软件肯定是用java写的。说的也是,java语言非常成熟,用的人非常多,网络上也有许多开源的网络解析框架,比如htmlParser。

废话不多说,马上进入主题。好,打开charles,如图看看这个软件长什么样子,同时也打开浏览器,我这里需要抓取数据地址是:http://huaban.com/daoquer/pins/

好了,拦截到数据了,如图所示,把response里面的全部内容复制,保存成txt文件,篇幅有限,我把部分需要的json内容截取下路,注意红色那几行,正是我要提取的数据,注意要选择utf-8编码格式。

"pins": [{

"pin_id": 43990618,

"user_id": 811487,
               "board_id": 2203828,
               "file_id": 10738872,
   "file": {
              "farm": "farm1",
              "bucket": "hbimg",
             "key": "2746e1395bacc6763dadbcc823fe4101fd6814ec37aab0-vlBGaL",      
             "type": "image/gif",                                                                                  //图片的格式
             
             
             "frames": 46
           },
           "media_type": 0,
           "source": "daoquer.com",
           "link": "http://daoquer.com/i/1407",
           "raw_text": "玩滑板就好好玩被,刮到花花草草就不好了!",                            //图片的描述信息
           "text_meta": null,
       }

.......                                                                                                            

.......

]

因为我是用虚拟机开发,所以把文件拷贝到mac系统,打开xCode,建一个命令行项目,输入代码。

#import <Foundation/Foundation.h>

#define baseURL @"http://img.hb.aicdn.com/"

int main(int argc, const char * argv[])
{

    @autoreleasepool {

        NSData *data = [NSData dataWithContentsOfFile:@"/Users/liwenshen/Desktop/花瓣网/道趣儿/道趣儿json.txt"];//从解析好的数据生成NSdata对象

        /*
         json解析网上有很多开源的框架,例如jsonKit,SBJson,都很好用,使用也简单,我这里就苹果原生态的NSJSONSerialization。
         */
        NSDictionary *result = [NSJSONSerialization JSONObjectWithData:data options:NSJSONReadingAllowFragments error:nil];

        //根据字典里面的内容拿出我们想要的数据,这个json数据比较复杂,需要你耐心观察了
        NSArray *array = result[@"user"][@"pins"];

        NSMutableArray *resultArr = [NSMutableArray arrayWithCapacity:array.count];//用于临时保存最后生成的数据

        for (NSDictionary * dict in array)  {
            NSMutableDictionary *resultDict = [NSMutableDictionary dictionary];        //用于临时保存一个元素的内容
            [resultDict setObject:dict[@"raw_text"] forKey:@"desc"];                                                  //一张图片的描述信息
            [resultDict setObject:[NSString stringWithFormat:@"%@%@",baseURL,dict[@"file"][@"key"]] forKey:@"imgURL"];//图片的地址,要加上图片的基地址
            NSString  *imgType = [dict[@"file"][@"type"] substringFromIndex:6];                        //截取字符串字串
            [resultDict setObject:imgType forKey:@"imgType"];                                          //图片格式
            [resultDict setObject:dict[@"file"][@"width"] forKey:@"width"];                                           //图片的宽度
            [resultDict setObject:dict[@"file"][@"height"] forKey:@"height"];                                         //图片的高度
                                                                                           //宽高由服务器返回来的,这样子我们就不用算了,省了点事~~
            [resultArr addObject:resultDict];
        }

        [resultArr writeToFile:@"/Users/liwenshen/Desktop/花瓣网/道趣儿/道趣儿.plist" atomically:YES];//为了方便,写到本地

        //下载图片,先把图片下载下载以后备用
        for (int i = 0; i < resultArr.count;i++) {
            NSDictionary *dict = resultArr[i];
            NSString *imgURL = dict[@"imgURL"];
            NSData *data = [NSData dataWithContentsOfURL:[NSURL URLWithString:imgURL]];//下载网络数据,先把图片下载下来以后要用
            NSString *path = [NSString stringWithFormat:@"/Users/liwenshen/Desktop/花瓣网/道趣儿/images/%d.%@",i,dict[@"imgType"]];
            [data writeToFile:path atomically:YES];
        }

    }
    return 0;
}

运行项目,plist文件和图片就被我保存到/Users/liwenshen/Desktop/花瓣网/道趣儿/,这个路径下啦。

好了,本文介绍到这里,由于每张图片的高度不一样,下次往将会流水布局想内容展示到界面。

 

时间: 2024-10-07 16:35:59

iOS开发之抓取花瓣网json数据的相关文章

抓取花瓣网图片

接触Python也好长时间了,一直没什么机会使用,没有机会那就自己创造机会!呐,就先从爬虫开始吧,抓点美女图片下来. 废话不多说了,讲讲我是怎么做的. 1. 分析网站 想要下载图片,只要知道图片的地址就可以了,So,现在的问题是如何找到这些图片的地址. 首先,直接访问http://huaban.com/favorite/beauty/会看到页面有20张所要抓取的图片还有一些其他干扰的图片信息(用户的头像.页面的一些图标之类的).当点击一张美女图片时,页面会跳转到一个新的页面,在这个页面里,是之前

Fiddler高级用法—Fiddler Script抓取app网页json数据并保存

FiddlerScript 环境搭建 官网下载: https://www.telerik.com/fiddler 安装步骤参照下面这篇文章(安装证书抓取https皆有详细步骤): https://www.cnblogs.com/liulinghua90/p/9109282.html 简单Fiddler Script 如下展示了Fiddler在客户端与服务端进行交互时的位置,在客户端发起http请求及接收服务端返回的数据时都可截取交互的数据.那么在Fiddler中我们就可以抓取所有http请求的数

iOS开发-- TFHpple抓取GB-2312编码的html页面,页面返回编码错误

今天用TFHpple解析html,发现老报错encoding error : input conversion failed due to input error, bytes  I/O error : encoder error 一看就知道是编码的问题啊,但是我明明已经NSData (GB-2312)----------->nsstring------->(NSUTF-8)NSData 把这些变量打出来应该也没有错,事后发现原来是,没有执行这一步 将其中一行的<meta http-eq

【iOS】正则表达式抓取网页数据制作小词典

应用程序不一定要自己去提供数据,有现成的数据学会去用才好. 网络很大,各种搜索引擎每天到处爬.本文通过正则表达式抓取网站的数据来做一个小词典. 一.正则表达式的使用 1. 确定匹配方案,即pattern 2. 用pattern实例化NSRegularExpression 3. 用匹配方法开始匹配. 匹配一次:可以使用firstMatch方法 匹配多次:可以用matchs方法 正则表达式对照表:(在网上找到了一个很不错的表,正则表达式各个语言通用) http://www.jb51.net/shou

多媒体编程——ios摄像头图像抓取工具类

工具类提供预览图像画面,自动处理旋转,并且以主动方式抓取图像(这样帧率可以无限大) 系统的接口多是异步接收图像,像我这种强迫症怎么受得了,必须吧被动接收图像的方式改成主动抓取. 头文件 #import <Foundation/Foundation.h> #import <AVFoundation/AVFoundation.h> //这些比例都是4:3的比例. typedef enum TKVideoFrameSize { tkVideoFrame480x360 = 480 <

IOS开发之——四种方法解析Jason数据(转)

本文将介绍TouchJson. SBJson .JSONKit 和 iOS5所支持的原生的json方法,解析国家气象局API,TouchJson和SBJson需要下载他们的库 TouchJson包下载: http://download.csdn.net/detail/enuola/4523169 SBJson 包下载: http://download.csdn.net/detail/enuola/4523177 JSONKit包下载:http://download.csdn.net/detail

python爬虫----(6. scrapy框架,抓取亚马逊数据)

利用xpath()分析抓取数据还是比较简单的,只是网址的跳转和递归等比较麻烦.耽误了好久,还是豆瓣好呀,URL那么的规范.唉,亚马逊URL乱七八糟的.... 可能对url理解还不够. amazon ├── amazon │   ├── __init__.py │   ├── __init__.pyc │   ├── items.py │   ├── items.pyc │   ├── msic │   │   ├── __init__.py │   │   └── pad_urls.py │  

抓取扫描枪扫描数据的案例

背景: 最近要做一个抓取扫描枪扫描条形码获取条形码数据的功能,以前没有玩过扫描枪,但是因为做过很多其他方面的外设获取数据的项目,所以原理也明白,都是相当于键盘输入,所以相当的是通过获取键盘输入的方案实现,因为这个功能点是用于整个pc上所有扫描枪程序的数据的抓取,就是其他程序用扫描枪,我做的这个程序也能抓取到数据,并对数据进行相应的处理,至于数据处理那是后面自己所做的业务需求的处理了,和抓取扫描枪扫描数据无关了,所以可以通过全局键盘钩子抓取键盘的输入去实现,这样能够去获取每个键盘输入的值,想法有了

iOS开发中视图控制器ViewControllers之间的数据传递

iOS开发中视图控制器ViewControllers之间的数据传递 这里我们用一个demo来说明ios是如何在视图控制器之间传递重要的参数的.本文先从手写UI来讨论,在下一篇文章中讨论在storyboard中传递数据. 首先新建一个空工程,并添加一个根视图控制器类,如下图所示: # 在函数didFinishLunchingWithOption中添加几行代码,完成后如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 - (BOOL)application:(UIApplication