近来一个新的项目需要使用到http。
本来用socket来写一个的，后来发现功能实在太简单，有点捉襟见肘。
于是改用libcur来做。
首先下载libcur的源码，然后配置：
1 ./configure --prefix=$HOME/csource/linux/ CFLAGS=‘-O2 -m32 -fPIC‘ --enable-optimize --enable-static=libcurl.a --enable-ftp --without-zlib --disable-gopher --disable-rtsp --disable-dict --enable-proxy --disable-telnet --enable-tftp --disable-pop3 --disable-imap --enable-smtp --enable-ipv6 --enable-http -enable-crypto-auth --without-gnutls --without-nss --without-ca-bundle --with-random=/dev/urandom
然后编译
1 make && make install
代码如下，使用一个c++类来管理
重点代码是DownloadFile和UploadFile
1 #ifndef __MY_HTTP_CURL_H
2 #define __MY_HTTP_CURL_H
3
4 #include <string>
5
6 typedef long long LongSize;
7
8 typedef int (*pCallBack)(double dtotal, double dnow);
9
10 class CMYHttpClient
11 {
12 public:
13 CMYHttpClient();
14 ~CMYHttpClient();
15
16 public:
17 /**
18 * @brief 下载请求, 支持断点续传
19 * @param strUrl 输入参数,请求的Url地址,如:http://www.baidu.com
20 * @param strFile 输入参数，本地存储的文件名
21 * @param timeout 输入参数，超时限制，0为永久等待
22 * @return 返回是否下载成功:true成功，false失败
23 */
24 bool DownloadFile(const char *strUrl, const char *strFile, pCallBack cb = NULL, int timeout = 0);
25 /**
26 * @brief 获取将要下载的文件的大小，失败返回-1，成功返回非负
27 * @param strUrl 输入参数,请求的Url地址,如:http://www.baidu.com
28 * @return 返回文件的大小，失败返回-1
29 */
30 LongSize GetDownloadFileSize(const char *strUrl);
31 /**
32 * @brief 上载请求, 支持断点续传
33 * @param strUrl 输入参数,请求的Url地址,如:http://www.baidu.com
34 * @param strFile 输入参数，请求上载的文件名
35 * @param timeout 输入参数，超时限制，0为永久等待
36 * @return 返回是否下载成功:true成功，false失败
37 */
38 bool UploadFile(const char *strUrl, const char *strFile, pCallBack cb = NULL, int timeout = 0);
39
40 public:
41 /**
42 * @brief HTTP POST请求
43 * @param strUrl 输入参数,请求的Url地址,如:http://www.baidu.com
44 * @param strPost 输入参数,使用如下格式para1=val1¶2=val2&…
45 * @param strResponse 输出参数,返回的内容
46 * @param nResponse 输入输出参数,输入缓冲区大小，返回读入缓冲区的内容大小
47 * @param strFile 输入文件参数,返回的内容保存在这个文件中
48 * @param strHeader 输入参数,需要额外指定的http头,如果输入为NULL，则忽略
49 * @return 返回是否Post成功:0成功，非0失败
50 */
51 int Post(const char *strUrl, const char* strPost, size_t nPost,
52 const char *strFile, const char* strHeader);
53 int Post(const char *strUrl, const char* strPost, size_t nPost,
54 char *strResponse, size_t &nResponse, const char *strHeader);
55 int Post(const std::string &strUrl, const std::string &strPost,
56 const char *strFile, const char* strHeader);
57 int Post(const std::string &strUrl, const std::string &strPost,
58 std::string &strResponse, const char *strHeader);
59
60 /**
61 * @brief HTTP GET请求
62 * @param strUrl 输入参数,请求的Url地址,如:http://www.baidu.com
63 * @param strFile 输入文件参数,返回的内容保存在这个文件中
64 * @param strResponse 输出参数,返回的内容
65 * @param nResponse 输入输出参数,输入缓冲区大小，返回读入缓冲区的内容大小
66 * @return 返回是否Get成功:0成功，非0失败
67 */
68 int Get(const char *strUrl, const char *strFile);
69 int Get(const char *strUrl, std::string &strResponse);
70 int Get(const char *strUrl, char *strResponse, size_t &nResponse);
71 int Get(const std::string &strUrl, char *strResponse, size_t &nResponse);
72 int Get(const std::string &strUrl, std::string &strResponse);
73
74 /**
75 * @brief HTTPS POST请求,无证书版本
76 * @param strUrl 输入参数,请求的Url地址,如:https://www.alipay.com
77 * @param strPost 输入参数,使用如下格式para1=val1¶2=val2&…
78 * @param strResponse 输出参数,返回的内容
79 * @param strHeader 输入参数,需要额外指定的http头,如果输入为NULL，则忽略
80 * @param pCaPath 输入参数,为CA证书的路径.如果输入为NULL,则不验证服务器端证书的有效性.
81 * @return 返回是否Post成功:0成功，非0失败
82 */
83 int Posts(const char *strUrl, const char *strPost, size_t nPost,
84 const char *strFile, const char *strHeader, const char *pCaPath);
85 int Posts(const std::string &strUrl, const std::string &strPost,
86 const char *strFile, const char *strHeader, const char *pCaPath);
87 int Posts(const char *strUrl, const char *strPost, size_t nPost,
88 char *strResponse, size_t &nResponse, const char *strHeader,
89 const char *pCaPath);
90 int Posts(const std::string &strUrl, const std::string &strPost,
91 std::string &strResponse, const char *strHeader, const char *pCaPath);
92
93 /**
94 * @brief HTTPS GET请求,无证书版本
95 * @param strUrl 输入参数,请求的Url地址,如:https://www.alipay.com
96 * @param strResponse 输出参数,返回的内容
97 * @param pCaPath 输入参数,为CA证书的路径.如果输入为NULL,则不验证服务器端证书的有效性.
98 * @return 返回是否Post成功
99 */
100 int Gets(const std::string &strUrl, std::string &strResponse,
101 const char *pCaPath = NULL);
102
103 public:
104 void SetDebug(bool bDebug);
105 void AbortOperation(bool bAbort = true) { m_bAbort = bAbort; }
106
107 private:
108 bool m_bDebug; //是否打开debug
109 bool m_bAbort; //是否放弃操作
110
111 std::string m_strFile; //需要下载的文件或者上传的文件
112
113 pCallBack m_fCB; //上传或者下载时的进度回调函数
114 LongSize m_lUploadPos; //上传文件的进度
115
116 static int OnProgress(void *pClient, curl_off_t dltotal, curl_off_t dlnow,
117 curl_off_t ultotal, curl_off_t ulnow);
118 static size_t OnWriteBuffer2File(char* buffer, size_t size, size_t nmemb, void* arg);
119 static size_t OnReadFile2Buffer(char *buffer, size_t size, size_t nmemb, void* arg);
120 };
121
122 #endif
几个主要方法，其中https的编译需要openssl，所以我没做支持。
1 #include "curl/curl.h"
2 #include <string>
3 #include <fstream>
4 #include <iostream>
5 #include <sstream>
6
7 #include "HttpClient.h"
8
9
10 using namespace std;
11
12 CMYHttpClient::CMYHttpClient() :
13 #ifdef _DEBUG
14 m_bDebug(true),
15 #else
16 m_bDebug(false),
17 #endif
18 m_bAbort(false),
19 m_fCB(NULL),
20 m_lUploadPos(0)
21 {
22
23 }
24
25 CMYHttpClient::~CMYHttpClient()
26 {
27
28 }
29
30 static int OnDebug(CURL *, curl_infotype itype, char *pData, size_t size, void *)
31 {
32 if(itype == CURLINFO_TEXT)
33 {
34 //printf("[TEXT]%s\n", pData);
35 }
36 else if(itype == CURLINFO_HEADER_IN)
37 {
38 printf("[HEADER_IN]%s\n", pData);
39 }
40 else if(itype == CURLINFO_HEADER_OUT)
41 {
42 printf("[HEADER_OUT]%s\n", pData);
43 }
44 else if(itype == CURLINFO_DATA_IN)
45 {
46 printf("[DATA_IN]%s\n", pData);
47 }
48 else if(itype == CURLINFO_DATA_OUT)
49 {
50 printf("[DATA_OUT]%s\n", pData);
51 }
52
53 return 0;
54 }
55
56 int CRGHttpClient::OnProgress(void *pClient, curl_off_t dltotal, curl_off_t dlnow,
57 curl_off_t ultotal, curl_off_t ulnow)
58 {
59 CMYHttpClient* pThis = (CMYHttpClient *)pClient;
60 if(NULL == pThis || pThis->m_bAbort)
61 {
62 //Returning a non-zero value from this callback will cause libcurl to abort
63 //the transfer and return CURLE_ABORTED_BY_CALLBACK.
64 return __LINE__;
65 }
66 else
67 {
68 if(pThis->m_fCB)
69 {
70 pThis->m_fCB((double)dltotal, (double)dlnow);
71 }
72 #ifdef _DEBUG
73 if(dltotal)
74 {
75 cout << "total bytes expects to download: " << dltotal
76 << " and downloaded: " << dlnow << "\n";
77 }
78 else if(ultotal)
79 {
80 cout << "total bytes expects to upload: " << ultotal
81 << " and uploaded: " << ulnow << "\n";
82 }
83 #endif
84
85 return 0;
86 }
87 }
88
89 size_t CMYHttpClient::OnWriteBuffer2File(char* buffer, size_t size, size_t nmemb, void* arg)
90 {
91 CMYHttpClient* pThis = (CMYHttpClient *)arg;
92 if(NULL == pThis || pThis->m_bAbort ||
93 NULL == buffer)
94 {
95 return 0;
96 }
97
98 const char* strFile = pThis->m_strFile.c_str();
99
100 ofstream outfile(strFile, ofstream::binary | ofstream::app);
101 if(outfile.good())
102 {
103 const char* pData = (const char *)buffer;
104 outfile.write(pData, size * nmemb);
105
106 return nmemb;
107 }
108
109 return 0;
110 }
111
112 size_t CMYHttpClient::OnReadFile2Buffer(char *buffer, size_t size, size_t nmemb, void* arg)
113 {
114 CMYHttpClient* pThis = (CMYHttpClient *)arg;
115 if(NULL == pThis || NULL == buffer)
116 {
117 return 0;
118 }
119
120 ifstream infile(pThis->m_strFile.c_str(), ifstream::binary);
121 if(infile.good())
122 {
123 infile.seekg(pThis->m_lUploadPos, infile.beg);
124 if(infile.eof() == false)
125 {
126 infile.read(buffer, size * nmemb);
127 pThis->m_lUploadPos += infile.gcount();
128 return infile.gcount();
129 }
130 }
131
132 return 0;
133 }
134
135 LongSize CMYHttpClient::GetDownloadFileSize(const char* strUrl)
136 {
137 if(NULL == strUrl)
138 return -1;
139
140 CURL* curl = curl_easy_init();
141 if(NULL == curl)
142 return -1;
143
144 curl_easy_setopt(curl, CURLOPT_URL, strUrl);
145 curl_easy_setopt(curl, CURLOPT_NOPROGRESS, 1);
146 curl_easy_setopt(curl, CURLOPT_NOBODY, 1);
147 CURLcode res = curl_easy_perform(curl);
148 if(res == CURLE_OK) {
149 double sz = 0;
150 res = curl_easy_getinfo(curl, CURLINFO_CONTENT_LENGTH_DOWNLOAD, &sz);
151
152 curl_easy_cleanup(curl);
153
154 return (LongSize)sz;
155 }
156 else
157 {
158 cout << curl_easy_strerror(res) << endl;
159 }
160
161 curl_easy_cleanup(curl);
162
163 return -1;
164 }
165
166 bool CMYHttpClient::DownloadFile(const char* strUrl, const char* strFile, pCallBack cb, int timeout)
167 {
168 if(NULL == strUrl || NULL == strFile)
169 {
170 return false;
171 }
172
173 //初始化curl库句柄
174 CURL* curl = curl_easy_init();
175 if(NULL == curl)
176 {
177 return false;
178 }
179
180 m_strFile = string(strFile) + ".dl";
181 m_fCB = cb;
182 //支持断点续传，先获取文件大小，如果文件存在并且非空，则断点续传
183 ifstream infile(m_strFile.c_str(), ifstream::binary);
184 if(infile.good())
185 {
186 infile.seekg(0, infile.end);
187 int length = infile.tellg();
188 infile.seekg(0, infile.beg);
189 if(length > 0)
190 {
191 stringstream ss;
192 ss << length;
193 ss << "-";
194 LongSize ltotal = GetDownloadFileSize(strUrl);
195 if(ltotal > 0)
196 ss << ltotal;
197 string srange;
198 ss >> srange;
199 curl_easy_setopt(curl, CURLOPT_RANGE, srange.c_str());
200 }
201 }
202 infile.close();
203
204 CURLcode res;
205 if(m_bDebug)
206 {
207 curl_easy_setopt(curl, CURLOPT_VERBOSE, 1);
208 curl_easy_setopt(curl, CURLOPT_DEBUGFUNCTION, OnDebug);
209 }
210
211 curl_easy_setopt(curl, CURLOPT_URL, strUrl);
212 curl_easy_setopt(curl, CURLOPT_READFUNCTION, NULL);
213 curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, OnWriteBuffer2File);
214 curl_easy_setopt(curl, CURLOPT_WRITEDATA, this);
215
216 curl_easy_setopt(curl, CURLOPT_NOPROGRESS, 0);
217 curl_easy_setopt(curl, CURLOPT_XFERINFOFUNCTION, OnProgress);
218 curl_easy_setopt(curl, CURLOPT_XFERINFODATA, this);
219
220 /**
221 * 当多个线程都使用超时处理的时候，同时主线程中有sleep或是wait等操作。
222 * 如果不设置这个选项，libcurl将会发信号打断这个wait从而导致程序退出。
223 */
224 curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);
225 curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 4); //wait for 4 seconds to connect to server
226 curl_easy_setopt(curl, CURLOPT_TIMEOUT, timeout); //0 means block always
227
228 AbortOperation(false); //reset abort flag
229 res = curl_easy_perform(curl);
230
231 curl_easy_cleanup(curl);
232
233 if(res != CURLE_OK)
234 {
235 cout << curl_easy_strerror(res);
236 }
237 else
238 {
239 #ifdef _WIN32
240 DeleteFile(strFile);
241 MoveFile(m_strFile.c_str(), strFile);
242 #else
243 unlink(strFile);
244 rename(m_strFile.c_str(), strFile);
245 #endif
246 }
247
248
249 m_strFile.clear();
250 m_fCB = NULL;
251
252 return res == CURLE_OK;
253 }
254
255 bool CMYHttpClient::UploadFile(const char *strUrl, const char *strFile, pCallBack cb, int timeout)
256 {
257 if(NULL == strUrl || NULL == strFile)
258 {
259 return false;
260 }
261
262 //初始化curl库句柄
263 CURL* curl = curl_easy_init();
264 if(NULL == curl)
265 {
266 return false;
267 }
268
269 CURLcode res;
270 m_fCB = cb;
271 m_strFile = strFile;
272 m_lUploadPos = 0;
273
274 curl_easy_setopt(curl, CURLOPT_URL, strUrl);
275 curl_easy_setopt(curl, CURLOPT_UPLOAD, 1L);
276
277 curl_easy_setopt(curl, CURLOPT_READFUNCTION, OnReadFile2Buffer);
278 curl_easy_setopt(curl, CURLOPT_READDATA, this);
279 curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, NULL);
280
281 curl_easy_setopt(curl, CURLOPT_NOPROGRESS, 0);
282 curl_easy_setopt(curl, CURLOPT_XFERINFOFUNCTION, OnProgress);
283 curl_easy_setopt(curl, CURLOPT_XFERINFODATA, this);
284
285 curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);
286 curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 4); //wait for 4 seconds to connect to server
287 curl_easy_setopt(curl, CURLOPT_TIMEOUT, timeout); //0 means block always
288
289 AbortOperation(false); //reset abort flag
290 res = curl_easy_perform(curl);
291
292 curl_easy_cleanup(curl);
293
294 m_strFile.clear();
295 m_fCB = NULL;
296
297 if(res != CURLE_OK)
298 {
299 cout << curl_easy_strerror(res);
300 }
301
302 return res == CURLE_OK;
303 }
时间： 2024-10-20 06:25:25