PHP CURL库学习

基本请求步骤 :

// 1. 初始化
$ch = curl_init();
// 2. 设置选项,包括URL
curl_setopt($ch, CURLOPT_URL, "http://www.doucube.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
// 3. 执行并获取HTML文档内容
$output = curl_exec($ch);
// 4. 释放curl句柄
curl_close($ch);

其中最为重要的就是 curl_setopt(),配置各种不同参数可以实现不同的效果。

可设置的参数有:

CURLOPT_AUTOREFERER 自动设置header中的referer讯息
CURLOPT_BINARYTRANSFER 在启用CURLOPT_RETURNTRANSFER时候将获取数据返回
CURLOPT_COOKIESESSION 启用时curl会仅仅传递一个session cookie,忽略其他的cookie,
默认状况下curl会将所有的cookie返回给服务端。session cookie
是指那些用来判断服务器端的session是否有效而存在的cookie。
CURLOPT_CRLF 启用时将Unix的换行符转换成回车换行符。
CURLOPT_DNS_USE_GLOBAL_CACHE 启用时会启用一个全局的DNS缓存,此项为线程安全的,并且默认为true。
CURLOPT_FAILONERROR 显示HTTP状态代码,默认行为是忽略编号小于等于400的HTTP讯息
CURLOPT_FILETIME 启用时会尝试修改远程文文件中的讯息。结果讯息会通过
curl_getinfo()函式的CURLINFO_FILETIME选项返回。
CURLOPT_FOLLOWLOCATION 启用时会将服务器服务器返回的「Location:」放在header中递归的返回给服务器,
使用CURLOPT_MAXREDIRS可以限定递归返回的数量。
CURLOPT_FORBID_REUSE 在完成交互以后强迫断开连接,不能重用。
CURLOPT_FRESH_CONNECT 强制获取一个新的连接,替代缓存中的连接。
CURLOPT_FTP_USE_EPRT TRUE to use EPRT (and LPRT) when doing active FTP downloads.
Use FALSE to disable EPRT and LPRT and use PORT only. Added in PHP 5.0.0.
CURLOPT_FTP_USE_EPSV TRUE to first try an EPSV command for FTP transfers before
reverting back to PASV. Set to FALSE to disable EPSV.
CURLOPT_FTPAPPEND TRUE to append to the remote file instead of overwriting it.
CURLOPT_FTPASCII An alias of CURLOPT_TRANSFERTEXT. Use that instead.
CURLOPT_FTPLISTONLY TRUE to only list the names of an FTP directory.
CURLOPT_HEADER 启用时会将头文件的讯息作为数据流输出。
CURLOPT_HTTPGET 启用时会设置HTTP的method为GET,因为GET是默认是,所以只在被修改的情况下使用。
CURLOPT_HTTPPROXYTUNNEL 启用时会通过HTTP代理来传输。
CURLOPT_MUTE 讲curl函式中所有修改过的参数恢复默认值。
CURLOPT_NETRC 在连接建立以后,访问~/.netrc文件获取用户名和密码讯息连接远程站点。
CURLOPT_NOBODY 启用时将不对HTML中的body部分进行输出。
CURLOPT_NOPROGRESS 启用时关闭curl传输的进度条,此项的默认设置为true
CURLOPT_NOSIGNAL 启用时忽略所有的curl传递给php进行的信号。在SAPI多线程传输时此项被默认打开。
CURLOPT_POST 启用时会发送一个常规的POST请求,类型为:application/x-www-form-urlencoded,就像窗体提交的一样。
CURLOPT_PUT 启用时允许HTTP发送文件,必须同时设置CURLOPT_INFILE和CURLOPT_INFILESIZE
CURLOPT_RETURNTRANSFER 讲curl_exec()获取的讯息以文件流的形式返回,而不是直接输出。
CURLOPT_SSL_VERIFYPEER FALSE to stop cURL from verifying the peer‘s certificate.
Alternate certificates to verify against can be specified with
the CURLOPT_CAINFO option or a certificate directory can be
specified with the CURLOPT_CAPATH option.
CURLOPT_SSL_VERIFYHOST may also need to be TRUE or
FALSE if CURLOPT_SSL_VERIFYPEER is disabled (it defaults to 2).
TRUE by default as of cURL 7.10. Default bundle installed as of cURL 7.10.
CURLOPT_TRANSFERTEXT TRUE to use ASCII mode for FTP transfers. For LDAP,
it retrieves data in plain text instead of HTML. On Windows systems,
it will not set STDOUT to binary mode.
CURLOPT_UNRESTRICTED_AUTH 在使用CURLOPT_FOLLOWLOCATION产生的header中的多个locations中持续追加用户名和密码讯息,即使域名已发生改变。
CURLOPT_UPLOAD 启用时允许文件传输
CURLOPT_VERBOSE 启用时会汇报所有的讯息,存放在STDERR或指定的CURLOPT_STDERR中
CURLOPT_BUFFERSIZE 每次获取的数据中读入缓存的大小,这个值每次都会被填满。
CURLOPT_CLOSEPOLICY 不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是
CURLCLOSEPOLICY_OLDEST,还存在另外三个,但是curl暂时还不支持。.
CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则不等待。
CURLOPT_DNS_CACHE_TIMEOUT 设置在内存中保存DNS讯息的时间,默认为120秒。
CURLOPT_FTPSSLAUTH The FTP authentication method (when is activated):
CURLFTPAUTH_SSL (try SSL first), CURLFTPAUTH_TLS (try TLS first), or CURLFTPAUTH_DEFAULT (let cURL decide).
CURLOPT_HTTP_VERSION 设置curl使用的HTTP协议,CURL_HTTP_VERSION_NONE(让curl自己判断),CURL_HTTP_VERSION_1_0(HTTP/1.0),CURL_HTTP_VERSION_1_1(HTTP/1.1)
CURLOPT_HTTPAUTH 使用的HTTP验证方法,可选的值 有:CURLAUTH_BASIC,CURLAUTH_DIGEST,CURLAUTH_GSSNEGOTIATE,
CURLAUTH_NTLM,CURLAUTH_ANY,CURLAUTH_ANYSAFE, 可以使用「|」操作符分隔多个值,
curl让服务器选择一个支持最好的值,CURLAUTH_ANY等价于CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM,CURLAUTH_ANYSAFE等价于CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM
CURLOPT_INFILESIZE 设定上传文件的大小
CURLOPT_LOW_SPEED_LIMIT 当传输速度小于CURLOPT_LOW_SPEED_LIMIT时,PHP会根据
CURLOPT_LOW_SPEED_TIME来判断是否因太慢而取消传输。
CURLOPT_LOW_SPEED_TIME The number of seconds the transfer should be below CURLOPT_LOW_SPEED_LIMIT
for PHP to consider the transfer too slow and abort. 当传输速度小于
CURLOPT_LOW_SPEED_LIMIT时,PHP会根据CURLOPT_LOW_SPEED_TIME来判断是否因太慢而取消传 输。
CURLOPT_MAXCONNECTS 允许的最大连接数量,超过是会通过CURLOPT_CLOSEPOLICY决定应该停止哪些连接
CURLOPT_MAXREDIRS 指定最多的HTTP复位向的数量,这个选项是和CURLOPT_FOLLOWLOCATION一起使用的。
CURLOPT_PORT 一个可选的用来指定连接端口的量
CURLOPT_PROXYAUTH The HTTP authentication method(s) to use for the proxy connection.
Use the same bitmasks as described in CURLOPT_HTTPAUTH.
For proxy authentication, only CURLAUTH_BASIC and CURLAUTH_NTLM are currently supported.
CURLOPT_PROXYPORT The port number of the proxy to connect to. This port number can also be set in CURLOPT_PROXY.
CURLOPT_PROXYTYPE Either CURLPROXY_HTTP (default) or CURLPROXY_SOCKS5.
CURLOPT_RESUME_FROM 在恢复传输时传递一个字节偏移量(用来断点续传)
CURLOPT_SSL_VERIFYHOST 1 to check the existence of a common name in the SSL peer certificate.
2 to check the existence of a common name and also verify that it matches the hostname provided.
CURLOPT_SSLVERSION The SSL version (2 or 3) to use. By default PHP will try to determine this itself, although in some cases this must be set manually.
CURLOPT_TIMECONDITION 如果在CURLOPT_TIMEVALUE指定的某个时间以后被编辑过,则使用CURL_TIMECOND_IFMODSINCE返回页面,
如果没有被修 改过,并且CURLOPT_HEADER为true,则返回一个"304 Not Modified"的header,
CURLOPT_HEADER为false,则使用CURL_TIMECOND_ISUNMODSINCE,
默认值为CURL_TIMECOND_IFMODSINCE
CURLOPT_TIMEOUT 设置curl允许执行的最长秒数
CURLOPT_TIMEVALUE 设置一个CURLOPT_TIMECONDITION使用的时间戳,在默认状态下使用的是CURL_TIMECOND_IFMODSINCE
CURLOPT_CAINFO The name of a file holding one or more certificates to verify the peer with. This only makes sense when used in combination with CURLOPT_SSL_VERIFYPEER.
CURLOPT_CAPATH A directory that holds multiple CA certificates. Use this option alongside CURLOPT_SSL_VERIFYPEER.
CURLOPT_COOKIE 设定HTTP请求中「Set-Cookie:」部分的内容。
CURLOPT_COOKIEFILE 包含cookie讯息的文件名称,这个cookie文件可以是Netscape格式或者HTTP风格的header讯息。
CURLOPT_COOKIEJAR 连接关闭以后,存放cookie讯息的文件名称
CURLOPT_CUSTOMREQUEST A custom request method to use instead of "GET" or "HEAD" when doing a HTTP request.
This is useful for doing "DELETE" or other, more obscure HTTP requests.
Valid values are things like "GET", "POST", "CONNECT" and so on; i.e.
Do not enter a whole HTTP request line here. For instance, entering "GET /index.html HTTP/1.0\r\n\r\n"
would be incorrect. Note: Don‘t do this without making sure the server supports the
custom request method first.
CURLOPT_EGBSOCKET Like CURLOPT_RANDOM_FILE, except a filename to an Entropy Gathering Daemon socket.
CURLOPT_ENCODING header中「Accept-Encoding: 」部分的内容,支持的编码格式为:"identity","deflate","gzip"。
如果设置为空字符串,则表示支持所有的编码格式
CURLOPT_FTPPORT The value which will be used to get the IP address to use for the FTP "POST" instruction.
The "POST" instruction tells the remote server to connect to our specified IP address.
The string may be a plain IP address, a hostname, a network interface name (under Unix),
or just a plain ‘-‘ to use the systems default IP address.
CURLOPT_INTERFACE 在外部网络接口中使用的名称,可以是一个接口名,IP或者主机名。
CURLOPT_KRB4LEVEL KRB4(Kerberos 4)安全级别的设置,可以是一下几个值之一:"clear","safe","confidential","private"。默认的值 为"private",设置为null的时候表示禁用KRB4,现在KRB4安全仅能在FTP传输中使用。
CURLOPT_POSTFIELDS 在HTTP中的「POST」操作。如果要传送一个文件,需要一个@开头的文件名
CURLOPT_PROXY 设置通过的HTTP代理服务器
CURLOPT_PROXYUSERPWD 连接到代理服务器的,格式为「[username]:[password]」的用户名和密码。
CURLOPT_RANDOM_FILE 设定存放SSL用到的随机数种子的文件名称
CURLOPT_RANGE 设置HTTP传输范围,可以用「X-Y」的形式设置一个传输区间,如果有多个HTTP传输,则使用逗号分隔多个值,形如:"X-Y,N-M"。
CURLOPT_REFERER 设置header中"Referer: " 部分的值。
CURLOPT_SSL_CIPHER_LIST A list of ciphers to use for SSL. For example, RC4-SHA and TLSv1 are valid cipher lists.
CURLOPT_SSLCERT 传递一个包含PEM格式证书的字符串。
CURLOPT_SSLCERTPASSWD 传递一个包含使用CURLOPT_SSLCERT证书必需的密码。
CURLOPT_SSLCERTTYPE The format of the certificate. Supported formats are "PEM" (default), "DER", and "ENG".
CURLOPT_SSLENGINE The identifier for the crypto engine of the private SSL key specified in CURLOPT_SSLKEY.
CURLOPT_SSLENGINE_DEFAULT The identifier for the crypto engine used for asymmetric crypto operations.
CURLOPT_SSLKEY The name of a file containing a private SSL key.
CURLOPT_SSLKEYPASSWD The secret password needed to use the private SSL key specified in CURLOPT_SSLKEY.
Note: Since this option contains a sensitive password, remember to keep the
PHP script it is contained within safe.
CURLOPT_SSLKEYTYPE The key type of the private SSL key specified in CURLOPT_SSLKEY. Supported key types are "PEM" (default), "DER", and "ENG".
CURLOPT_URL 需要获取的URL地址,也可以在PHP的curl_init()函式中设置。
CURLOPT_USERAGENT 在HTTP请求中包含一个」user-agent」头的字符串。
CURLOPT_USERPWD 传递一个连接中需要的用户名和密码,格式为:「[username]:[password]」。
CURLOPT_HTTP200ALIASES 设置不再以error的形式来处理HTTP 200的响应,格式为一个数组。
CURLOPT_HTTPHEADER 设置一个header中传输内容的数组。
CURLOPT_POSTQUOTE An array of FTP commands to execute on the server after the FTP request has been performed.
CURLOPT_QUOTE An array of FTP commands to execute on the server prior to the FTP request.
CURLOPT_FILE 设置输出文件的位置,值是一个资源类型,默认为STDOUT (浏览器)。
CURLOPT_INFILE 在上传文件的时候需要读取的文件地址,值是一个资源类型。
CURLOPT_STDERR 设置一个错误输出地址,值是一个资源类型,取代默认的STDERR。
CURLOPT_WRITEHEADER 设置header部分内容的写入的文件地址,值是一个资源类型。
CURLOPT_HEADERFUNCTION 设置一个回调函式,这个函式有两个参数,第一个是curl的资源句柄,
第二个是输出的header数据。header数据的输出必须依赖这个函式,返回已写入的数据大小。
CURLOPT_PASSWDFUNCTION 设置一个回调函式,有三个参数,第一个是curl的资源句柄,第二个是一个密码提示符,
第三个参数是密码长度允许的最大值。返回密码的值。
CURLOPT_READFUNCTION 设置一个回调函式,有两个参数,第一个是curl的资源句柄,第二个是读取到的数据。
数据读取必须依赖这个函式。返回读取数据的大小,比如0或者EOF。
CURLOPT_WRITEFUNCTION 设置一个回调函式,有两个参数,第一个是curl的资源句柄,第二个是写入的数据。
数据写入必须依赖这个函式。返回精确的已写入数据的大小

错误检查:

$output = curl_exec($ch);
if ($output === FALSE) {
echo "cURL Error: " . curl_error($ch);
}

curl下载文件:

function curl_get_data($url)
        {
             $user_agent=‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36‘;

  $fp_output = fopen(‘abc.php‘, ‘w‘); //新建文件
                $curl=curl_init();
                // 设置你需要抓取的URL

                curl_setopt($curl, CURLOPT_URL, $url);

                curl_setopt($curl, CURLOPT_HEADER, 1); // 不应该保存header

                curl_setopt($curl, CURLOPT_USERAGENT, $user_agent);

                // 运行cURL,请求网页
                curl_setopt($curl, CURLOPT_FILE, $fp_output);   // 下载
                $data = curl_exec($curl);  

                curl_close($curl);

                return $data;
        }
        $url="localhost/ll.php";
    $data=curl_get_data($url);

    echo $data;

curl获取返回信息:

// ...
curl_exec($ch);
$info = curl_getinfo($ch);
echo ‘获取‘. $info[‘url‘] . ‘耗时‘. $info[‘total_time‘] . ‘秒‘;
// ...

返回数组包括:

“url” //资源网络地址
“content_type” //内容编码
“http_code” //HTTP状态码
“header_size” //header的大小
“request_size” //请求的大小
“filetime” //文件创建时间
“ssl_verify_result” //SSL验证结果
“redirect_count” //跳转技术
“total_time” //总耗时
“namelookup_time” //DNS查询耗时
“connect_time” //等待连接耗时
“pretransfer_time” //传输前准备耗时
“size_upload” //上传数据的大小
“size_download” //下载数据的大小
“speed_download” //下载速度
“speed_upload” //上传速度
“download_content_length”//下载内容的长度
“upload_content_length” //上传内容的长度
“starttransfer_time” //开始传输的时间
“redirect_time”//重定向耗时 

curl 模拟POST提交:

$url = "http://localhost/post_output.php";
$post_data = array (
"foo" => "bar",
"query" => "Nettuts",
"action" => "Submit"
);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
// 我们在POST数据哦!
curl_setopt($ch, CURLOPT_POST, 1);
// 把post的变量加上
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);
$output = curl_exec($ch);
curl_close($ch);
echo $output;

curl 文件上传:

$url = "http://localhost/upload_output.php";
$post_data = array (
"foo" => "bar",
// 要上传的本地文件地址
"upload" => "@C:/doucube/www/test.zip"
);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);
$output = curl_exec($ch);
curl_close($ch);
echo $output;

curl爬虫:

/**
 * 实例描述:在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
 */
$curlobj = curl_init();            // 初始化
curl_setopt($curlobj, CURLOPT_URL, "http://www.baidu.com");        // 设置访问网页的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true);           // 执行之后不直接打印出来
$output=curl_exec($curlobj);  // 执行
curl_close($curlobj);          // 关闭cURL
echo str_replace("百度","我的搜索",$output);

http认证:

$url = "http://www.somesite.com/members/";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
// 发送用户名和密码
curl_setopt($ch, CURLOPT_USERPWD, "myusername:mypassword");
// 你可以允许其重定向
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
// 下面的选项让 cURL 在重定向后
// 也能发送用户名和密码
curl_setopt($ch, CURLOPT_UNRESTRICTED_AUTH, 1);
$output = curl_exec($ch);
curl_close($ch);

转自 :http://www.cnblogs.com/txw1958/archive/2013/01/11/php-curl.html

  

  

时间: 2024-10-10 15:35:03

PHP CURL库学习的相关文章

PHP中的cURL库

1.cURL库 cURL库是一个非常强大的开源库,支持很多协议,包括HTTP.FTP.TELNET等,在微信开发中,我们使用它来发送HTTP请求.它给我们带来的好处是可以通过灵活的选项设置不同的HTTP协议参数,并且支持HTTPS. 要使用cURL库那么你的php版本里面必须包含该库的扩展(就如你使用gd库一样) 请求原理(权威PHP指南): 2.cURL四步走 第一步:创建curl,使用curl_init()函数 第二步:设置curl,使用curl_setopt()函数 第三步:执行curl,

2 C++ ACE 面向对象跨平台网络库学习

2   C++ ACE  面向对象跨平台网络库学习  ACE I/O相关对象 阻塞式 TCP连接Linux Kernel网站服务器的443端口 非阻塞模式 TCP连接百度服务器 设置 TCP连接超时: ACE 客户端 TCP模式.请求HTTP 一个简单的 TCP HTTP server HTTP server 代码 创建网页文件 浏览器测试访问结果 ACE UDP通信单播测试: UDP 单播 服务器端: UDP 单播 客户端: ACE UDP 多播实验: UDP 多播 发送端程序: UDP 多播

linux编译curl库的动态库so

转载请注明出处:帘卷西风的专栏(http://blog.csdn.net/ljxfblog) curl库是一个很强大的http开源库,c++里面能够很方便的和http服务器交互. 最近项目开始内测,开始接登录和充值的SDK,选择了使用curl库来和第三方http服务器交互. 在windows下还是很容易使用,如何使用的案例比比皆是,而且很容易就找到已经编译好的动态库进行测试,但是最后在linux下部署的时候,发现不好找已经编译好的so库文件,最后没办法只好自理更生. 下载了源码下来看,配置文件看

使用curl库

Windows下使用curl库: 到http://curl.haxx.se/下了个curl的源码下来,源码是用VC6编译的,我在VS2005下重新进行编译,居然只有一个警告. cUrl的实现代码是放在动态库中,将动态库以静态方式编译生成libcurl.lib,然后将cUrl源码目录下的"include/curl"文件夹复制到自己的项目下(如图1). 图1 接下来就可以直接调用curl库了,下面是一个网上找来的简单例子: [cpp] view plaincopy #include &qu

【python标准库学习】thread,threading(二)多线程同步

继上一篇介绍了python的多线程和基本用法.也说到了python中多线程中的同步锁,这篇就来看看python中的多线程同步问题. 有时候很多个线程同时对一个资源进行修改,这个时候就容易发生错误,看看这个最简单的程序: import thread, time count = 0 def addCount(): global count for i in range(100000): count += 1 for i in range(10): thread.start_new_thread(ad

【python标准库学习】thread,threading(一)多线程的介绍和使用

在单个程序中我们经常用多线程来处理不同的工作,尤其是有的工作需要等,那么我们会新建一个线程去等然后执行某些操作,当做完事后线程退出被回收.当一个程序运行时,就会有一个进程被系统所创建,同时也会有一个线程运行,这个线程就是主线程main,在主线程中所创建的新的线程都是子线程,子线程通常都是做一些辅助的事.python中提供了thread和threading两个模块来支持多线程. python中使用线程有两种方式,第一种是用thread模块的start_new_thread函数,另一种是用threa

PHP的cURL库

原文链接:http://coolshell.cn/articles/664.html 参考链接:http://www.runoob.com/php/php-ref-curl.html 使用PHP的cURL库可以简单和有效地去抓网页.你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了.无论 是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,cURL 是一个功能强大的PHP库.本文主要讲述如果使用这个PHP库.

0806------Linux网络编程----------Echo 网络库 学习笔记

1.Echo网络库的编写 1.1 Echo网络库1.0 1.1.1 Echo网络库 1.0 框架分析 a)class InetAddress: 主要用来定义一个struct sockaddr_in 结构(用自定义端口号初始化),并提供获取这个结构体成员如IP.Port等的接口: b)class Socket : 主要用来把一个普通的 sockfd 变为 listenfd(这里用一个sockfd初始化对象),提供bind .listen.accept 等接口. c)class TcpConnect

c++ boost库学习三:实用工具

noncopyable 大家都知道定义一个空类的时候,它实际包含了构造函数,拷贝构造函数,赋值操作符和析构函数等. 这样就很容易产生一个问题,就是当用户调用A a(“^_^") 或者A c="^_^" 时会发生一些意想不到的行为,所以很多时候我们需要禁用这样的用法. 一种方法就是把拷贝构造函数和赋值操作符显式的定义为private,但是这样需要很多代码. 于是boost库为大家提供了一个简单的方法:只需要将类继承于noncopyable就可以了. #include "