利用cURL会话获取一个网页

1、curl_init

作用:

初始化一个新的会话,返回一个cURL句柄,供curl_setopt(), curl_exec()和curl_close() 函数使用。

格式:    curl_init ([ string $url = NULL ] )

如果提供了参数 $url ,CURLOPT_URL 选项将会被设置成这个值。或者使用curl_setopt()函数手动地设置这个值。

函数执行如果成功,返回一个cURL句柄;出错返回 FALSE。

2、curl_setopt

作用:    为给定的cURL会话句柄设置一个选项

格式:    curl_setopt ( resource $ch , int $option , mixed $value )

其中参数:    ch     由 curl_init() 返回的 cURL 句柄。

option    需要设置的CURLOPT_XXX选项。

value    将设置在option选项上的值。

函数执行成功时返回 TRUE;失败时返回 FALSE

3、curl_exec

作用:    执行给定的cURL会话。这个函数应该在初始化一个cURL会话并且全部的选项都被设置后被调用。

格式:    curl_exec ( resource $ch )

其中参数 $ch 是由 curl_init() 返回的 cURL 句柄。

函数执行成功时返回 TRUE;失败时返回 FALSE。 然而,如果 CURLOPT_RETURNTRANSFER选项被设置,函数执行成功时会返回执行的结果,失败时返回 FALSE 。

4、curl_close

作用:    关闭一个cURL会话并且释放所有资源。cURL句柄ch 也会被释放。

格式:    curl_close ( resource $ch )

其中参数 $ch 是由 curl_init() 返回的 cURL 句柄。

该函数为 void 类型,没有返回值。

例子:初始化一个新的cURL会话并获取一个网页

<?php
// 创建一个新cURL资源
$ch = curl_init();

// 设置URL和相应的选项
curl_setopt($ch, CURLOPT_URL, "http://blog.csdn.net/liuruiqun/");
curl_setopt($ch, CURLOPT_HEADER, 0);

// 抓取URL并把它传递给浏览器
curl_exec($ch);

// 关闭cURL资源,并且释放系统资源
curl_close($ch);
?>
时间: 2024-10-22 20:03:01

利用cURL会话获取一个网页的相关文章

python3获取一个网页特定内容

我们今天要爬取的网址为:https://www.zhiliti.com.cn/html/luoji/list7_1.html 一.目标:获取下图红色部分内容 即获取所有的题目以及答案. 二.实现步骤. 分析:1,首先查看该网站的结构. 分析网页后可以得到: 我们需要的内容是在该网页<li>标签下,详细内容链接在<small>的<a>的href中. 但是这样我们最多只能获取这一页的内容 别着急 我们点击第二页看一下目标网址有什么变化 我们发现目标网址最后的数字变成了2 再

写一个函数来获取一个网页中用到的html标签有多少种

代码段 const getTagNameNum = () => { return new Set([...document.querySelectorAll('*')].map(el => el.tagName)).size } 知识点 DOM选择器的种类和用法. ES6扩展运算符用法,本次是用于将类数组对象转换成数组对象. ES6 Set数据结构,以及Set用于"数组去重"的作用 原文地址:https://www.cnblogs.com/Plortinus/p/85365

利用PHP获取一个页面上的链接信息

开发中我们可能会获取某个页面或是一段内容中的链接信息,下面我分享一个我写的函数给大家,希望能帮到大家. 函数功能: 1.获取一段内容中链接信息: 2.获取一个URL中链接信息: 3.剔除锚链等无效的链接 4.获取当前域下的链接信息 5.获取他域下的链接信息 6.保留链接的文本信息 代码: /** * +---------------------------------------------------------- * 功能:获取一个网页或一段内容里面的链接信息 * +------------

PHP利用Curl实现多线程抓取网页和下载文件

PHP 利用 Curl  可以完成各种传送文件操作,比如模拟浏览器发送GET,POST请求等等,然而因为php语言本身不支持多线程,所以开发爬虫程序效率并不高,一般采集 数据可以利用 PHPquery类来采集数据库,在此之外也可以用 Curl ,借助Curl 这个功能实现并发多线程的访问多个url地址以实现并发多线程抓取网页或者下载文件. 至于具体实现过程,请参考下面几个例子: 1.实现抓取多个URL并将内容写入指定的文件 $urls = array( '路径地址', '路径地址', '路径地址

[原创]利用爬虫技术获取网页数据,以及想要的指定数据

最近在公司做个系统,由于要获取网页的一些数据,以及一些网页的数据,所以就写的一个公用的HttpUtils.下面是针对乌云网我写的一个例子. 一.首先是获取指定路径下的网页内容. public static String httpGet(String urlStr, Map<String, String> params) throws Exception { StringBuilder sb = new StringBuilder(); if (null != params &&

linux下利用curl监控网页shell脚本

#!/bin/bash smail() {mail -s "$1" [email protected] <<EOF$1$2====report time: `date +"%F %T"`current user: `whoami`shell script: `echo $0`====EOF} ssms() {/usr/local/feixin/fetion --mobile=150000000 --pwd=******** --to=1381000000

利用反射获取一个类实例的所有属性名称和值 拼接为字符串

需要一个功能:获取一个类实例的所有属性名称和值并拼接为字符串,然后进行处理.代码保存在此以备后用. 建立一个类文件ClassToString.cs 以下代码可以直接使用,参数为一个类的实例,返回的是一个数组,[0]为属性名的拼接,[1]为属性Value的拼接. 对于类的属性类型没有限制,但是如果没有全部赋值的话,Value会范围默认值, 比如int为0,String为空,DateTime为0001/1/1 0:00:00,0,0,0 需要有需要的话可以在拼接的时候判断进行相应处理 ClassTo

php使用curl来获取远程图片

本文章来介绍php使用curl来获取远程图片实现方法,有需要了解采集远程图片的朋友不防进入参考. curl要求php环境支持才行. 可以运行phpinfo()函数是否支持,一般要将php.ini中;extension=php_curl.dll前的;去掉.重新启动IIS或者APACHE就可以了.  代码如下 复制代码 /**@通过curl方式获取指定的图片到本地*@ 完整的图片地址*@ 要存储的文件名*/function getImg($url = "", $filename = &qu

用程序来控制一个网页,实现自动输入等操作

首先今天要说的东西跟游戏无关,你是不是有时候会遇到,在某个网页上重复着几十次的简单而又无聊的录入或点击等工作?比如你的程序需要测试,需要注册大量的测试邮箱.比如你的老板是个变态,让你去各个论坛发大量的垃圾贴子(最无耻行为,纯属举例).或者,你需要定时的到某一个网页上执行某一些行为,比如上班下班的出勤打卡系统,等等吧,如果有,那么我今天所介绍的或许会对你有帮助.当然,如果你要操作的这些网页都是自己开发的,那么无所谓了,你在多开发个工具就行了,但是我说的上面这些都是第三方的网页,你控制不了它们,如果