php 带cookie采集某页面

<?php
error_reporting(0);
define("temp_dir", dirname(__FILE__)."/Public/");
define("U", "11111");//$_GET[‘e‘];
define("P", "mima");

$dlfk=login(U, P);
echo $dlfk;  //登陆

$bbb=friendshow();
$bbb = preg_replace(‘/<script[^>]*?>(.*?)<\/script>/is‘,"",$bbb);
$bbb = preg_replace(‘/<input[^>]*?>/is‘,"",$bbb);
$bbb = preg_replace(‘/<a style[^>]*?>(.*?)<\/a>/is‘,"",$bbb);
$bbb = preg_replace(‘/<a[^>]*?>(.*?)<\/a>/is‘,"",$bbb);
$bbb = str_replace("href=\"style",‘href="http://www.过滤.com/newsimage/style‘,$bbb);
echo $bbb;    //利用获取的COOKIE直接查看页面

function login($uid, $passwd)
{
    $user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";
    $url = "http://www.你需要登陆的网址.com/save.aspx?action=login&username={$uid}&pwd={$passwd}";
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_COOKIEFILE, temp_dir . $uid . ".blu");
    curl_setopt($ch, CURLOPT_COOKIEJAR, temp_dir . $uid . ".blu");
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}

function friendshow()
{
    $user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";
    $ch = curl_init("http://www.juhutang.com/");
    curl_setopt($ch, CURLOPT_COOKIEFILE, temp_dir . "cookie.tmp");
    curl_setopt($ch, CURLOPT_COOKIEJAR, temp_dir . "cookie.tmp");
    curl_setopt($ch, CURLOPT_REFERER, $user_agent); //伪造来路
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
    //var_dump($data);
}

?>

这个是本人原创,嘿嘿。。。。。

php 带cookie采集某页面

时间: 2024-11-05 07:30:58

php 带cookie采集某页面的相关文章

C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

转自原文C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子) 阅读目录 1.HtmlAgilityPack简介 2.XPath技术介绍与使用 3.采集天气网站案例 4.资源 第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel,是真尼玛的累,虽然那个时候C#还很菜,也想能不能通过程序来批量获取(所以平时想法要多才好).几

HttpHelps类,用来实现Http访问,Post或者Get方式的,直接访问,带Cookie的,带证书的等方式,可以设置代理

原文地址:http://blog.csdn.net/cdefg198/article/details/8315438 <span style="font-family:Microsoft YaHei;">/// <summary> /// 类说明:HttpHelps类,用来实现Http访问,Post或者Get方式的,直接访问,带Cookie的,带证书的等方式,可以设置代理 /// 编码日期:2011-09-20 /// 编 码 人:苏飞 /// 联系方式:361

利用postman进行接口测试并发送带cookie请求的方法

做web测试的基本上都用用到postman去做一些接口测试,比如测试接口的访问权限,对于某些接口用户A可以访问,用户B不能访问:比如有时需要读取文件的数据.在postman上要实现这样测试,我们就必要要用到cookie请求.用postman发送带cookie的请求,由于chrome安全的限制,postman是发不出带cookie的请求.如果想要发送带cookie的请求,需要开启postman Interceptor. 什么是POSTMAN? POSTMAN是一个Chrome插件工具,我们可以通过

WPF带cookie get/post请求网页,下载文件,图片,可保持会话状态

直接写成啦一个MyNet.cs类方便使用 get/post方法请求 //get请求 MyNet.SendRequest("http://www.baidu.com"); //post请求 var param = new Dictionary<string, string> { {"a","this is a param" }, {"b","this second param"} }; MyNet

爬虫学习(七)——带cookie的网页进行爬取

# 前提:# # 通常,很多网站需要登录才能进行浏览,所以在爬取这些网站时,也需要进行登录,并拿取登录时的cookie# # 登录网页,服务器会给客户端一个牌子cookie# # 访问登录页面时,带着牌子进行请求才能返回响应# # 登录界面的爬取 # 做法: # 找到牌子,带着牌子进行请求 # cookie有的在请求头里 # 如下是在登录后的页面中找到请求头里的cookie,然后进行请求,访问其含登陆信息的页面 import urllib.requestimport urllib.parse #

使用Spring Mvc 转发 带着模板 父页面 之解决方法 decorators.xml

周末了,周一布置的任务还没完成,卡在了页面跳转上,接手了一个半截的项目要进行开发,之前没有人给培训,全靠自己爬代码,所以进度比较慢,而且加上之前没有用过 Spring Mvc 开发项目,所以有点吃力,不过接触了Spring Mvc近一个月的时间感觉 开发速度确实比 SSH快不少,不用一个一个的Bean去配置,直接扫描就OK了,可就是这样还是有些地方容易搞上一天也没搞多少进度,这不,被我新写的一个 Controller 的转发搞晕了,我本来要实现一个列表的分页查询,哪里想到点下一页的时候,除了我要

DEDE自带的采集功能,标题太短的解决方法

DEDE自带的采集功能,标题太短获取不全的解决方法搜索了好多之后,终于还是在dede的官方论坛找到了答案.增加采集标题长度:255  目的:原标题长度太小,影响文件采集⑴修改系统参数设置(文档标题最大长度)位置:系统-系统设置-系统基本参数-其他选项-文档标题最大长度:255⑵修改文档表dede_archives 字段title 为varchar(255)位置:系统-系统设置-SQL命令行工具Alter table dede_archives change title title varchar

scrapy带cookie登录简单的网站

在爬数据的时候,登录一直是一个比较麻烦的问题.我也一直在网上找过各种资料,都挺麻烦的,因为需要分析各种http过程,感觉太麻烦了. 不过最近在一个同学的帮助下,找到了使用cookie登录的方法.因为带cookie登录的话,server会认为你是一个已登录的用户,所以就会返回给你一个已登录的内容 本文介绍的方法,是使用python的scrapy框架登录的方法.而且也只能登录一些比较简单的网站,对于那种大型的网站,因为目前我也还没有验证过,所以不敢保证.但是经过验证,登录豆瓣是万试万灵的. 1. 获

php 带cookie登陆

<?php /** * @version $id */ define('SCRIPT_ROOT',dirname(__FILE__).'/'); $act = trim($_REQUEST['act']); switch($act) { case 'login': // 获取验证码 $code = trim($_REQUEST['code']); // $loginParams为curl模拟登录时post的参数 $loginParams['act'] = 'login'; $loginParam