模拟登陆网站,抓去指定数据

今天学校登录学员考试帐号,查看cheng看他们是否录取:

1.数据库导出学员信息

2.帐号批量登录网站

3.帐号批量登录并获取网站成绩信息 HttpServer 、 正则表达式

4.根据不同专业的及格线,计算是否及格

引用一个HttpHelper :

建立一个 web.ashx 用来进行登录

            string UID = context.Request["UID"];
            string PWD = context.Request["PWD"];
            string data = string.Format("UID={0}&PWD={1}&TYPE=1", UID, PWD); //获取数据

            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://www.hneeb.cn/web2/confrmlogin.asp",//URL     必需项
                Encoding = System.Text.Encoding.GetEncoding("gb2312"),//URL     可选项 默认为Get
                Method = "post",//URL     可选项 默认为Get
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写
                Cookie = "",//字符串Cookie     可选项
                Referer = "",//来源URL     可选项
                Postdata = data ,//Post数据     可选项GET时不需要写
                Timeout = 100000,//连接超时时间     可选项默认为100000
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000
                UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型,版本,操作系统     可选项有默认值
                ContentType = "application/x-www-form-urlencoded",//返回类型    可选项有默认值
                Allowautoredirect = false,//是否根据301跳转     可选项
                //CerPath = "d:\123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数
                //Connectionlimit = 1024,//最大连接数     可选项 默认为1024
                ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数
                //ProxyPwd = "123456",//代理服务器密码     可选项
                //ProxyUserName = "administrator",//代理服务器账户名     可选项
                ResultType = ResultType.String
            };
            HttpResult result = http.GetHtml(item);
            string cookie = result.Cookie.Replace("path=/","").Replace(",","%2c");模拟登录获取cookie
            item = new HttpItem() //模拟get请求
            {
                URL = "http://www.hneeb.cn/web2/cgSearch_all.asp?parm=1",
                Method = "get",
                Cookie = cookie,
            };
            result = http.GetHtml(item);
            string html = result.Html;  //获取登录的html           

            context.Response.Write(html);

  

时间: 2024-12-25 11:46:21

模拟登陆网站,抓去指定数据的相关文章

使用C#的HttpWebRequest模拟登陆网站

这篇文章是有关模拟登录网站方面的. 实现步骤: 启用一个web会话 发送模拟数据请求(POST或者GET) 获取会话的CooKie 并根据该CooKie继续访问登录后的页面,获取后续访问的页面数据. 我们以登录人人网为例,首先需要分析人人网登录时POST的数据格式,这个可以通过IE9中只带的F12快捷键,调出开发人员工具.如下图: 通过开始捕获得到POST的地址和POST的数据 POST数据: [email protected]&password=111&icode=&origUR

【python学习】模拟登陆网站

一.通过post方式模拟登录 post方式登录网站,需要先将必要信息填充到一个dict中,例如: Data={'username':username,'password':password} 二.这里有几个问题: 1.是我怎么知道需要哪些信息填写到dict中呢? 2.是我怎么知道需要post的地址url是哪个呢? 举例分析: 对于这两个问题,以豆瓣为例. 首先打开豆瓣的登录页面 可以看到需要post的地址就是url='http://account.douban.com/login': 那么需要哪

python 2.7 简单模拟登陆网站

举个栗子,首先创建网络会话, 然后就可以用创建的session来访问网页了. session.get(URL) #-*- coding:utf-8 -*- import requests import re from hashlib import md5 domain = 'http://*********:0000' def login_session(username, password): data = { 'method': 'verify', 'USERNAME': username,

网络爬虫模拟登陆获取数据并解析实战(二)

目录 分析要获取的数据 程序的结构 构建封装数据的model 模拟登陆程序并解析数据 结果展示 分析要获取的数据 下面继续实战,写一个模拟登陆获取汽车之家,用户信息的程序.如果大家对模拟登陆获取数据不太了解,建议看完http://blog.csdn.net/qy20115549/article/details/52249232,我写的这篇含有抓包获取人人网数据的案例程序,研究透之后,再来看这个要轻松很多. 首先,大家打开汽车之家这个网站(http://i.autohome.com.cn/7741

PHP实现curl和snoopy类模拟登陆方法

Snoopy.class.php下载 方法/步骤 第一种:使用snoopy类实现模拟登陆 1.在网上下载一个Snoopy.class.php的文件   2.代码实现: <?php set_time_limit(0); require "Snoopy.class.php"; $snoopy=new Snoopy(); $snoopy->referer='你要模拟登陆的域名';//例如:http://www.baidu.com/ $snoopy->agent="

HTTPclient模拟登陆交大图书馆

最近想做一个图书馆的客户端,由于学校没有提供API,只能模拟登陆然后爬取数据了. 首先要解决的就是登陆问题,其实会了之后并不难,我在此竟然耗费了两天--都是一些细节问题. 采用HTTPclient模拟请求,需要注意: HttpClient(DefaultHttpClient)代表了一个会话,在同一个会话中,HttpClient对cookie自动进行管理(当然,也可以在程序中进行控制). 在同一个会话中,当使用post或是get发起一个新的请求时,一般需要对调用前一个会话的abort()方法,否则

Python模拟登陆练习——imooc.com登陆

写下这篇文章的时候,是博主学习python的第三天( 也许是第四天:( ),python是博主接触的第二门解释型语言(第一门是javascript). 讲真在很久之前就想要用博客记录自己的学习历程了,然而就像写日记一样,写着写着就放弃了-.- so今天决定给自己一个好的开端~ 博主的学习方式是直奔目的,遇到问题百度各种博客,网站,百度找不到google找,就这样.这种学习方式是真的见效快,但显而易见,基础会比较薄弱. 因此学习python的基本语法,就直奔爬虫了! ---------------

【教程】模拟登陆百度之Java代码版

[背景] 之前已经写了教程,分析模拟登陆百度的逻辑: [教程]手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程 然后又去用不同的语言: Python的: [教程]模拟登陆网站 之 Python版(内含两种版本的完整的可运行的代码) C#的: [教程]模拟登陆网站 之 C#版(内含两种版本的完整的可运行的代码) 去实现对应逻辑. 此处,继续尝试,用Java代码,实现这套,模拟登陆百度,的逻辑. [折腾过程] 1.之前已经整理了一些Java代码: http://c

Python实现网站模拟登陆

一.实验简介 1.1 基本介绍 本实验中我们将通过分析登陆流程并使用 Python 实现模拟登陆到一个实验提供的网站,在实验过程中将学习并实践 Python 的网络编程,Python 实现模拟登陆的方法,使用 Firefox 抓包分析插件分析网络数据包等知识. 模拟登录可以帮助用户自动化完成很多操作,在不同场合下有不同的用处,无论是自动化一些日常的繁琐操作还是用于爬虫都是一项很实用的技能.本课程通过 Firefox 和 Python 来实现,环境要求如下: Python 库:urllib, ur