从0开始学爬虫4之requests基础知识

安装requests
pip install requests

get请求:
可以用浏览器直接访问
请求可以携带参数,但是又长度限制
请求参数直接放在URL后面

POST请求:
不能使用浏览器直接访问
对请求参数的长度没有限制
可以用来上传文件等需求

requests常用方法示例 use_requests.py

#coding=utf-8

import requests

def get_book():
    """获取书本的信息"""
    url = ‘http://search.dangdang.com/‘
    rest = requests.get(url, params={
        ‘key‘: ‘9787115428028‘,
        ‘act‘: ‘input‘
    })
    # print(rest.text)
    # json的方式获取数据
    # rest.json()
    print(rest.status_code)
    print(rest.encoding)

if __name__ == ‘__main__‘:
    get_book()

原文地址:https://www.cnblogs.com/reblue520/p/11151331.html

时间: 2024-08-30 10:51:32

从0开始学爬虫4之requests基础知识的相关文章

Python黑帽编程3.0 第三章 网络接口层攻击基础知识

3.0 第三章 网络接口层攻击基础知识 首先还是要提醒各位同学,在学习本章之前,请认真的学习TCP/IP体系结构的相关知识,本系列教程在这方面只会浅尝辄止. 本节简单概述下OSI七层模型和TCP/IP四层模型之间的对应关系,最后是本章教程需要的几个核心Python模块. 3.0.1 TCP/IP分层模型 国际标准化组织(ISO)在1978年提出了"开放系统互联参考模型",即著名的OSI/RM模型(Open System Interconnection/Reference Model).

学 Java 网络爬虫,需要哪些基础知识?

说起网络爬虫,大家想起的估计都是 Python ,诚然爬虫已经是 Python 的代名词之一,相比 Java 来说就要逊色不少.有不少人都不知道 Java 可以做网络爬虫,其实 Java 也能做网络爬虫而且还能做的非常好,在开源社区中有不少优秀的 Java 网络爬虫框架,例如 webmagic .我的第一份正式工作就是使用 webmagic 编写数据采集程序,当时参与了一个舆情分析系统的开发,这里面涉及到了大量网站的新闻采集,我们就使用了 webmagic 进行采集程序的编写,由于当时不知道其设

从0开始学爬虫11之使用requests库下载图片

# coding=utf-8 import requests def download_imgage(): ''' demo: 下载图片 ''' headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"} url = "https:

从0开始学爬虫10之urllib和requests库与github/api的交互

urllib库的使用 # coding=utf-8 import urllib2 import urllib # htpbin模拟的环境 URL_IP="http://10.11.0.215:8080" URL_GET = "http://10.11.0.215:8080/get" def use_simple_urllib2(): response = urllib2.urlopen(URL_IP) print '>>>> Response

从0开始学爬虫12之使用requests库基本认证

此处我们使用github的token进行简单测试验证 # coding=utf-8 import requests BASE_URL = "https://api.github.com" def construct_url(endpoint): return '/'.join([BASE_URL, endpoint]) def basic_auth(): ''' 基本认证 :return: ''' response = requests.get(construct_url('user'

从0开始学爬虫3之xpath的介绍和使用

Xpath:一种HTML和XML的查询语言,它能在XML和HTML的树状结构中寻找节点 安装xpath: pip install lxml HTML 超文本标记语言(HyperText Mark-up Language),是一种规范,一种标准,是构成网页文档的主要语言 URL 统一资源定位器(Uniform Resource Locator),互联网上的每个文件都有一个唯一的URL,它包含的信息之处文件的位置以及浏览器应该怎么处理它 Xpath的使用语法: 获取文本: //标签1[@属性1=”属

Object-C 1.0 第三章:面向对象编程基础知识(OOP)

1. 间接(indirection)        1.1 变量和间接(使用变量来代替一些数字)        1.2 使用文件名的间接                const  表示一个变量不允许被改变                    const int nValue: //nValue是const                    const char *pContent; //*pContent是const, pContent可变                    cons

爬虫6-正则表达式基础知识

正则表达式用来简洁表达一组字符串. 一行胜千言 如用'PY+'表示'PY' 'PYY' 'PYYY' 'PYYYY....'等字符串 如果,以'PY'开头,后续存在不多于10个字符,后续字符不能是'P'或'Y',可以用'PY[^PY]{0,10}'表示 正则表达式在文本处理中十分常用: 1.表达文本类型的特征(病毒,入侵等) 2.同时查找或替换一组字符串 3.匹配字符串的全部或部分(最常用) 正则表达式的使用: 编译:将符合正则表达式语法的字符串转换成正则表达式特征 语法:由字符和操作符构成 操

网络爬虫入门:你的第一个爬虫项目(requests库)

0.采用requests库 虽然urllib库应用也很广泛,而且作为Python自带的库无需安装,但是大部分的现在python爬虫都应用requests库来处理复杂的http请求.requests库语法上简洁明了,使用上简单易懂,而且正逐步成为大多数网络爬取的标准. 1. requests库的安装采用pip安装方式,在cmd界面输入: pip install requests 小编推荐一个学python的学习qun 491308659 验证码:南烛无论你是大牛还是小白,是想转行还是想入行都可以来