python笔记——爬虫1

网络爬虫(Web crawler):也叫网络蜘蛛(Web spider),网络爬虫的基本操作就是抓取网页。

浏览网页:在火狐浏览器中打开百度www.baidu.com ,就是将浏览器作为一个’客户端‘,

向服务器发送一次请求, 把服务器的文件’抓取‘到本地,再进行解释和展现.

HTML:是一种标记语言,用标签标记内容并加以解析和区分。

浏览器功能:将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

URL(Uniform / Universal Resource Locator):称为统一资源定位符(也叫网址)

URL格式:

  • 协议
  • 服务器(域名或IP地址),有时也包括端口号(以数字表示,可省略)
  • 路径(即主机资源的具体地址)
  • 查询(以?为起点)

第一部分协议和第二部分服务器用‘ :// ‘符合隔开,第二部分服务器和第三部分路径用‘ / ‘隔开

例如:http://zh.wikipedia.org:80/w/index.php

http:是协议

zh.wikipedia.org,是服务器

80,是服务器上的网络端口号

/w/index.php,是路径

爬虫最主要的处理对象就是URL

参考资源:http://blog.csdn.net/pleasecallmewhy/article/details/8922826

时间: 2024-12-27 21:46:09

python笔记——爬虫1的相关文章

python笔记——爬虫3

URLError URLerror产生原因: 网络未连接(即不能上网) 服务器不存在 我们一般通过try-except语句来包围并捕获相应的异常.我们先尝试一下: 1 import urllib2 2 request=urllib2.Request('http://www.wujiadong.com') 3 try: urllib2.urlopen(request) 4 except urllib2.URLError,e: 5 print(e.reason) HTTPError 在你利用urlo

python笔记——爬虫2

网页抓取:把URL地址中指定的网络资源从网络流中读取出来,保存到本地. 在python中,使用urllib2来抓取网页.以urlopen函数的形式提供了一个非常简单的接口 函数:urlopen(url, data, timeout) url:网址     data:访问URL时要传送的数据   timeout:设置超时时间 1 import urllib2 2 response=urllib2.urlopen('http://www.hao123.com') #调用的是urllib2库里面的ur

python网络爬虫学习笔记

python网络爬虫学习笔记 By 钟桓 9月 4 2014 更新日期:9月 4 2014 文章目录 1. 介绍: 2. 从简单语句中开始: 3. 传送数据给服务器 4. HTTP头-描述数据的数据 5. 异常 5.0.1. URLError 5.0.2. HTTPError 5.0.3. 处理异常 5.0.4. info和geturl 6. Opener和Handler 7. Basic Authentication 8. 代理 9. Timeout 设置 10. Cookie 11. Deb

Python网络爬虫笔记(五):下载、分析京东P20销售数据

(一)  分析网页 下载下面这个链接的销售数据 https://item.jd.com/6733026.html#comment 1.      翻页的时候,谷歌F12的Network页签可以看到下面的请求. 从Preview页签可以看出,这个请求是获取评论信息的 2.      对比第一页.第二页.第三页-请求URL的区别 可以发现 page=0.page=1,0和1指的应该是页数. 第一页的 request url:没有这个rid=0& . 第二.三页-的request url:多了这个ri

python分布式爬虫打造搜索引擎--------scrapy实现

最近在网上学习一门关于scrapy爬虫的课程,觉得还不错,以下是目录还在更新中,我觉得有必要好好的做下笔记,研究研究. 第1章 课程介绍 1-1 python分布式爬虫打造搜索引擎简介 07:23 第2章 windows下搭建开发环境 2-1 pycharm的安装和简单使用 10:27 2-2 mysql和navicat的安装和使用 16:20 2-3 windows和linux下安装python2和python3 06:49 2-4 虚拟环境的安装和配置 30:53 第3章 爬虫基础知识回顾

Python笔记之不可不练

如果您已经有了一定的Python编程基础,那么本文就是为您的编程能力锦上添花,如果您刚刚开始对Python有一点点兴趣,不怕,Python的重点基础知识已经总结在博文<Python笔记之不可不知>中,尽管本文是自己学习Python过程中的总结,在大神看来,或许略欠火候,希望批评指正,万分感谢! 本文是作者学习成绩的见证,请尊重劳动成果!版权归作者和博客园共有,欢迎转载,但请保留本文出处http://www.cnblogs.com/itred/p/4687287.html ,  作者:itRed

Python网络爬虫使用总结

网络爬虫使用总结:requests–bs4–re技术路线 简要的抓取使用本技术路线就能轻松应对.参见:Python网络爬虫学习笔记(定向) 网络爬虫使用总结:scrapy(5+2结构) 使用步骤: 第一步:创建工程: 第二步:编写Spider: 第二步:编写Item Pipeline: 第四步:优化配置策略: 工程路径: 网络爬虫使用总结:展望(PhantomJS) 如上所有的两条记录路线仅仅是对网页的处理,只能爬取单纯的html代码.就需要引出"PhantomJS",PhantomJ

智普教育Python视频教程之入门基础篇,python笔记

智普教育Python视频教程之入门基础篇,python笔记 print id()内存地址 type()变量类型 windows命令行下edit命令 python数据类型不需要指定类型 定义hostname="www.google.com" 结果运行后总是告诉我NameError: name 'socket' is not defined 哪位帮我分析一下,怎么改才对 没用过socket,不过你试着在第一行加入 import socket C:\>notepad somefile.

Python:关于爬虫(1)

要使用python编写爬虫代码,我们需要解决第一个问题是: Python如何访问互联网? 回答这个问题不得不提到的就是urllib,它实际上是由两部分组成的:url+lib. url:就是我们平时所说的网页地址 lib:library的意思 URL的一般格式为(带方括号[]的为可选项): protocol://hostname[:port]/path/[;parameters][?query]#fragment URL由三部分组成: 第一部分是协议:http,https,ftp,file,ed2