Python实战:Python爬虫学习教程,获取电影排行榜

Python应用现在如火如荼,应用范围很广。因其效率高开发迅速的优势,快速进入编程语言排行榜前几名。本系列文章致力于可以全面系统的介绍Python语言开发知识和相关知识总结。希望大家能够快速入门并学习Python这门语言。

本文是在前一部分Python基础之上程序员带你十天快速入门Python,玩转电脑软件开发(四),再次进行的Python爬虫实战课程。

正则表达式实例简单详解

正则表达式干什么用? 就是在字符串中提取我们需要的内容的。

记得哦,要先引用正则表达式模块的哦。

re就是正则表达式相关的模块

实例一、

运行结果:

为了更加区分并铭记正则表达式。我们看一下其他元字符的效果:

元字符"+"的使用

元字符"?的使用"

?表示前面的字符必须出现一次或者多次。

其他的一些元字符建议大家根据课程程序员带你十天快速入门Python,玩转电脑软件开发(四)进行测试,查看效果。

findall和search的区别

findall:

根据运行结果可以发现:fingall可以匹配出所有的结果并返回集合。而search只能够匹配一个结果,当search时从左往右发现有一个结果时就直接返回了。

如果你仔细查看的话发现,search还有一个重载。例如我们可以这样写

但此时结果却没有任何变化。

so 这个参数是什么呢? 其实这是个设置是否匹配换行的标志。如果加上re.S就表示可以匹配换行。不写参数默认不匹配换行的。比如:

很明显,如果匹配中间有换行的话,不加re.S就没法匹配了。

sub的使用

根据运行结果可以得出:sub函数是替换函数。他可以把匹配的内容进行替换掉并返回新替换完毕的字符串。

爬虫程序

众所周知,所有的网页都是通过html代码编写而成的,可以说是一个文本文件,根据渲染模型从而产生了多姿多彩的网页。

我们将要做的项目就是捕捉百度风云榜实施热搜榜单的全部电影。得到火热的电影。也就是下面的部分

这个网页也是由html编写而成的。打开微博热搜。在网页空白处点击右键就可以看到网页源代码。

你会发现整个html代码非常复杂。所以我们这边就使用一个神器:开发人员工具。

网页空白处点击右键审查元素

然后选择实时热搜里面的内容。下方就会自动定位到你所选择的代码了。

我们查看一下实时热搜这几个标签有什么规律:

我们可以看到我们想要的热搜的内容都是如下结构:

<a target="_blank" title="标题" data="26|26" class="list-title" href="链接" href_top="说明">电影名称</a>

所以我们就可以按照如上内容写正则表达式,然后在html源代码中匹配出来电影名称就可以了

我们正则表达式可以这样写

<a target="_blank" title=".+?" data="26|26" class="list-title" href=".+?" href_top=".*?">.*?</a>

其中我们用到了一个python网络请求的框架。这个框架默认是没有的。我们需要进行安装的。

  1. 下载requests模块,(大家可以加入QQ群:538742639获取)
  2. 安装requests模块
    1. 解压模块文件并打开kennethreitz-requests-3314259文件夹
    2. 按住键盘shift键,在空白区域右键点击-在此处打开命令窗口
    3. 输入以下指令:python setup.py install
    4. 点击回车即可安装。此时就可以导入requests模块了

至此一个简单的获取热门电影的爬虫小程序开发完成。

下节课我们学习更高效率更快速度的多线程爬虫。

请关注下节教程。

关注-做全栈攻城狮获取最新资讯。写代码也要读书,爱全栈,更爱生活。程序员不止会写代码,好智商,高情商,我们的选择。

这是python开发学习的系列课程,除今日头条之外。我们在 一点资讯、搜狐媒体平台,QQ公众平台、微信公众平台。企鹅媒体平台、UC订阅平台、百度发布平台也有文章教程发布。大家也可以关注。账号名称都是做全栈攻城狮

感谢点击关注:今日头条。 大家也可以加QQ群:538742639,一起努力,互相激励。500多个技术大牛等着你。

下篇文章:Python实战:美女图片下载器,海量图片任你下载

时间: 2024-10-04 15:13:47

Python实战:Python爬虫学习教程,获取电影排行榜的相关文章

Python爬虫学习之获取网页源码

偶然的机会,在知乎上看到一个有关爬虫的话题<利用爬虫技术能做到哪些很酷很有趣很有用的事情?>,因为强烈的好奇心和觉得会写爬虫是一件高大上的事情,所以就对爬虫产生了兴趣. 关于网络爬虫的定义就不多说了,不知道的请自行点击查看 =>百度百科 网络爬虫,维基百科 网络爬虫 有很多编程语言都可以编写网络爬虫,只不过各有各的优缺点,这里我选择用Python语言编写爬虫,因为Python是一门非常适合用来编写爬虫的语言,用它实现爬虫的代码量相对其他语言要少很多,并且python语言对网络编程这类模块

python爬虫学习教程之兼职网数据爬取

源码分享: 可以对着代码练习,学习编程一定要多动手练习. 代码运行效果截图 学习python.python爬虫过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun:前面是934,中间109,后面是170,与你分享Python企业当下人才需求及怎么从零基础学习Python,和学习什么内容.相关学习视频资料.开发工具都有分享! 原文地址:https://www.cnblogs.com/xiaoxiany/p/11072510.html

Python爬虫学习教程,批量爬取下载抖音视频

这篇文章主要为大家详细介绍了python批量爬取下载抖音视频,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 这篇文章主要为大家详细介绍了python批量爬取下载抖音视频,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 这篇文章主要为大家详细介绍了python批量爬取下载抖音视频,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 项目源码展示: 1 ''' 2 在学习过程中有什么不懂得可以加我的 3 python学习交流扣扣qun,934109170 4 群里有不错的学习教程.开发工具与电子

Python入门到精通 学习 教程

首先,课程的顺序需要调整:一和三主要是介绍学习和布置开发环境的,一介绍的是非VS开发,三介绍的是VS开发.VS2017现在已经对python的支持程度非常高了.所以课程中的操作也基本都不需要了.直接installer添加python开发环境就成了. Python上手-Python基本语法1 如何新建一个Python项目? 就这么简单,选择Python应用程序就对了.对应的英文是PythonApplication. 刚建好的PythonApp就长这样: 这个HelloPython.py文件基本就相

Python爬虫入门教程 33-100 电影评论数据抓取 scrapy

1. 海王评论数据爬取前分析 海王上映了,然后口碑炸了,对咱来说,多了一个可爬可分析的电影,美哉~ 摘录一个评论 零点场刚看完,温导的电影一直很不错,无论是速7,电锯惊魂还是招魂都很棒.打斗和音效方面没话说非常棒,特别震撼.总之,DC扳回一分( ̄▽ ̄).比正义联盟好的不止一点半点(我个人感觉).还有艾梅伯希尔德是真的漂亮,温导选的人都很棒.真的第一次看到这么牛逼的电影 转场特效都吊炸天 2. 海王案例开始爬取数据 数据爬取的依旧是猫眼的评论,这部分内容咱们用把牛刀,scrapy爬取,一般情况下,

python实战——网络爬虫之request

Urllib库是python中的一个功能强大的,用于操做URL,并在做爬虫的时候经常要用到的库,在python2中,分为Urllib和Urllib2两个库,在python3之后就将两个库合并到Urllib库中,使用方法有所不同,我使用的是python3. 第一步,先导入Urllib库对应的模块,import urllib.request 或者直接导入request模块 from urllib import request from urllib import request file = req

Python实战练习——打印日历教程

很长一段时间没有接触过C语言了,想来做这一行当已经有三两年了. 今天突然想起来以前用C语言在VC6上写代码的日子,想了想以前的一些实战练习. 所以今天打算用Python来写一个C语言以前练习的题目-日历打印器,并根据情况进行优化. 效果如上图所示 算法思路: 首先,关于日历的相关操作都离不开一个根本情况,1990年的1月1日是周一,所以日历的打印需要基于这一事实 想要打印日历需要解决的问题最主要便是一个——那就是本月1号是周几? 在没有更好的算法之前,最好用的方式就是根据接收的年月去累加,然后除

Python实战之int学习笔记及简单练习

['__abs__', '__add__', '__and__', '__bool__', '__ceil__', '__class__', '__delattr__', '__dir__', '__divmod__', '__doc__', '__eq__', '__float__', '__floor__', '__floordiv__', '__format__', '__ge__', '__getattribute__', '__getnewargs__', '__gt__', '__h

Python实战之set学习笔记及简单练习

['__and__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__iand__', '__init__', '__init_subclass__', '__ior__', '__isub__', '__iter__', '__ixor__', '__l