python采集第一步

上次说要做一个http://www.m4493.com/的美女站点,需要使用python进行数据采集

接下来我们就开始采集数据了,使用pythn采集第一步

安装python

这个简单,直接到python官方网站下载python,我这里下载的是2,7.3版本

(找时间把安装过程放出来)

然后安装pip

python ../window/get-pip.py  这里需要去下载pip.py

最后安装一列模块,如下

pip install grab --timeout 600
pip install requests --timeout 600
pip install lxml --timeout 600
pip install selenium --timeout 600
pip install bs4 --timeout 600
pip install pycurl --timeout 600
pip install redis --timeout 600
pip install pycurl --timeout 600

pip install html5lib --timeout 600

对了,记得安装下python的开发工具,我这里使用的是JetBrains PyCharm 2017.1.4 ,这个是需要收费工具,如果没钱破解吧:)

与君共勉:——)

时间: 2024-10-10 09:01:05

python采集第一步的相关文章

python开发第一步

Python开发[第二篇]:初识Python Mr.Seven 博客园 首页 新随笔 联系 订阅 管理 随笔-127  文章-146  评论-393 Python简介 Python前世今生 python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承. 最新的TIOBE排行榜,Python赶超PHP占据第五!!! 由上图可见,Python整体呈上升趋势,反映出Pyt

python+selenium第一步 - 环境搭建

刚开始学习一门技术,肯定是要从环境搭建开始的,我也不例外. 首先选择需要安装的版本,我使用的是mac自带的2.7版本. selenium2,和火狐浏览器 为求稳定不会出现未知问题,我选择了selenium2.53.6和firefox45版本 1.安装python 我使用的是mac电脑,所以这一步就省略了. 2.安装pip 我是在目录下载了pip到本地,目录命令行安装的 也可以使用easy_install pip进行安装 3.安装selenium 使用在线安装的方式安装的selenium pip

学习Python爬虫第一步,Bs4库

首先是安装BS4库 因为Python的pip真的很方便,所以一般不出意外,只需要一个pip就足以完成一个库的安装. pip install beautifulsoup4 名字很长不要记错名字呦. 想要利用爬虫获得我们想要的内容,就一定要学会一个解析HTML的库. 我们总不能用正则表达式,匹配出我们需要的内容,那任务量一定是巨大的,繁琐的,很少有人去那么做,除非你就是需要这个网页中特定的元素. 怎么使用BS4库? Bs4库和有些库还有一些不同,像我们学习爬虫一定要学习的requests库,我们只需

Python学习第一步

一.变量(variable):python是一种动态类型语言,在赋值的执行中可以绑定不同类型的值-----变量赋值操作.,赋值时同时确定了变量类型. 定义:   变量名 =  变量 命名规范: 1.变量名包括字母.数字.下划线,但数字不能作为开头 2.系统关键字不能作为变量名 3.除了下划线其他符号不能作为变量名 4. Python中变量名区分大小写. 实例:  counter = 100 #赋值整型变量 miles = 100.0 #赋值浮点型 name = "John" #字符串

1.python的第一步

学习python也有一段时间了,自认为基本算是入门了,想要写一些博客进行知识的汇总的时候.却发现不知道该从何说起了,因为python这门语言在语法上其实并不难,关键在于如何建立程序员的思维方式,而对于初学编程的人来说,恰恰很难建立这种思想,单纯的硬背各种语法效果并不好.所以我的博客主要是将自己一些理解分享给大家,而这些理解我并不能保证一定正确,如果后期发现有什么错误的地方的话,我也会做修改,主要是供参考学习之用,而对于语法主要是总结一下,所以在语法部分会大量参考别人的文章,可能会出现很多和别人重

详解python解释器安装以及简单的python入门第一步

1.首先要有一个python解释器,如果不知道在哪里下载的话,大家可以去我的博客里下载,免费的.安装很简单,我已经安装过了就不给大家演示了. 2.下图是安装完成之后的 3.接下来是配置系统环境变量,大家可以看我的上一篇博客是如何配置系统环境变量的,配置完成之后如下图,注:我这里只有一个环境变量,如果你的是多个,就直接用:号隔开直接在后面追加就好了. 4.打开cmd命令行窗口,直接输入python,如下图就表示解释器启动成功 5.提示符中输入以下语句,按回车键查看运行效果: 6.也可以通过命令执行

python django第一天

django第一天,上一次是使用了virtualenv(沙盒),这一次就直接用virtualenv直接建一个django的环境,用来自己练着试试django: source django/Scripts/activate //这是我的目录,因人而异 之后就进入了沙盒,第一步安装django. pip install django 第二步. 查看django版本,检验是否安装正确 python -c "import django; print(django.get_version())"

编程第一步

3.2 编程第一步当然,除了将两数简单相加,python可以完成很多复杂的工作.比如我们可以写出fibonacci序列. >>> # Fibonacci series: ... # the sum of two elements defines the next ... a, b = 0, 1 >>> while b < 10: ... print b ... a, b = b, a+b ... 1 1 2 3 5 8 这个例子包含了很多新的特性. # 第一行包含

第一步 django的下载安装

django是python众多web框架中比较有名的一个,以大包大揽功能俱全而著名.但作为重量级的web框架,难免性能上回有所损失,不过由于其封装了各种API,在开发的时候会便利许多.所以也是深受欢迎,至于性能上的损失,可以在开发完成后在用tornado进行封装,多少能提升些许. 正是因为开发上的便利,所以我们也来学习如果使用django.那么第一步安装django,而django作为python的web框架,肯定要先安装python. 所以总结django的安装步骤: 1. 安装python,