Python 关于 pip 部分相关库的安装

下文中“:”后面安装的安装语句需要打开 cmd (命令提示符),在 cmd 中输入。

示例:

在搜索框输入 cmd,单机命令提示符:

然后输入安装语句,按回车键:

因为我之前已经装过了,所以这里显示的是已经安装成功过,没安装过的下面会显示安装过程,最后看到安装成功的英文就是成功安装了。

1. 请求库的安装

  • requests 是基于urllib3的一个用于发起http请求的库,这个库相较于urllib更快,更易用。

    pip install requests

  • selenium 是一个自动化测试工具,利用他我们可以驱动浏览器执行特定的动作。

    pip install selenium

  • aiohttp 是提供异步Web服务的库。

    pip install aiohttp

2. 解析库的安装

  • lxml 支持 HTML 和 XML 的解析,支持 XPath 解析方式,而且解析效率非常高。

    pip install lxml

  • Beautiful Soup 是 Python 的一个 HTML 和 XML 的解析库,我们可以用它来方便地从网页中提取数据。它还拥有强大的 API 和多样的解析方式。不够 Beautiful Soup 的 HTML 和 XML 解析器是依赖于 lxml 库的,所以在此之前必须先安装 lxml 库。

    pip install beautifulsoup4

  • pyquery 是一个强大的网页解析器,提供了和 jQuery 类似的语法来解析 HTML 文档,支持 CSS 选择器,使用非常方便。

    pip install pyquery

3. 存储库的安装

  • pymongo 用来与 MongoDB 进行交互。

    pip install pymongo

  • pymysql 用来将数据存储到 MySQL 中。

    pip install pymysql

  • redis-py 用来与 Redis 进行交互

    pip install redis

  • redisdump 用于 Redis 数据的导入和导出的工具,是基于 Ruby 实现的,所以在此之前要先安装 Ruby。

    pip install redis-dump

4. Web库的安装

  • flask 是一个轻量级的 Web 服务程序,简单、易用、灵活,这里主要用来做一些 API 服务。

    pip install flask

  • tornado 是一个支持异步的框架,通过使用非阻塞 I/O 流,它可以支撑成千上万的开放连接,效率非常高。

    pip install tornado

5. 爬虫框架的安装

  • pyspider 是强大网络爬虫框架,带有强大的 WebUI 、脚本编译器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息列表,另外还支持 JavaScript 渲染页面的爬取,使用起来很方便。

    pip install pyspider

原文地址:https://www.cnblogs.com/mulin1999/p/11826692.html

时间: 2024-10-08 09:10:01

Python 关于 pip 部分相关库的安装的相关文章

Python3网络爬虫实战-14、部署相关库的安装:Scrapyrt、Gerapy

Scrapyrt的安装 Scrapyrt 为 Scrapy 提供了一个调度的 HTTP 接口,有了它我们不需要再执行 Scrapy 命令而是通过请求一个 HTTP 接口即可调度 Scrapy 任务,Scrapyrt 比 Scrapyd 轻量级,如果不需要分布式多任务的话可以简单使用 Scrapyrt 实现远程 Scrapy 任务的调度. 1. 相关链接 GitHub:https://github.com/scrapinghu... 官方文档:http://scrapyrt.readthedocs

python中pip使用国内镜像提高安装速度

系统:win7 python:2.7.8 pip:9.0.1 需要新建pip.ini配置文件,文件位置:%USERPROFILE%\pip\pip.ini 这个路径可能需要自己新建. pip.ini文件内容: [global] timeout = 60 index-url = https://pypi.doubanio.com/simple/ trusted-host=pypi.doubanio.com 完成之后,在dos窗口,pip install 模块名,就可以安装了.

python:pip命令更新库 例命令行更新scikit-learn

使用pip命令更新库 pip install --upgrade 库名 比如更新scikit-learn包 pip install --upgrade scikit-learn cannot import name MLPClassifier的解决办法: scikit-learn v0.17只有BernoulliRBM,没有MLPClassifier. 只需要把scikit-learn升级到v0.18即可. 在控制台输入下面任一个命令即可: conda update scikit-learn p

python使用pip 18以上版本离线安装package

在内网办公环境,常常需要使用离线安装python的软件包. 一般都会先在互联网的电脑上下载,再拷贝到内网办公机器上进行离线安装. 一般来说,我是这样做的: 1.拷贝和外网电脑上版本一致,且32位或64位也一致的python安装包至内网安装. 2.在外网电脑上安装好需要的包 例如: 1 pip install numpy 2 pip install pandas 3.外网打包已安装的包 假设你外网机器上,python安装路径为C:\Program Files\Python37\ 例如想在D:\pa

Python3网络爬虫实战-7、APP爬取相关库的安装:MitmProxy的安装

MitmProxy 是一个支持 HTTP 和 HTTPS 的抓包程序,类似 Fiddler.Charles 的功能,只不过它是一个控制台的形式操作.同时 MitmProxy 还有两个关联组件,一个是 MitmDump,它是 MitmProxy 的命令行接口,利用它我们可以对接 Python 脚本,用 Python 实现监听后的处理.另一个是 MitmWeb,它是一个 Web 程序,通过它我们可以清楚地观察到 MitmProxy 捕获的请求.本节我们来了解一下 MitmProxy.MitmDump

Python3网络爬虫实战-9、APP爬取相关库的安装:Appium的安装

Appium 是移动端的自动化测试工具,类似于前面所说的 Selenium,利用它我们可以驱动 Android.iOS 等设备完成自动化测试,比如模拟点击.滑动.输入等操作,其官方网站为:http://appium.io/,本节来了解一下 Appium 的安装方式. 1. 相关链接 GitHub:https://github.com/appium/appium 官方网站:http://appium.io 官方文档:http://appium.io/introduction... 下载链接:htt

Python3网络爬虫实战-8、APP爬取相关库的安装:MitmProxy的安装

MitmProxy 是一个支持 HTTP 和 HTTPS 的抓包程序,类似 Fiddler.Charles 的功能,只不过它是一个控制台的形式操作.同时 MitmProxy 还有两个关联组件,一个是 MitmDump,它是 MitmProxy 的命令行接口,利用它我们可以对接 Python 脚本,用 Python 实现监听后的处理.另一个是 MitmWeb,它是一个 Web 程序,通过它我们可以清楚地观察到 MitmProxy 捕获的请求.本节我们来了解一下 MitmProxy.MitmDump

Python3网络爬虫实战-12、部署相关库的安装:Docker、Scrapyd

如果想要大规模抓取数据,那么一定会用到分布式爬虫,对于分布式爬虫来说,我们一定需要多台主机,每台主机多个爬虫任务,但是源代码其实只有一份.那么我们需要做的就是将一份代码同时部署到多台主机上来协同运行,那么怎么去部署就又是一个值得思考的问题. 对于 Scrapy 来说,它有一个扩展组件叫做 Scrapyd,我们只需要安装 Scrapyd 即可远程管理 Scrapy 任务,包括部署源码.启动任务.监听任务等操作.另外还有 ScrapydClient 和 ScrapydAPI 来帮助我们更方便地完成部

Python3网络爬虫实战-6、APP爬取相关库的安装:Charles的安装

除了 Web 网页,爬虫也可以对 APP 的数据进行抓取,APP 中的页面要加载出来,首先需要获取数据,那么这些数据一般是通过请求服务器的接口来获取的,由于 APP 端没有像浏览器一样的开发者工具直接比较直观地看到后台的请求,所以对 APP 来说,它的数据抓取主要用到一些抓包技术. 本书介绍的抓包工具有 Charles.MitmProxy.MitmDump,APP 一些简单的接口我们通过 Charles 或 MitmProxy 分析找出规律就可以直接用程序模拟来抓取了,但是如果遇到更复杂的接口我