python数据分析&挖掘,机器学习环境配置

目录

  • 一.什么是数据分析

    • 1.这里引用网上的定义:
    • 2.数据分析发展与组成
    • 3.特点
  • 二.python数据分析环境及各类常用分析包配置
    • 1.处理的数据类型
    • 2.为什么选择python
  • 三.python数据分析环境安装
    • 1.Ipython
    • 2.Jupyter
    • 3.Anaconda安装器
    • 4.Jupyter与集成开发环境与文本编辑器
  • 三.常用数据分析包
    • 1.NumPy
    • 2.pandas

一.什么是数据分析

1.这里引用网上的定义:

???????数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

2.数据分析发展与组成

???????数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
???????常用的分析工具是Excel。
???????数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。

3.特点

???????多维性和描述性

它们通常与数据可视化工具进行配套使用。

二.python数据分析环境及各类常用分析包配置

1.处理的数据类型

???????主要是结构化数据,包括表格型的数据,多维数组(矩阵),数据库多表结构等。
???????又是根据需要,可以把数据集转换为一个更易分析,建模的结构形式。

2.为什么选择python

???????在python中,有好多已经很完善的类库,而且很容易整合C,C++和FORTRAN等语言的代码,并配合很好的算法进行数据操作。

其实python也有很多缺点,这里先忽略它们,下面向大家介绍一些python重要的数据分析库。

三.python数据分析环境安装

1.Ipython

(1)简介

???????IPython是一个交互式计算系统。又是一个更具交互性的python解释器,其本身并不提供任何计算或数据分析工具,它主要是提供了一个环境,而且比默认的python shell 好用得多,支持变量自动补全,自动缩进,支持 bash shell 命令,内置了许多很有用的功能和函数。
可以用cmd启动ipython

不过一般的话还是在anaconda中启动ipython。

???????它的工作流是执行-探索。并不仅仅可以使用python,其他语言也针对Juptyter实现了内核,允许在Jupyter中使用多种语言。
那么什么是Jupyter呢?

(2)安装方法如下

直接用pip进行安装:
pip install ipython

2.Jupyter

(1)简介

???????全称Jupyter Notebook是一个交互式笔记本,支持运行 40 多种编程语言。
???????本质:是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。
用途包括:数据分析,清理和转换,数值模拟,统计建模,机器学习等等。
???????==其实,在Jupyter Notebook 中,代码可以实时的生成图像,视频,LaTeX和JavaScript。==
Jupyter Notebooks 成了数据科学家最常用的工具之一。

(2)安装

官网上有详细教程https://jupyter.org/install
用pip,或者使用Anaconda安装Jupyter
打开Jupyter:

然后自动跳转到网页,就可以编辑了:

可以先跳转到指定文件夹,然后再打开jupyter notebook:


会生成这些文件:

3.Anaconda安装器

(1)简介

???????Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。
???????它其实就是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,即可以很方便的切换不同的版本(包括各个版本的python和各个版本的类库),并能够在不同的环境之间切换。
???????Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等。
???????它是适用于企业级大数据分析的Python工具。其包含了720多个数据科学相关的开源包,在数据可视化、机器学习、深度学习等多方面都有涉及。不仅可以做数据分析,甚至可以用在大数据和人工智能领域。
==安装完anaconda,就相当于安装了Python、IPython、集成开发环境Spyder、一些包等等。==
可以理解为,一个python环境中需要有一个解释器, 和一个包集合。

(2)安装

进入官网https://www.anaconda.com/

安装后会有下面的应用

  • Anaconda Navigtor :用于管理工具包和环境的图形用户界面,后续涉及的众多管理命令也可以在 Navigator 中手工实现。
  • Jupyter notebook :基于web的交互式计算环境,可以编辑易于人们阅读的文档,用于展示数据分析的过程。
  • qtconsole :一个可执行 IPython 的仿终端图形界面程序,相比 Python Shell 界面,qtconsole 可以直接显示代码生成的图形,实现多行代码输入执行,以及内置许多有用的功能和函数。
  • spyder :一个使用Python语言、跨平台的、科学运算集成开发环境。
    有时候有问题,可能是环境路径问题。
    ???????在windows下,在计算机->右键选择属性->高级系统设置->环境变量->系统变量->path。在path中加入anaconda安装的目录就可以了。

安装后在cmd中输入conda --version,会看到版本:

或者直接进入Anaconda Prompt终端:

用conda list列出已经安装的所有库:


有关不同的环境的创建,在下一个教程会介绍。

4.Jupyter与集成开发环境与文本编辑器

一般在Juptyter中进行交互式操作,在集成开发环境(IDE)中进行大型数据处理,在文本编辑器中进行简单操作。

三.常用数据分析包

1.NumPy

NumPy是使用Python进行科学计算的基础包。 它包含:

  • 一个强大的N维数组对象
  • 复杂的(广播)功能
  • 用于集成C / C ++和Fortran代码的工具
  • 有用的线性代数,傅里叶变换和随机数功能

作用:这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表结构要高效的多。
numpy和稀疏矩阵运算包scipy配合使用更加方便。

2.pandas

pandas 是 是python的一个数据分析包,是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。
pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
数据结构如下:

  • Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型,字符串、boolean值、数字等都能保存在Series中。
  • Time- Series:以时间为索引的Series。
  • DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。
  • Panel :三维的数组,可以理解为DataFrame的容器。

    3.matplotlib

    Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。
    可以生成绘图,直方图,功率谱,条形图,错误图,散点图等。

    4.sciPy

    SciPy是一款方便、易于使用、专为科学和工程设计的Python工具包.它包括统计,优化,整合,线性代数模块,傅里叶变换,信号和图像处理,常微分方程求解器等等.

    5.scikit-learn

    它是一个机器学习工具包,在后面会介绍。

    6.statsmodels

    Statsmodels是Python的统计建模和计量经济学工具包,包括一些描述统计、统计模型估计和推断。

???????这些库在anaconda中都有,安装了anaconda安装器,相当于把这些都安装上去了。

原文地址:https://www.cnblogs.com/ITXiaoAng/p/11875787.html

时间: 2024-10-09 07:01:38

python数据分析&挖掘,机器学习环境配置的相关文章

基于Python数据分析与机器学习案例实战教程

课程--基于Python数据分析与机器学习案例实战教程 分享网盘下载--https://pan.baidu.com/s/1jHSaRAY 密码: xk37 课程背景基于数据分析与机器学习领域,使用python作为课程的实战语言,随着大数据与人工智能领域日益火爆,数据分析和机器学习建模成了当下最热门的技术,课程旨在帮助同学们快速掌握python数据分析包以及经典机器学习算法并通过对真实数据集分析进行实战演示. 课程风格通俗易懂,基于真实数据集案例实战. 主体课程分成三个大模块 (1)python数

耗子学Python了(1)___Python环境配置

一:写在开始的开始 最近我们团对的老大问我想看什么书,我让老大买了一本<Python 3面向对象编程>,所以在看的时候边敲边实践,决定在自己电脑配置下相应的环境,然后开始Python的学习,其实我很早就接触Python了,只是一直没有静下心去学习,刚刚开始接触的时候是在大二,那个时候工作室的老师还给我们一些资料,而且还有个请假系统有python写的.现在不要求自己看了就马上可以做项目,但是至少要了解基本的东西,我有java的基础,应该会好很多.现在就开始吧,刚刚配环境都出了bug了. 二:Py

高端实战 Python数据分析与机器学习实战 Numpy/Pandas/Matplotlib等常用库

课程简介:? ? 课程风格通俗易懂,真实案例实战.精心挑选真实的数据集为案例,通过Python数据科学库numpy,pandas,matplot结合机器学习库scikit-learn完成一些列的机器学习案例.课程以实战为基础,所有课时都结合代码演示如何使用这些python库来完成一个真实的数据案例.算法与项目相结合,选择经典kaggle项目,从数据预处理开始一步步代码实战带大家快速入门机器学习.旨在帮助同学们快速上手如何使用python库来完整机器学习案例. ------------------

gdal 1.9+python 2.7开发环境配置

最近项目使用Cesium平台基于WegGl做web地球,其中关于地形数据有一种支持格式为terrain的地形数据.这种格式可以通过一个python工具切dem来得到. 下面记录下配置gdal+python开发环境,系统是win7 64位,不过gdal和python是32位的,没什么影响(当时找对应版本弄了半天,最新的几个版本都有bug,就把我用的程序打包了,方便后面下载,下载). 首先安装numpy-1.10.1-win32-superpack-python2.7.exe,这个是python的环

Python的安装和环境配置

最近几天准备用python写一个小项目,所以开始了python之旅,今天主要说一下python的安装以及python库的安装. 官网: https://www.python.org/ 选择"Download->Source Code"然后选择一款 python2.7X的版本下载,注意对应电脑的操作系统(例如32位,64位,windows或者linux等) 因为python2.7 版本的比较稳定,使用的比较多,所以我这里也安装的是python2.7 下载好以后双击安装就好,注意选择

python安装及相关环境配置

python安装 下载python 配置环境变量 计算机--属性--高级设置--环境变量--path--添加python.exe地址 在cmd里输入python,验证是否配置成功 下载pip,如果自带则不用下载,默认在python安装目录里的script文件夹内 按上述方式配置pip 配置完成后即可使用pip下载第三方模块库(或者在其他渠道下载后用pip安装) 使用pip安装工具的示例: pip install SomePackage 使用pip安装工具的示例: pip install --up

第一课 python的几种环境配置

第一种,pythom+eclipse+pydev 这种安装方式比较简单,网上教程比较多,需要注意的是安装eclipse前需要安装jdk.具体过程不再啰嗦了.下面主要讲讲在64位系统下安装numpy,scipy,matplotlib等几个科学计算包. python借助于numpy和scipy这两个库,在科学计算上也是大有用处的,但问题是这两个库并不好装,尤其是在64位的情况下. 官方Pypi上默认只提供了32位的,而sourceforge上针对windows的exe安装包(貌似)也没有64位的.

python的线上环境配置

1.安装python 2.7   http://www.cnblogs.com/strikebone/p/3970512.html 2.安装相关前置工具  pip, Django http://www.cnblogs.com/strikebone/p/3958897.html 3.安装mysql的组件 http://www.cnblogs.com/strikebone/p/3975372.html 4.搞定apache的配置

Python IDE PyCharm+PyQt5环境配置

[原创链接]:http://www.cnblogs.com/atsats/p/6545547.html 1. 安装Python3.4 运行python-3.4.4.msi,安装提示完成安装 网盘:http://pan.baidu.com/s/1pLFGTOB 2. 安装PyQt库 运行PyQt5-5.5-gpl-Py3.4-Qt5.5.0-x32.exe (适用Win XP) 网盘:http://pan.baidu.com/s/1gfqUI5t 运行PyQt5-5.4-gpl-Py3.4-Qt5