[读书笔记] Python数据分析 （一） 准备工作

1. python中数据结构：矩阵，数组，数据框，通过关键列相互联系的多个表（SQL主键，外键），时间序列

2. python 解释型语言，程序员时间和CPU时间衡量，高频交易系统

3. 全局解释器锁GIL， Global Interpreter Lock防止解释器同时执行多个python字节码指令的机制

Cpython 可以继承OpenMP 实行并行处理循环而大幅度提高数值算法的速度

4. Numpy， pandas，matplotlib，Ipython，Scipy

Numpy：Python科学计算基础库，作为在算法之间传递数据的容器，Numpy数组比python内置数据结构更高效，低级语言如C可以直接操作Numpy数组中数据

  • 快速高效的多维数组对象ndarray
  • 对数组元素和数组整体进行数学运算
  • 用于读写硬盘上基于数组的数据集工具
  • 线性代数，傅里叶变换，随机数生成
  • C， C++， Fortran代码集成到python工具

pandas：处理结构化数据的大量数据结构和函数

  • 精确的索引，重塑，切片，切块，聚合，选取子集
  • 高性能时间序列功能和工具

matplotlib：最流行的绘制数据图表的库

Ipython：增强的Python Shell， 为交互式和探索式计算提供了一个强健和高效的环境

  • 交互式数据处理和绘图
  • 类似于Mathematica 的HTML笔记本，通过Web浏览器连接Ipython
  • 基于Qt框架的GUI控制台，含有绘图，多行编辑，语法高亮
  • 交互式并行和分布式计算的基础架构

Scipy：科学计算工具包

  • scipy.integrate: 数值积分和微分方程求解器
  • scipy.linalg: 扩展了由numpy.linalg提供的线性代数例程和矩阵分解
  • scipy.optimize: 函数优化器以及根查找算法
  • scipy.signal: 信号处理工具
  • scipy.sparse: 系数矩阵和系数线性系统求解
  • scipy.stats: 标准连续和离散概率分布，统计检验等
  • scipy.weave: 利用内联C++代码加速数组计算的工具
时间： 2025-01-11 20:53:00

[读书笔记] Python数据分析 （一） 准备工作的相关文章

[读书笔记] Python 数据分析 （十一）经济和金融数据应用

resample: 重采样函数,可以按照时间来提高或者降低采样频率,fill_method可以使用不同的填充方式. pandas.data_range 的freq参数枚举: Alias Description B business day frequency C custom business day frequency D calendar day frequency W weekly frequency M month end frequency SM semi-month end freq

读书笔记 ~ Python黑帽子 黑客与渗透测试编程之道

Python黑帽子  黑客与渗透测试编程之道   <<< 持续更新中>>> 第一章: 设置python 环境 1.python软件包管理工具安装 [email protected]:~# apt-get install python-setuptools python-pip [email protected]:~# pip install github3.py [注]如果在安装的过程中出现:E: Sub-process /usr/bin/dpkg returned a

读书笔记--Python基础教程 001

name = raw_input('please enter your name: ') or '<unknown>' 换句话说,如果raw_input语句的返回值为真(不是空字符串),那么他的值就会赋给name,否则将默认的'<unknown>'赋值给name. 这类短路逻辑可以用来实现C和Java中所谓的'三元运算符'(或条件运算符). a if b else c 如果b为真,返回a,否则,返回c.(注意,这个运算符不用引入临时变量,就可以直接使用,从而得到与raw_input

Machine Learning for hackers读书笔记(二)数据分析

#均值:总和/长度 mean() #中位数:将数列排序,若个数为奇数,取排好序数列中间的值.若个数为偶数,取排好序数列中间两个数的平均值 median() #R语言中没有众数函数 #分位数 quantile(data):列出0%,25%,50%,75%,100%位置处的数据 #可自己设置百分比 quantile(data,probs=0.975) #方差:衡量数据集里面任意数值与均值的平均偏离程度 var() #标准差: sd() #直方图,binwidth表示区间宽度为1 ggplot(hei

机器学习【1】（Python Machine Learning读书笔记）

依旧是作为读书笔记发布,不涉及太多代码和工具,作为了解性文章来介绍机器学习. 文章主要分为两个部分,machine learning的概述和 scikit-learn的简单介绍,两部分关系紧密,合并书写,以致整体篇幅较长,分为1.2两篇. 首先,是关于机器学习.要点如下: 1.1 机器学习三种主要方式 1.2 四大过程 1.3 python相关实现(安装包) [1.1] 机器学习方式主要有三大类:supervised learning(监督式学习), unsupervised learning(

python数据分析笔记——数据加载与整理]

[ python数据分析笔记--数据加载与整理] https://mp.weixin.qq.com/s?__biz=MjM5MDM3Nzg0NA==&mid=2651588899&idx=4&sn=bf74cbf3cd26f434b73a581b6b96d9ac&chksm=bdbd1b388aca922ee87842d4444e8b6364de4f5e173cb805195a54f9ee073c6f5cb17724c363&mpshare=1&scene=

【python下使用OpenCV实现计算机视觉读书笔记3】读写视频文件

Lua可以调用C函数的能力将极大的提高Lua的可扩展性和可用性. 对于有些和操作系统相关的功能,或者是对效率要求较高的模块,我们完全可以通过C函数来实现,之后再通过Lua调用指定的C函数. 对于那些可被Lua调用的C函数而言,其接口必须遵循Lua要求的形式,即typedef int (*lua_CFunction)(lua_State* L). 简单说明一下,该函数类型仅仅包含一个表示Lua环境的指针作为其唯一的参数,实现者可以通过该指针进一步获取Lua代码中实际传入的参数.返回值是整型,表示该

【python下使用OpenCV实现计算机视觉读书笔记1】输入输出

亲爱的网友,我这里有套课程想和大家分享,如果对这个课程有兴趣的,可以加我的QQ2059055336和我联系. 课程内容简介 我们软件是基于移动设备的.所以我们必然的选择了安卓作为我们的开发工具.课程中,我们将简要的介绍Android的基本概念,然后进行我们的实战开发.在开发中,大家讲学习到基本的组件,适配UI,数据的存储,多线程下载,开机广播,闹钟提醒,短信发送等实际项目开发中碰到的有用的知识点.通过课程学习,让大家能够掌握Android软件开发的流程,注意点,及优化.帮助大家迅速的掌握Andr

【python下使用OpenCV实现计算机视觉读书笔记2】图像与字节的变换

import cv2 import numpy import os # Make an array of 120,000 random bytes. randomByteArray = bytearray(os.urandom(120000)) flatNumpyArray = numpy.array(randomByteArray) # Convert the array to make a 400x300 grayscale image. grayImage = flatNumpyArray