[读书笔记] Python 数据分析 （十一）经济和金融数据应用

1. python中数据结构:矩阵,数组,数据框,通过关键列相互联系的多个表(SQL主键,外键),时间序列 2. python 解释型语言,程序员时间和CPU时间衡量,高频交易系统 3. 全局解释器锁GIL, Global Interpreter Lock防止解释器同时执行多个python字节码指令的机制 Cpython 可以继承OpenMP 实行并行处理循环而大幅度提高数值算法的速度 4. Numpy, pandas,matplotlib,Ipython,Scipy Numpy:Python科

常见系统数据文件 下表列出了常见的系统数据文件及其查找函数. 以/etc/passwd文件为例,读取数据的程序基本框架如下: void get_pw_entry() { struct passwd *ptr; setpwent(); while ((ptr = getpwent()) != 0) { -- } endpwent(); return ptr; } 每个数据文件都提供了一个get方法返回文件下一个记录项. set方法充值当前位置到文件开始处. end方法关闭数据文件. 表格中的get

Python黑帽子  黑客与渗透测试编程之道   <<< 持续更新中>>> 第一章: 设置python 环境 1.python软件包管理工具安装 [email protected]:~# apt-get install python-setuptools python-pip [email protected]:~# pip install github3.py [注]如果在安装的过程中出现:E: Sub-process /usr/bin/dpkg returned a

第二十一章.装饰模式 装饰模式也称为包装模式,是结构型设计模式之一.装饰模式是一种用于替代继承技术的一种方案. 1.定义 动态的给一个对象添加一些额外的职责.就增加功能来说,装饰模式相比生成子类更为灵活. 2.使用场景 (1)需要透明且动态地扩展类的功能时.且在不影响其他对象的情况下. (2)当不能采用继承对系统进行扩展时可以使用装饰模式.比如final类. 3.UML类图 (1)Component:抽象组件.可以是一个接口或抽象类,其充当的就是被装饰的原始对象. (2)ConcreteComp

name = raw_input('please enter your name: ') or '<unknown>' 换句话说,如果raw_input语句的返回值为真(不是空字符串),那么他的值就会赋给name,否则将默认的'<unknown>'赋值给name. 这类短路逻辑可以用来实现C和Java中所谓的'三元运算符'(或条件运算符). a if b else c 如果b为真,返回a,否则,返回c.(注意,这个运算符不用引入临时变量,就可以直接使用,从而得到与raw_input

#均值:总和/长度 mean() #中位数:将数列排序,若个数为奇数,取排好序数列中间的值.若个数为偶数,取排好序数列中间两个数的平均值 median() #R语言中没有众数函数 #分位数 quantile(data):列出0%,25%,50%,75%,100%位置处的数据 #可自己设置百分比 quantile(data,probs=0.975) #方差:衡量数据集里面任意数值与均值的平均偏离程度 var() #标准差: sd() #直方图,binwidth表示区间宽度为1 ggplot(hei

1 数据采集的重要性 数据采集是数据挖掘的基础,没有数据,挖掘也没有意义.很多时候,我们拥有多少数据源,多少数据量,以及数据质量如何,将决定我们挖掘产出的成果会怎样 2 四类采集方式 3 如何使用开放是数据源 4 爬虫方式 (1) 使用request爬取内容.(2)使用xpath解析内容,可以通过元素属性进行位置索引(3)使用panda保存数据.最后通过panda写入XLS或者mysql数据中 (3)scapy 5 常用抓取工具 (1)火车采集器http://www.locoy.com/它不仅可

属性分类: 标称属性(定性) 二元属性(定性) 序数属性(定性) 数值属性(定量) 标称属性--"与名称相关",它的值是一些符号或事物的名称. eg.头发颜色(黑色.棕色.淡黄色.红色) 婚姻状况(单身.已婚.离异.丧偶) 二元属性--标称属性的一种,只有两个类别或状态:0或1(布尔属性). 有对称与非对称之分,对称--两种状态具有同等价值并且携带相同的权重eg.性别 非对称--其状态的结果不是同样重要eg.化验结果(阴性0.阳性1) 序数属性--它的值之间具有有意义的序或秩评定,但相

1.将数据(csv格式)导入jupyter import pandas as pd import matplotlib.pyplot as plt filename＝'data.csv' raw=pd.read_csv filename print(raw.shape) raw.head()#打印前几行 2.去掉某一列的空值 kobe=raw[pd.notnull(raw['shot_made_flag'])] print(kobe.shape) 3.用matplotlib画图 alpha＝0.