用Python做数据分析 | 启航

以前做数据分析,很多是用Oracle或者MySQL,通过SQL来完成查询和统计数据分析,但是随着数据量的增大,数据库也跟随着发展为NoSQL数据库,由于数据库及其底层技术架构的变化,数据分析算法也随着变得复杂,而Python则实现这一任务适用的语言和工具。比如:

In [36]: for i in range(4):
        ...:     for j in range(4):
            ...:         if j > i:
                ...:             break
            ...:         print((i,y))

这是一个打印矩阵数组的程序,如果用Python可以大大简化代码,输出结果如下:
(0, 7)
(1, 7)
(1, 7)
(2, 7)
(2, 7)
(2, 7)
(3, 7)
(3, 7)
(3, 7)
(3, 7)
哇塞,Python&IPython太棒了!
后续会持续分析Python做数据分析的方法和案例,敬请关注我的博客更新。

原文地址:http://blog.51cto.com/lifudong/2115797

时间: 2024-11-05 18:55:36

用Python做数据分析 | 启航的相关文章

python做数据分析-简单库的介绍和运用

一.数据分析能做什么,简单举几个例子: 1.淘宝可以观察用户的购买记录.搜索记录以及人们在社交媒体上发布的内容选择商品推荐 2.股票可以根据相应的数据选择买进卖出 3.今日头条可以将数据分析应用到新闻推送排行算法当中 4.爱奇艺可以为用户提供个性化电影推荐服务 二.python常用库 Numpy Numpy是Numerical Python的简写,主要可以用来做Python数值计算.它提供了多种数据结构.算法以及大部分涉及Python数值计算所需的接口. 快速.高效的多维数组对象ndarray

用python调用R做数据分析-准备工作

0.R的介绍 R是自由软件,不带任何担保,在某些条件下你可以将其自由散布,用'license()'或'licence()'来看散布的详细条件. R是个合作计划,有许多人为之做出了贡献,用'contributors()'来看合作者的详细情况,用'citation()'会告诉你如何在出版物中正确地引用R或R程序包,用'demo()'来看一些示范程序,用'help()'来阅读在线帮助文件,或用'help.start()'通过HTML浏览器来看帮助文件. 用'q()'退出R. demo(graphics

python的数据分析的学习方法

python数据分析的要求并不是软件开发的要求,确实,对于一门工具,不同目的的使用者,需要的技能是不一样的,比如刀这个工具,屠夫用它是杀猪的,厨师用它是切菜的,军人用它是保家卫国的,客人用它是切牛排的,每个人用的方式都不一样,对于刀的掌握方法都有特定的要求. python数据分析,就如同学excel做数据分析一样,都是从了解python如何打开使用,如何在里面处理数据,如何筛选数据,如何统计分析,如何图表展示.python只是工具,关键还是处理问题的思维方法.我们学习python的目的不是为了写

如何用Python做词云(收藏)

看过之后你有什么感觉?想不想自己做一张出来? 如果你的答案是肯定的,我们就不要拖延了,今天就来一步步从零开始做个词云分析图.当然,做为基础的词云图,肯定比不上刚才那两张信息图酷炫.不过不要紧,好的开始是成功的一半嘛.食髓知味,后面你就可以自己升级技能,进入你开挂的成功之路. 网上教你做信息图的教程很多.许多都是利用了专用工具.这些工具好是好,便捷而强大.只是它们功能都太过专一,适用范围有限.今天我们要尝试的,是用通用的编程语言Python来做词云. Python是一种时下很流行的编程语言.你不仅

如何做数据分析自动化?

很多做数据统计小伙伴总避免不了使用Excel,尤其是专门做数据分析的,需要周期性的得出分析数据,即便可以做Excel模板,重复分析多了还是会让人感觉到很枯燥.我是Myb,在这里我告诉大家数据分析自动化是可以办到的.下面是自动化的方法. 一:简易数据分析自动化(发送xlsx文件到指定邮箱): 语言:Python(处理数据).SQL(数据库提取数据) 方法:用Python的pymysql模块连接数据库读取最新数据,用xlsxwriter模块制作excel,用smtp模块发送邮件给指定的人.如果加上定

利用python进行数据分析——(一)库的学习

总结一下自己对python常用包:Numpy,Pandas,Matplotlib,Scipy,Scikit-learn 一. Numpy: 标准安装的Python中用列表(list)保存一组值,可以用来当作数组使用,不过由于列表的元素可以是任何对象,因此列表中所保存的是对象的指 针.这样为了保存一个简单的[1,2,3],需要有3个指针和三个整数对象.对于数值运算来说这种结构显然比较浪费内存和CPU计算时间. 此外Python还提供了一个array模块,array对象和列表不同,它直接保存数值,和

使用python做科学计算

这里总结一个guide,主要针对刚开始做数据挖掘和数据分析的同学 说道统计分析工具你一定想到像excel,spss,sas,matlab以及R语言.R语言是这里面比较火的,它的强项是强大的绘图功能以及强大丰富的统计包,通过这个平台你可以了解统计前言的一些实现.它的唯一的问题就是性能问题.所以有时候你需要借用python. 使用R语言你可能需要Rstudio这个工具. python在在任何方面都有相当丰富的模块,科学计算领域也不例外,你可以查看python wiki也可以寻找相关的团体. 你可能会

利用Python进行数据分析——数据规整化:清理、转换、合并、重塑(七)(2)

1.索引上的合并 有时候,DataFrame中的连接键位于其索引中.在这种情况下,你可以传入left_index = True或right_index = True(或两个都传)以说明索引应该被用作连接键: In [8]: left1 = pd.DataFrame({'key': ['a', 'b', 'a', 'a', 'b', 'c'], ...: 'value':range(6)}) In [9]: right1 = pd.DataFrame({'group_val':[3.5, 7]},

基于Python的数据分析(1):配置安装环境

数据分析是一个历史久远的东西,但是直到近代微型计算机的普及,数据分析的价值才得到大家的重视.到了今天,数据分析已经成为企业生产运维的一个核心组成部分. 据我自己做数据分析的经验来看,目前数据分析按照使用工具可以分为大体四类: 基于Excel的数据分析,Excel自带的函数.数据透视表.宏等功能对于数据分析来说十分适用且好用:基于matlib.SAS.SPSS等专业统计软件,我自己用过一段时间的SAS,觉得功能十分全面,但是作为程序员使用又觉得限制太多不够自由:基于SQL+数据库的数据分析,这一类