MaxCompute上你从未体验过的数据分析和机器学习过程

MaxCompute上,大家有很多种分析和机器学习的方式。大家可以用在数加的web界面编写SQL,提交SQL作业;可以用console直接执行SQL,等等等。那机器学习呢,大家需要通过PAI命令提交PAI任务,或者在xlab上操作xlib;画图呢?导出数据绘图或者使用xlab。而这一切工具,都是割裂的,你不得不在各个地方进行切换,而且,也没有传统的数据分析和机器学习的快感。

那传统的任务是怎么做的呢,使用RStudio或者jupyter notebook(前身是ipython notebook),R我不熟,但对于Pythoner,用pandas进行数据分析、绘图,再用scikit-learn执行机器学习算法,在一个notebook里,能做所有想做的事情,非常高效。

现在呢,整合这一切的就是PyODPS,我们包含有基础MaxCompute SDK,因此一切对MaxCompute模型的操作你都可以。除此之外,我们还包括了DataFrame框架,和机器学习模块,这一切操作都进行了整合。

话不多说,直接上截图。

DataFrame执行的过程。

这个是我们的任务执行的详细过程,我们的任务执行包含一定的显示信息,亦能轻松跳转到logview来查看明细。执行完成也有通知。

下面是我们完整的使用SQL、DataFrame和ML机器学习的过程。

而这一切,你自己也可以在本地完成。你只需要:

pip install pyodps[full]

然后随意到一个目录下,启动jupyter notebook

jupyter notebook

就可以体验和使用PyODPS哦。

我们的文档在:http://pyodps.readthedocs.io
欢迎吐槽。

阅读原文请点击

时间: 2024-10-29 10:48:08

MaxCompute上你从未体验过的数据分析和机器学习过程的相关文章

firefox os 2.0版模拟器上QQ初体验

对于firefox os 爱好者而言,firefox os 手机迟迟没在中国上市会感到些许遗憾,但我们要相信firefox os 登陆中国是迟早的事,腾讯QQ已经登陆firefox os 应用市场,今天我们就从模拟器上感受一番腾讯QQ,想体验的爱好者们可以参考安装模拟器抢先体验一番! 下载安装QQ 安装. 安装完成 登陆界面; 聊天界面 喜欢的盆友快去试试吧!!!   编辑(5狐网)firefox os 2.0版模拟器上QQ初体验,布布扣,bubuko.com

流行开源软件云上体验周 ——一种正确的云上开源软件体验姿势!

当你想尝试一款新的开源软件时,当你一直关注的开源项目发行了最新的版本时,当你迫不及待想要成为新发布的开源项目的捉虫师,你会以什么样的方式去获得并安装最新的开源软件环境呢?是一直开着电脑下载几个G的安装包?等着快递小哥把最新发行版光盘送到你家?再花上几个小时配置环境之后,终于大功告成? 我们用怎样的姿势来体验开源软件才能效率最高,达到成本的最优化呢? 开放黑客松开发团队了解到开源爱好者的这些需求和痛点,引入了一种正确的云上开源软件体验姿势,只需要3分钟三步: 1.    打开浏览器,访问开放黑客松

如何在MaxCompute上处理存储在OSS上的开源格式数据

前言 MaxCompute作为使用最广泛的大数据平台,内部存储的数据以EB量级计算.巨大的数据存储量以及大规模计算下高性能数据读写的需求,对于MaxCompute提出了各种高要求及挑战.处在大数据时代,数据的来源多种多样,开源社区经过十几年的发展,百花齐放,各种各样的数据格式不断的出现. 我们的用户也在各个场景上,通过各种计算框架,积累了各种不同格式的数据.怎样将MaxCompute强大的计算能力开放给这些使用开源格式存储沉淀下来的数据,在MaxCompute上挖掘这些数据中的信息,是MaxCo

如何制作可以在 MaxCompute 上使用的 crcmod

之前我们介绍过在 PyODPS DataFrame 中使用三方包.对于二进制包而言,MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包.但对于部分长时间未更新的包,例如 oss2 依赖的 crcmod,PyPI 并未提供 Wheel 包,因而需要自行打包.本文介绍了如何使用 quay.io/pypa/manylinux1_x86_64 镜像制作可在 MaxCompute 上使用的 Wheel 包. 本文参考 https://github.com/pypa/manyl

数据无边界:非结构化数据在MaxCompute上的处理

这是DT(Data Technology)时代,每天有海量数据的加速产生,而每天产生的海量数据80%+是非结构化的,如何把握数据资源服务大众,激发生产力是每个互联网企业需要掌握的核心竞争力.我们的理想是MaxCompute在SQL线上实现与其它云数据(OSS, TableStore等) 的互联互通,用OSS(阿里云对外提供的海量.安全和高可靠的云存储服务)几种非结构化数据处理为范例,未来我们可以期待对各种非结构化数据的分布式处理成为可能,甚至开启气象数据.基因数据等多种大数据,建立与各种分布式系

那些日常琐事(iPhone上的细小提示,大数据分析)

今天早上蹲坑玩手机的时候,无意间看到了iPhone 给我一些提醒,震惊了我.也许你们会说,没什么大惊小怪的,当然做程序的都知道苹果公司早就记载了我们日常生活中很多数据,只是苹果公司目前还没做出太大的举动.先放图: 疑问: 1.它怎么知道我要去公司上班呢? 2.它怎么知道我今天要走哪条路线? 3.它怎么知道我公司在哪? 4.它怎么知道我去公司要花1小时4分钟(当然有可能是iPhone内置地图导航的,看右上角导航标识.这时间预估得很准,而不像是导航的时间,因为我们上班经常塞车.) 总之,这个分析还是

git.oschina上 git 初体验

git 初体验 第一步:进入开源中国社区 oschinagit http://git.oschina.net/,用您的邮箱注册一个账号. 第二步,在计算机上安装一个gitbush 安装好以后,点击进入,它是长这个样子的 第三步:在您的计算机上获取SSH(为了方便以后使用git时不用每次都输入用户名和密码) 输入命令行: ssh-keygen -t rsa -C "[email protected]" 上述"[email protected]"是注册oschinagi

小程序真机调试图片可以成功上传,但是线上版本和体验版手机上上传老保图片报错?

配置好上传的域名 上传的图片的域名后来更换了但是小程序后台没换,重新加下就好了. 灵感链接: https://developers.weixin.qq.com/community/develop/doc/00004449ea460025fde8f3ebb56c00 原文地址:https://www.cnblogs.com/pikachuworld/p/11565497.html

CP1621-唐宇迪-python数据分析与机器实战

深度学习框架-Tensorflow案例实战视频课程 随笔背景:在很多时候,很多入门不久的朋友都会问我:我是从其他语言转到程序开发的,有没有一些基础性的资料给我们学习学习呢,你的框架感觉一下太大了,希望有个循序渐进的教程或者视频来学习就好了.对于学习有困难不知道如何提升自己可以加扣:1225462853进行交流得到帮助,获取学习资料. 下载地址:https://pan.baidu.com/s/jssa1hZa 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大