推荐5个国内外评价超高的机器学习Python 库,实用!

前言

机器学习令人无比神往,但从事这个工作的人可能并不这么想。

机器学习的工作内容往往复杂枯燥又困难——通过大量重复工作进行提升必不可少:

汇总工作流及传输渠道、设置数据源以及在内部部署和云部署的资源之间来回分流。

所以使用工具提升你的工作效率实在很关键,而且像这样的工具越多越好。

好在你学的是Python,作为一门威力巨大的工具语言,Python可以给你提供足够的辅助工具,让你在大数据和机器学习项目中游刃有余。

唯一的问题在于Python海量的资源库让患有选择困难症的你难以取舍,因此糖豆贴心的给你找来了目前评价最高的五个Python库。

  1. PyWren

项目地址:https://github.com/ericmjonas/pywren


PyWren项目

PyWren,简单而强大,用于进行基于Python的科学计算工作。

项目 At The New Stack 的简介这样描述 PyWren:

把 AWS Lambda 作为一个巨大的平行处理系统,以处理那些可被切割成诸多小任务的项目,同时还可以节约很多内存和硬盘空间。

Lambda 函数的一个缺点是运行时间最长不能超过 300 秒。

但是,如果你有一个只花费几分钟就能完成却需要在数据集中运行数千次的工作,那么 PyWren 也许是一个好选择,它可以在云端完成一种用户硬件上不可用的规模平行化的工作。

  1. Tfdeploy

项目地址:https://github.com/riga/tfdeploy

Tfdeploy项目

如果你需要使用基于谷歌的 TensorFlow 框架的训练模型却不想使用框架本身的话,Tfdeploy可以帮你。

借由 Tfdeploy,可以在 Python 中使用模型,而且仅仅需要Numpy 的数学和统计库作为支撑。

几乎所有能在 TensorFlow 上跑的运行也能在 Tfdeploy 上跑,而且你可以通过标准 Python 隐喻方式来延伸库的行为(比如,超载一个类别)。

但是,Tf 部署并不支持 GPU 加速。

3.Luigi

项目地址:https://github.com/spotify/luigi

Luigi项目

编写成批作业通常只是处理海量数据的其中一步:你也不得不将所有这些工作串联起来,做成类似工作流程的东西。

Luigi 是 Spotify 打造的,用于解决所有通常与长期运行成批处理作业有关的管道问题。

有了 Luigi,研发人员就可以从事几个很难、与数据无关的任务处理——「 Hive 询问,在 Jave 上完成的 Hadoop 任务, Scala 上的 Spark 任务,从数据库中导出表格」——创造一个端到端运行它们的工作流。

对任务的整个描述以及依存性被打造为 Python 模块,和 XML 配置文档或其他数据形式不同,因此,可以被组合到其他以 Python 为中心的项目中去。

4.Kubelib

项目地址:https://github.com/safarijv/kubelib

Kubelib项目

如果你采用 Kubernetes 作为完成机器学习工作的编排系统(orchestration system),那你可能要小心的维护以免其自身运行的BUG比它能解决的问题都多。

Kubelib 为 Kubernetes 提供了一系列的 Python 接口,虽说需要 Jekins ing 作为支持,但没有 Jenkins 的情况下也能够使用。

它能够完成 暴露在 kubectl CLI 或者 Kubernetes API 中的所有事。

5.PyTorch

项目地址:https://github.com/pytorch/pytorch

PyTorch项目

最后一个成员还比较新,但却已经制造了足够大的声势:Python 库新成员 Pytorch,这一个Torch 机器学习框架工具。

PyTorch 不仅为 Torch 添加了 Python 端口,也增加了许多其他的便利,比如 GPU 加速,共享内存完成多重处理(multiprocessing,特别是多核上隔离开的工作。)

最大的亮点在于它们能为 Numpy 中的无加速功能提供 GPU 驱动的替代选择。

好啦,以上就是我的分享,如果你跟我一样都喜欢python,想成为一名优秀的程序员,也在学习python的道路上奔跑,欢迎你加入python学习群:839383765 群内每天都会分享最新业内资料,分享python免费课程,共同交流学习,让学习变(编)成(程)一种习惯!

原文地址:http://blog.51cto.com/14186420/2348289

时间: 2024-10-03 03:58:24

推荐5个国内外评价超高的机器学习Python 库,实用!的相关文章

推荐!国外程序员整理的机器学习资源大全

推荐!国外程序员整理的机器学习资源大全 本文汇编了一些机器学习领域的框架.库以及软件(按编程语言排序). 伯乐在线已在 GitHub 上发起「机器学习资源大全中文版」的整理.欢迎扩散.欢迎加入. https://github.com/jobbole/awesome-machine-learning-cn C++ 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库,新颖的机器视觉库 OpenCV—它提供C++, C, Python, Java 以及 MATLAB接口,并支持Windows

推荐!国外程序员整理的机器学习资源大全(转)

本文由 伯乐在线 - toolate 翻译自 awesome-machine-learning.欢迎加入技术翻译小组.转载请参见文章末尾处的要求. 本文汇编了一些机器学习领域的框架.库以及软件(按编程语言排序). C++ 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库,新颖的机器视觉库 OpenCV—它提供C++, C, Python, Java 以及 MATLAB接口,并支持Windows, Linux, Android and Mac OS操作系统. 通用机器学习 MLPack

38个常用Python库:数值计算、可视化、机器学习等8大领域都有了

一.数值计算 数值计算是数据挖掘.机器学习的基础.Python提供多种强大的扩展库用于数值计算,常用的数值计算库如下所示. 1. NumPy 支持多维数组与矩阵运算,也针对数组运算提供大量的数学函数库.通常与SciPy和Matplotlib一起使用,支持比Python更多种类的数值类型,其中定义的最重要的对象是称为ndarray的n维数组类型,用于描述相同类型的元素集合,可以使用基于0的索引访问集合中元素. 2. SciPy 在NumPy库的基础上增加了众多的数学.科学及工程计算中常用的库函数,

机器学习---python环境搭建

一 安装python2.7 去https://www.python.org/downloads/ 下载,然后点击安装,记得记住你的安装路径,然后去设置环境变量,这些自行百度一下就好了. 由于2.7没有pip ,所以最好装下.这是下载地址 https://pypi.python.org/pypi/pip#downloads.下载好之后点击开始,搜索 CMD .输入 python setup.py install 你在cmd里面输入pip会显示这个,这表示pip也没有设置环境变量,你只要去你pyth

推荐18个基于 HTML5 Canvas 开发的图表库 - 梦想天空(山边小溪) - 博客园

推荐18个基于 HTML5 Canvas 开发的图表库 - 梦想天空(山边小溪) - 博客园 推荐18个基于 HTML5 Canvas 开发的图表库

推荐一些相见恨晚的 Python 库 「一」

原创 2017-08-14 马超 DeveloperPython 扯淡 首先说明下,这篇文章篇幅过长并且大部分是链接,因此非常适合在电脑端打开访问. 本文内容摘自 Github 上有名的 Awesome Python.这是由 vinta 在 14 年发起并持续维护的一个项目. Awesome Python 涵盖了 Python 的方方面面,主要有 Web框架.网络爬虫.网络内容提取.模板引擎.数据库.图片处理.数据可视化.文本处理.自然语言处理.机器学习.日志.代码分析等.学会这些库,保证你在

推荐11个实用Python库

1.delorea 非常酷的日期/时间库 from delorean import Delorean EST = "US/Eastern"d = Delorean(timezone=EST) 2.prettytable 可以在浏览器或终端构建很不错的输出 from prettytable import PrettyTable table = PrettyTable(["animal", "ferocity"]) table.add_row([&q

从分类,排序,top-k多个方面对推荐算法稳定性的评价

介绍 论文名: "classification, ranking, and top-k stability of recommendation algorithms". 本文讲述比较推荐系统在三种情况下, 推荐稳定性情况. 与常规准确率比较的方式不同, 本文从另一个角度, 即推荐算法稳定性方面进行比较. 详细 参与比较的推荐算法 包括: baseline 传统基于用户 传统基于物品 oneSlope svd 比较方式 比较的过程分为两个阶段: 阶段一, 将原始数据分为两个部分, 一部分

【推荐算法工程师技术栈系列】机器学习深度学习--强化学习

目录 强化学习基本要素 马尔科夫决策过程 策略学习(Policy Learning) 时序差分方法(TD method) Q-Learning算法 Actor-Critic方法 DQN DDPG 推荐系统强化学习建模 附录 强化学习基本要素 智能体(agent):与环境交互,负责执行动作的主体: 环境(Environment):可以分为完全可观测环境(Fully Observable Environment)和部分可观测环境(Partially Observable Environment).