大数据系统工具集

Bootstrapping引导:Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV
配置类工具:Capistrano、Chef、puppet、func、salstack、Ansible、rundeck
监控类工具:Cacti、Nagios(Icinga)、Zabbix、基于时间监控前端Grafana、Mtop 
日志系统:Logstash、Scribe
绘图工具:RRDtool、Gnuplot
流控系统:Panabit
PaaS平台即服务:Cloudify、Cloudfoundry、Openshift、Deis (Docker、CoreOS、Atomic) 
Troubleshooting故障排除:Sysdig 、Systemtap、Perf
磁盘压测:fio、iozone、IOMeter(win)
MySQL HA:MMM/MHA/Heartbeat+DRBD/Heartbeat+SAN/NDB Cluster/RHCS+DRBD/Galera+XtraDB Cluster/MMM+Amoeba
MySQL 监控:mytop、orzdba、Percona-toolkit、Maatkit、innotopmyawrSQL级监控mysqlpcap 
MySQL基准测试:mysqlsla、sql-bench、Super Smack、Percona‘s TPCC-MYSQL Tool、sysbench 
MongoDB压测:iibench&sysbench

Capistrano

Capistrano是一种在多台服务器上运行脚本的开源工具,它主要用于部署web应用。它自动完成多台服务器上新版本的同步更新,包括数据库的改变。Capistrano最初由Jamis Buck用Ruby开发,并用RubyGems部署渠道部署。现在Capistrano不仅限于应用Ruby on Rails的 web应用框架,而且可以用于部署用其他框架的web应用程序,比如用PHP开发的。( 项目详情

代码托管地址: https://github.com/capistrano/capistrano

推荐相关文档

Capistrano开发日记(1)( 2)
自动化部署实践capistrano
用 Capistrano 边写 Ruby 边部署迭代
用capistrano写一个简单的deploy脚本
使用 Capistrano —— Rails应用快速部署工具
使用Capistrano部署apache+mongrel cluster

Chef

一个系统集成框架,为您的整个基础设备提供配置管理。使用Chef,你可以:

编写代码来管理你的服务器,而不是运行命令(通过Cookbooks)
集成tightly到你的应用程序,数据库,LDAP目录等……(通过类库);
轻松的配置应用程序,但需要了解您的基础设备(运行的什么系统?当前的主数据库服务 器是什么?)
基本上,Chef就是一个Ruby配置管理引擎。您提供配方,希望您的系统如何去配置,然后交给厨师Chef,它将会为您配置你所希望的一切。你可以编写可爱的Ruby代码来管理你的服务器,而不需要使用命令去执行。( 项目详情)

代码托管地址: https://github.com/opscode/chef

推荐下载资源

chef详细配置
chef fundamental 
Chef-Infrastructure-Automation-Cookbook-eBook.pdf
Automated Chef cookbook testing with Drone.io and github

Docker

Docker是dotCloud开源的、可以将任何应用包装在Linux Container中运行的工具,2013年3月发布首个版本。当应用被打包成Docker Image后,部署和运维就变得极其简单。可以使用统一的方式下载、启动、扩展、删除、迁移。Docker可以用来:自动化打包和部署任何应用、创建一个轻量级私有PaaS云、搭建开发测试环境、部署可扩展的Web应用。( 项目详情

项目主页: http://docker.io

代码托管地址: https://github.com/dotcloud/docker

推荐相关文档:

从coreos到docker到golang
[Docker]初次接触 Docker 介绍: 相关技术(LXC)
Docker创建MySQL容器一些 Docker 的技巧与秘诀
轻轻松松在centos上部署docker服务

推荐下载资源:

Docker on Google App Engine
Docker 入门教程 
Docker_MongoDB
Docker the road ahead
Docker中文社区:Docker with OpenStack.pdf
七牛云存储的首席布道师徐立:the docker way
桂阳:通过工作流实现Docker在CoreOS自动化部署

Logstash

Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。( 项目详情

项目主页: http://logstash.net/

代码托管地址: https://github.com/elasticsearch/logstash

推荐相关文档:

使用logstash分析Apache日志
日志文件监控利器 - logstash
Logback和Logstash的集成
用 elasticsearch 和 logstash 为数十亿次客户搜索提供服务
使用logstash+elasticsearch+kibana快速搭建日志平台
logstash开源日志管理系统-2-logstash配置语言介绍

OpenStack

OpenStack是由Rackspace与NASA于2010年7月共同推出的云计算开源项目,目的是提供大规模云操作系统,支持类似AWS功能的IaaS平台。目前已经成为仅次于Linux的最大的开源社区,其会员覆盖几乎所有主流的IT供应商。OpenStack广泛在互联网公司和传统企业间部署,并因经诞生了许多创业公司。OpenStack拥有非常好的架构,这体现在所有功能全部模块和API化,模块之间松耦合。( 项目详情

项目主页: http://www.openstack.org/

代码托管地址: https://github.com/openstack/openstack 推荐相关文档:

如何学习OpenStack,如何成为OpenStack工程师?
Openstack能走多远——Openstack、VMware浅析
【OpenStack】Openstack之Cinder服务初探
【OpenStack】在OpenStack上搭建OpenStack UT环境
OpenStack学习笔记之--OpenStack Nova 架构
推荐下载资源:

openstack快速进阶
OpenStack运维指南
Openstack基础讲解
openstack 安装以及配置教程超详细
OpenStack云计算平台管理教程下载 OpenStack入门教程

Puppet

你可以使用Puppet集中管理每一个重要方面,您的系统使用的是跨平台的规范语言,管理所有的单独的元素通常聚集在不同的文件,如用户, CRON作业,和主机一起显然离散元素,如包装,服务和文件。Puppet的简单陈述规范语言的能力提供了强大的classing制定了主机之间的相似之处,同时使他们能够提供尽可能具体的必要的,它依赖的先决条件和对象之间的关系清楚和明确。( 项目详情

代码托管地址: https://github.com/puppetlabs/puppet

推荐相关文档

puppet配置之puppet.conf详解中英文对照
开源自动化部署管理工具Puppet安装
集中化运维管理——Puppet管理之路
puppet核心资源类型及其常见属性学习笔记
自动化运维之puppet

推荐下载资源:

使用Puppet框架管理基础设施
puppet最经典中文手册资料
[精通Puppet配置管理工具].高永超.扫描版
puppet服务端安装流程
Puppet在集群上的安装与测试

StatsD

StatsD是一款运行在Node.js平台之上的网络应用,可以用来监听UDP端口的信息,并将监听到的数据生成实时图表。StatsD 0.1.0版本由Etsy发布于2012年2月16日。( 项目详情

代码托管地址: https://github.com/etsy/statsd

推荐相关文档

StatsD学习
StatsD与Graphite联合作战
WEB监控系列第四篇:statsd指南
在CentOS6上,statsD和Graphite的部署过程

Vagrant

Vagrant是一款用来构建和部署虚拟开发环境的工具,非常适合 PHP/Python/Ruby/Java这类语言开发Web应用,可通过Vagrant封装一个Linux开发环境,分发给团队成员,成员可以在自己喜欢的桌面系统(Mac/Windows/Linux)上开发程序,代码却能统一在封装好的环境里运行。它使用VirtualBox虚拟化系统,使用Chef创建自动化虚拟环境。( 项目详情

代码托管地址: https://github.com/mitchellh/vagrant

推荐相关文档

Vagrant实践
Vagrant: Up and Running
使用Vagrant打造跨平台开发环境
Vagrant:程序员的VirtualBox(一)

Ansible

Ansible 是一个模型驱动的配置管理器,支持多节点发布、远程任务执行。默认使用 SSH 进行远程连接。无需在被管理节点上安装附加软件,可使用各种编程语言进行扩展。Ansible 提供一种最简单的方式用于发布、管理和编排计算机系统的工具,你可在数分钟内搞定。( 项目详情) 代码托管地址: https://github.com/ansible/ansible

推荐相关文档

tornado+ansible+twisted+mongodb运维自动化系统开发( 一)( 二)( 三)
在Puppet/Ansible中使用PPA
[email protected]一个高效的配置管理工具(系列文章

Salt

Salt是一个大型分布式的配置管理系统(安装升级卸载软件,检测环境),也是一个远程命令执行系统。作为一个强大的远程执行管理器,Salt 用于快速和高效的服务器管理。比func 更强大。扩展更为方便。( 项目详情) 代码托管地址https://github.com/saltstack/salt

推荐相关文档

salt的快速开始
salt的安装和配置
Salt 翻译之Grains
Salt实战之自动安装部署MooseFS
使用 Salt + Hash 来为密码加密

Graphite-web

Graphite-web 是 graphite组件之一, 提供一个django的可以高度扩展的实时画图系统。( 项目详情

代码托管地址: https://github.com/graphite-project/graphite-web

官方文档: http://graphite.readthedocs.org/en/latest/

fabric

Fabric 是一个 Python (2.5 或更高) 库和命令行工具,用于连接到 SSH 服务器并执行命令。( 项目详情)
代码托管地址: https://github.com/fabric/fabric

推荐相关文档

Python Fabric实现远程操作和部署
MySQL原生HA方案 – Fabric体验之旅
MySQL Fabric部署 使用Fabric部署Hadoop和HBase
python fabric实现远程操作和部署

时间: 2024-08-03 01:20:33

大数据系统工具集的相关文章

大数据工具集详

查询引擎 一.Phoenix 贡献者::Salesforce 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询.Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动. Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集.直接使用HBase API.协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒. Ph

大数据工具集

类别 名称 官网 备注 查询引擎 Phoenix http://phoenix.incubator.apache.org/ Salesforce公司出品,Apache HBase之上的一个SQL中间层,完全使用Java编写 Stinger http://hortonworks.com/labs/stinger/ 原叫Tez,下一代Hive,Hortonworks主导开发,运行在YARN上的DAG计算框架 http://tez.incubator.apache.org/ Presto http:/

大前端工具集

来自:https://github.com/nieweidong/fetool 作者: 微博 @聂微东 个人 Blog fefork.com 博客园 犀利的东哥   目录 前端组织/前端博客 博客搭建 HTML CSS 浏览端 JS Project Build Node Package Node Project 精选阅读 前端技术 Node 学习资料 前端面试 其他技术 工具/软件 Web APP Mac Linux Chrome Plugins Git 服务端 数据端 设计/交互 速查手册 杂

一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

作者:大数据女神-诺蓝(微信公号:dashujunvshen).本文是36大数据专稿,转载必须标明来源36大数据. 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务.集群管理.RPC.基础设施.搜索引擎.Iaas和监控管理等大数据开源工具. 日志收集系统 一.Facebook Scribe 贡献者:Facebook 简介:Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用.它能够从各种

[转载] 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

原文: http://www.36dsj.com/archives/25042 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务.集群管理.RPC.基础设施.搜索引擎.Iaas和监控管理等大数据开源工具. 日志收集系统 一.Facebook Scribe 贡献者:Facebook 简介:Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用.它能够从各种日志源上收集日志,存储到一个中央存储

大数据系统和分析技术综述【程学旗】

本文结构 1 大数据处理与系统 1.1 批量数据处理系统 1.1.1 批量数据的特征与典型应用 1.1.2 代表性的处理系统 1.2 流式数据处理系统 1.2.1 流式数据的特征及典型应用 1.2.2 代表性的处理系统 1.3 交互式数据处理 1.3.1 交互式数据处理的特征与典型应用 1.3.2 代表性的处理系统 1.4 图数据处理系统 1.4.1 图数据的特征及典型应用 1.4.2 代表性图数据处理系统 1.5 小 结 2 大数据分析 2.1 深度学习 2.2 知识计算 2.3 社会计算 2

如何打造100亿SDK累计覆盖量的大数据系统

作为推送行业领导者,截止目前个推SDK累计安装覆盖量达100亿(含海外),接入应用超过43万,独立终端覆盖超过10亿 (含海外).个推系统每天会产生大量的日志和数据,面临许多数据处理方面的挑战. 首先数据存储方面,个推每天产生10TB以上的数据,并且累积数据已在PB级别.其次,作为推送技术服务商,个推有很多来自客户和公司各部门的数据分析和统计需求,例如:消息推送和数据报表.虽然部分数据分析工作是离线模式,但开源数据处理系统稳定性并不很高,保障数据分析服务的高可用性也是一个挑战.另外,推送业务并不

全球100款大数据工具汇总(前50款)

01  Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract.传输Transform.载入Load)开源软件供应商.Talend的下载量已超过200万人次,其开源软件提供了数据整合功能.其用户包括美国国际集团(AIG).康卡斯特.电子港湾.通用电气.三星.Ticketmaster和韦里逊等企业组织. 02 DYSON 探码科技自主研发的DYSON智能分析系统,可以完整的实现大数据的采集.分析.处理.DYSON智能分析系统专业针对互联网数据抓取.处

麦子学院干货 | iOS开发者需要的九大设计工具

麦子学院[www.maiziedu.com]干货 | iOS开发者需要的九大设计工具 1.AppCooker AppCooker是一款方便的iPad应用.它能够提供可点击的原型模板,集合了所有需要编码或渲染的重要部件,并且还可以帮助开发者无需任何代码编写就能够构思.设计和测试iOS应用.目前AppCooker在App Store上的售价为19.99美元. 主要功能: 全功能模型编辑器拥有所有iOS UI部件 位图图画.矢量形状和文本工具 带有链接的整体屏幕视图 收存箱和Box支持云服务 2.Sk