部署PrestoDB on Cassandra

1、准备一个5节点的cassandra集群

node1,node2,node3,node4,node5

2、在node1上下载presto

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.131/presto-server-0.131.tar.gz

3、解压缩

tar zxvf presto-server-0.131.tar.gz

mv presto-server-0.131 /presto

4、更改属主为nosql

chown nosql.nosql /presto

5、建立数据目录

mkdir /prestodata

chown nosql.nosql /prestodata

在node2、node3、node4、node5上也要建立

6、配置文件编辑

node.properties:每个节点的环境配置

jvm.config:jvm 参数

config.properties:配置 Presto Server 参数

log.properties:配置日志等级

Catalog Properties:Catalog 的配置

mkdir /presto/etc/

vim /presto/etc/node.properties

加入:

node.environment=production

node.id=1

node.data-dir=/prestodata

vim /presto/etc/jvm.config

加入:

-server

-Xmx2G

-XX:+UseConcMarkSweepGC

-XX:+ExplicitGCInvokesConcurrent

-XX:+CMSClassUnloadingEnabled

-XX:+AggressiveOpts

-XX:+HeapDumpOnOutOfMemoryError

-XX:OnOutOfMemoryError=kill -9 %p

-XX:ReservedCodeCacheSize=150M

vim /presto/etc/config.properties

加入:

coordinator=true

node-scheduler.include-coordinator=false

http-server.http.port=8080

discovery-server.enabled=true

discovery.uri=http://node1:8080

vim /presto/etc/log.properties

加入:

com.facebook.presto=INFO

vim /presto/etc/jmx.properties

加入:

connector.name=jmx

mkdir /presto/etc/catalog

vim /presto/etc/catalog/cassandra.properties

加入:

connector.name=cassandra

cassandra.contact-points=node2,node3,node4,node5

7、分发

scp -r /presto node2:/

scp -r /presto node3:/

scp -r /presto node4:/

scp -r /presto node5:/

前往node2、node3、node4、node5更改属主

chown nosql.nosql /presto -R

8、更改每个节点各自的配置文件

vim /presto/etc/node.properties

更改

node.id=2(node.id=3、4、5,建议使用uuid)

vim config.properties

更改:

coordinator=false

http-server.http.port=8080

discovery.uri=http://node1:8080

9、启动

先启动coordinator

在node1上

/presto/bin/launcher run

再启动worker

在node2/3/4/5上

/presto/bin/launcher run

10、其它

下载cli

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.100/presto-cli-0.100-executable.jar

mv presto-cli-0.100-executable.jar presto-cli

./presto-cli --server node1:8080 --catalog cassandra --schema default

输入SQL:

use mykeyspace;

select count(*) from users;

时间: 2024-10-10 15:02:05

部署PrestoDB on Cassandra的相关文章

Cassandra 组件

关键结构 node 您在哪里存储数据.它是基本的数据库基础结构组件. cluster 一组用于存储数据的分布式节点.集群可以具有单个节点,单个数据中心或多个数据中心. datacenter 在群集内为复制目的一起配置的一组相关节点.数据中心可以是物理数据中心或虚拟数据中心.使用单独的数据中心可防止事务受到其他工作负载的影响并降低延迟.根据复制因素,可以将数据写入多个数据中心.数据中心绝不能跨越物理位置. replication 在多个节点上存储数据副本的过程.复制可确保可靠性和容错能力.副本数由

容器化部署Cassandra高可用集群

前提: 三台装有docker的虚拟机,这里用VM1,VM2,VM3表达(当然生产环境要用三个独立物理机,否则无高可用可言),装docker可参见Ubuntu离线安装docker. 开始部署: 部署图 如上图所示,三台VM的IP分别为: 192.168.0.101 192.168.0.102 192.168.0.103 客户端将使用这三个IP来连接集群,每个VM通过端口映射由docker网桥myBridge来与Cassandra容器通信,容器的IP会在启动容器时指定 部署步骤: 1. 建docke

Cassandra 数据库安装部署

安装版本 cassandra-3.11.4 系统版本 more /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 准备工作 Cassandra 数据库基于 Java?平台,所以它可以在许多支持 Java 技术的操作系统中运行,而且只需很少的磁盘空间和可用内存就可以开始工作.对于本教程中描述的应用程序,推荐配置: 最少 2GB 可用 RAM- 要安装并运行一个 Cassandra 数据库实例,建议机器上至少拥有 4 GB RAM,其中

Presto部署指南

1.Presto简介说明 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节. Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题. Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储.一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析. Presto是一个运行在多台服务器上的分布式系统. 完整安装包括一个coordinator和

Presto 安装部署

1.版本选型 hadoop-3.1.3 hive-3.1.2 presto-0.233.1 2.Prsto 简介 详细参考:https://prestodb.github.io/docs/current/connector.html 2.1 Presto 优势 多数据源,支持SQL,自定义扩展Connector 混合计算(同一种数据源的不同库 or表:将多个数据源的数据进行合并) 低延迟,高并发,纯内存计算引擎,高性能 2.2 Presto 架构 # presto提供插件化的connector来

Mesos&Marathon实现容器部署

mesos&marathon架构说明 Mesos实现了两级调度架构,它可以管理多种类型的应用程序.第一级调度是Master的守护进程,管理Mesos集群中所有节点上运行的Slave守护进程.集群由物理服务器或虚拟服务器组成,用于运行应用程序的任务,比如Hadoop和MPI作业.第二级调度由被称作Framework的"组件"组成.Framework包括调度器(Scheduler)和执行器(Executor)进程,其中每个节点上都会运行执行器.Mesos能和不同类型的Framewo

DCOS实践分享(4):如何基于DC/OS整合SMACK(Spark, Mesos, Akka, Cassandra, Kafka)

这篇文章入选CSDN极客头条 http://geek.csdn.net/news/detail/71572 当前,要保证业务的市场竞争力,仅靠设计一个可用并且好看的产品,已经完全不能满足要求.全球消费者都希望产品能够足够的智能化,通过大数据分析来改善他们的用户体验.简言之,物联网和大数据终将成为改变生活的技术驱动力. 近几年涌现了大量的技术架构与设计模式,开发者和科学家可以利用它们为大数据和物联网开发实时的数据分析工作流应用.其中批处理架构,流式处理架构,lambda架构,Kappa架构,都是其

HBase Cassandra Riak HyperTable

Cassandra                                                              HBase 一致性 Quorum NRW策略 通过Gossip协议同步Merkle Tree,维护集群节点间的数据一致性 单节点,无复制,强一致性 可用性 1,基于Consistent Hash相邻节点复制数据,数据存在于多个节点,无单点故障. 2,某节点宕机,hash到该节点的新数据自动路由到下一节点做 hinted handoff,源节点恢复后,推送回

memcached部署

第1章 memcached 1 memcached前言 1.1 memcached诞生的原因 2003年诞生了memcached Web1.0 2005以前  企业提供内容为主. Web2.02005-2012  企业只提供平台,用户参与上传下载内容. memcached 内存缓存软件,内存比磁盘快. 传统场景中,多数web应用都将数据保存在关系型数据库中(如mysql),web服务器从中读取数据并在浏览器中显示.但是随着数据量增大,访问的集中,关系型数据库的负担就会加重,响应缓慢,导致网站打开