tachyon 配置项



Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations。

环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template

额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS配置中。在模板文件,TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS调用



二、Tachyon常用配置

属性名 默认值 含义
tachyon.home "/mnt/tachyon_default_home" Tachyon的安装目录
tachyon.underfs.address $tachyon.home + "/underfs" Tachyon底层文件系统目录
tachyon.data.folder $tachyon.underfs.address + "/tachyon/data" Tachyon底层文件系统数据目录
tachyon.workers.folder $tachyon.underfs.address + "/tachyon/workers" Tachyon worke目录
tachyon.usezookeeper false 是否使用zookeeper来进行master容错
tachyon.zookeeper.address null Zookeeper地址
tachyon.zookeeper.election.path "/election" Zookeeper选举文件夹
tachyon.zookeeper.leader.path "/leader" Zookeeperleader文件夹
tachyon.underfs.hdfs.impl "org.apache.hadoop.hdfs.DistributedFileSystem" HDFS底层文件系统实现类
tachyon.max.columns 1000 RawTable允许的最大列数,必须在客户端和服务器端设置
tachyon.table.metadata.byte 5242880 在RawTable的元数据中最大允许多少字节
fs.s3n.awsAccessKeyId null S3 AWS访问密钥ID
fs.s3n.awsSecretAccessKey null S3 aws 加密访问Key ID
tachyon.underfs.glusterfs.mounts null Glusterfs卷装入点,如/卷
tachyon.underfs.glusterfs.volumes null Glusterfs卷名,如tachyon_vol
tachyon.underfs.glusterfs.mapred.system.dir glusterfs:///mapred/system 根据需要指定GLusterfs中MapReduce的数据子目录

三、Master配置

tachyon.master.journal.folder $tachyon.home +"/journal/" master journal log 存储目录
tachyon.master.hostname localhost Master主机名
tachyon.master.port 19998 Master节点运行端口
tachyon.master.web.port 19999 WEB接口运行端口
tachyon.master.whitelist / 缓存路径

四、Wroker配置

tachyon.worker.port 29998 Worker节点运行端口
tachyon.worker.data.port 29999 Worker数据服务运行端口
tachyon.worker.data.folder /mnt/ramdisk Worker节点数据目录
tachyon.worker.memory.size 128 MB Worker几点内存容量

五、用户配置

tachyon.user.failed.space.request.limits 3 文件系统终止之前的时间
tachyon.user.quota.unit.bytes 8 MB 客户端请求Worker几点的最小大小
tachyon.user.file.buffer.bytes 1 MB 文件缓冲区大小
tachyon.user.default.block.size.byte 1 GB Tachyon文件默认的block size
tachyon.user.remote.read.buffer.size.byte 1 MB 从远程worker读取数据的缓冲区大小

时间: 2024-10-12 02:41:12

tachyon 配置项的相关文章

Tachyon基本使用04-----Tachyon配置项

一.Tachyon配置说明 Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations. 环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template 额外的Java VM选项可以添加到TACHYON_MAS

Tachyon简介

发布人:南京大学PASA大数据实验室顾荣 Tachyon是什么 Tachyon(/'t?ki:??n/ 意为超光速粒子)是以内存为中心的分布式文件系统,拥有高性能和容错能力,能够为集群框架(如Spark.MapReduce)提供可靠的内存级速度的文件共享服务.从软件栈的层次来看,Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层.它利用底层文件系统作为备份,对于上层应用来说,Tachyon就是一个分布式文件系统. Tachyon诞生于UC Berkeley的AMPLab,其最

spark中使用的内存文件系统-Tachyon FS 简介

转自:http://blog.csdn.net/u014252240/article/details/41810849 发布人:南京大学PASA大数据实验室顾荣 1. Tachyon是什么 Tachyon(/'t?ki:??n/ 意为超光速粒子)是以内存为中心的分布式文件系统,拥有高性能和容错能力,能够为集群框架(如Spark.MapReduce)提供可靠的内存级速度的文件共享服务.Tachyon诞生于UC Berkeley的AMPLab,由该实验室的李浩源童鞋初创.2012年12月,Tachy

Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

1 Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算也持续升温,怎样将海量数据近乎实时地处理,或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点.近年来,内存的吞吐量成指数倍增长,而磁盘的吞吐量增长缓慢,那么将原有计算框架中文件落地磁盘替换为文件落地内存,也是提高效率的优化点. 目前已经使用基于内存计算的分布式计算框架有:Spark.Impala及SAP的HANA等.但是其中不乏一些还是有文件落地磁盘的操作,如果能让这些落地磁盘的操作全部落

分布式内存文件系统:Tachyon

Tachyon是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存储在Tachyon里的文件.Tachyon是架构在最底层的分布式文件系统和上层的各种计算框架之间的一种中间件,其主要职责是将那些不需要落地到DFS里的文件,落地到分布式内存文件系统中,来达到共享内存,从而提高效率,减少内存冗余,减少GC时间等. Tachyon架构 Tachyon的架构是传统的Master-Slave架构,这里和Hadoop类似,TachyonMaster里WorkflowManager是 Master进

Tachyon框架的Worker心跳及Master高可用性分析

0 概述 分布式框架中的Master-Slave类型,Slave节点负责工作的具体执行,Master负责任务的分发或者相关元数据的存储等.一般情况下,一个Master节点都会对应多个Slave节点,Master在分配任务时需要知道当前有哪些Slave节点是可以接受自己所发的命令的(Slave节点有可能因为各种原因挂掉),因此需要在其内部维持一个链表来保存所有还活着的Slave节点.HBase的HMaster是这样.HDFS的NameNode是这样.Tachyon的Master节点也是这样.Sla

Bean配置项

常用Bean的配置项: (1)id :在整个IOC容器中,这个bean的唯一标识 (2)class :具体要实例化的某一类,与id对应 (3)scope :bean的作用域 (4)constructor-arg :构造器的参数 (5)properties :某个类的属性 (6)autowiring mode :自动装配模式 (7)lazy-initialization mode :懒加载模式 (8)initialization/destruction method :初始化和销毁方法 从bean

Alluxio1.0.1最新版(Tachyon为其前身)介绍,+HDFS分布式环境搭建

Alluxio(之前名为Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统.它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁. 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据.此外,Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级.在大数据生态系统中,Alluxio介于计算框架(如Apache Spark,Apache MapReduce,Apache Flink)和现有的存储系统(如Amazon S3,OpenSt

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明,用到新的配置项会补充进来,不定期更新.以配置文件名划分 以hadoop 1.x配置为例 core-site.xml  name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径,官方文档说是读取这