tfs文件系统之NS配置管理

NameServer简称NS 充当着客户与DS的交互桥梁

1.NS配置文件修改:



[public]
#log file size default 1GB
log_size=1073741824

#log file num default 64
log_num = 64

#log file level default debug
log_level=debug

#main queue size default 10240
task_max_queue_size = 10240

#listen port
port = 8108

#work directoy
work_dir=/usr/local/tfs

#device name
dev_name= eth0

#work thread count default 4
thread_count = 4

#ip addr(vip) //如果做了HA,那么这里的IP要写VIP 如果没有做那就写NS的IP
ip_addr = 192.168.1.230

[nameserver]

safe_mode_time = 300
#NS IP如果做了HA那么就把两个NSIP写上需要使用“|”隔开,如果没做HA后面的IP写成无效IP
ip_addr_list = 192.168.1.230|192.168.1.238

group_mask = 255.255.255.0

#
block_max_size = 7549747

#
max_replication = 1

#
min_replication = 1

# use capacity ratio
use_capacity_ratio = 98

# block use ratio
block_max_use_ratio = 98

#heart interval time(seconds)
heart_interval = 2

# object dead max time(seconds) default
object_dead_max_time = 3600

# cluster id defalut 1
cluster_id = 1

# block lost, replicate ratio
replicate_ratio_ = 50

max_write_filecount = 16

heart_thread_count = 2

heart_max_queue_size = 10

#replicate block wait time
repl_max_time = 60

compact_delete_ratio =  15

compact_max_load = 200

object_dead_max_time = 86400

object_clear_max_time = 300

max_wait_write_lease = 15

lease_expired_time = 3

max_lease_timeout = 3000

cleanup_lease_threshold = 102400

build_plan_interval = 10

run_plan_expire_interval = 120

build_plan_ratio = 25

dump_stat_info_interval = 60000000

build_plan_default_wait_time = 2

balance_max_diff_block_num = 5

add_primary_block_count = 3

block_chunk_num = 32

task_percent_sec_size = 200

task_max_queue_size = 10000

oplog_sync_max_slots_num = 1024

oplog_sync_thread_num = 1



PS:

1、ns.conf中的max_replication和min_replication 要和你的ds台数一直,我只有一台ds,故都设置为了1。

2、ds.conf和ns.conf中的

ip_addr_list = 192.168.1.111|192.168.1.112

要一致。

3、ds.conf和ns.conf中的 #nameserver port port = 8108 要一致

2.启动NS

[[email protected] scripts]# pwd
    /usr/local/tfs/scripts
    [[email protected] scripts]# ./tfs start_ns

3.停止NS

[[email protected] scripts]# pwd
    /usr/local/tfs/scripts
    [[email protected] scripts]# ./tfs stop_ns

4.测试NS是否启动成功

PS:这里的测试需要在后面DS配置成功后方可测试

-b显示的是DS的所有block块

-w显示的是DS当前可做写操作的block块

machine -a显示DS的使用报告

注意:如果-b或-w显示的block都是0的话,那么表示没有可写块,请检查配置文件

5.上传一张图片检测是否成功

从上面看出上传的文件blockid为101 fileid为61,上传结果为success

6.下载一下刚刚上传的文件,检查大小并查看文件是否正常

在NS、DS中随便找一台机器执行如下命令,查看当前id下是否有文件

可以看出blockid 101中总计有61个文件,其中我们上传的fileid为61的已经找到(由于我上传的图片较多因此这里我只截取了fileid为61的文件)

我们下载blockid为101,fileid为61的文件

下载成功,我们两个文件放到win系统中查看内容更是直观

好了,现在一切没有问题,关于DS的配置请关注精忠报国博文

tfs文件系统之NS配置管理,布布扣,bubuko.com

时间: 2024-12-18 08:37:34

tfs文件系统之NS配置管理的相关文章

21.TFS文件系统搭建笔记

TFS文件系统搭建笔记 参考地址: https://github.com/alibaba/tfs/blob/master/INSTALL.md https://github.com/alibaba/tfs/blob/master/DEPLOY.md http://tfs.taobao.org/ http://code.taobao.org/p/tfs/wiki/get/ http://csrd.aliapp.com/ 软件下载地址(源码): TFS:https://github.com/alib

TFS(Team Foundation Server)介绍和入门

在本文的两个部分中,我将介绍Team Foundation Server的一些核心特征,重点介绍在本产品的日常应用中是怎样将这些特性结合在一起使用的. 作为一名软件开发者,在我的职业生涯中,我常常会用到支持软件开发过程的大量开发工具,如版本号控制工具.漏洞跟踪包.生成脚本语言.单元測试框架和需求分析工具等等.在.NET平台上,大量的支持工具可以非常好地独立工作,可是,为了使得各种工具之间都够互相协作,还是常常须要一些手动工作. 随着Visual Studio产品线中Team Foundation

TFS使用文档-部署篇

在成功安装TFS之后,在你的安装目录(默认为~/tfs_bin),包含几个子目录bin.conf.include.lib.logs.script等. bin:包含tfs所有的可执行程序文件,如nameserver(NS).dataserver(DS).tfstool. conf:包含tfs的配置文件,如NS的配置文件ns.conf,DS的配置文件ds.conf. include:包含TFS客户端库相关的头文件,应用程序使用TFS需要包含这些头文件. lib: 包含TFS客户端的静/动态库,应用程

centos6.5上安装淘宝tfs系统

为了安装淘宝tfs文件系统,查了很多资料.若仅参考淘宝的官方文档,那么安装注定失败,因为在官方文档中很多依赖库并没有明确标出. 为了更方便的安装,我这里只写正确的安装过程,错误的解决就不详细描述了. 第一步:gcc降级 centos6.5上如果用yum安装gcc的话,默认是4.4.7版本.若以在gcc4.4.7的基础上安装tfs的话会出现许多莫名其妙的错,最后在网上 甚至搜索不到相关的错误信息.不过我们公司已经有大神安装成功,到时候看他能不能分享一下经验. yum install -y texi

TFS info

TFS(Taobao File System) TFS是一个高可扩展.高可用.高性能.面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问.TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中.它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性.同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化了文件的访问流程,一定程度上为TFS提

《淘宝技术这十年》读书笔记 (三). 创造技术TFS和Tair

前面两篇文章介绍了淘宝的发展历程和Java时代的变迁: <淘宝技术这十年>读书笔记 (一).淘宝网技术简介及来源 <淘宝技术这十年>读书笔记 (二).Java时代的脱胎换骨和坚若磐石 马云说过"创新不是为了与对手竞争,而是跟明天竞争",所以这篇文章讲述淘宝的创新技术TFS和Tair及创新的产品. 该篇文章不仅仅对在读大学生非常有所帮助,因为你能从文章中看到很多你需要学习的知识,不仅仅包括数据库.计算机网络.操作系统.数据结构等基础课程:还根据时代的技术变迁讲述了

淘宝TFS使用笔记(二):Q&amp;A

问题 1.nameserver主无法启动,提示服务已存在 1: [[email protected] keepalived]# /usr/local/tfs/scripts/tfs start_ns #启动ns出现错误,message和nameserver.log没有相关信息 2: /usr/local/tfs-2.2.16/bin/nameserver has been exist: pid: 3680 3: nameserver FAIL to up ... CHECK IT 4: [[em

Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

1 Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算也持续升温,怎样将海量数据近乎实时地处理,或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点.近年来,内存的吞吐量成指数倍增长,而磁盘的吞吐量增长缓慢,那么将原有计算框架中文件落地磁盘替换为文件落地内存,也是提高效率的优化点. 目前已经使用基于内存计算的分布式计算框架有:Spark.Impala及SAP的HANA等.但是其中不乏一些还是有文件落地磁盘的操作,如果能让这些落地磁盘的操作全部落

TFS的nginx模块配置

在部署完基本的tfs环境之后,就可以通过tfstool工具开始上传文件,上传完的文件可以通过ds_client工具来读取,也可以通过web方式来展示,本文介绍nginx的tfs模块配置来实现http形式展现tfs文件系统上传后的文件.当然如果你高兴的话,也可以用tengine来实现. 环境介绍: tfs nameserver服务器  192.168.1.225/24 tfs dataserver服务器  192.168.1.227/24 tfs-nginx服务器       192.168.1.