zimg和TFS搭建分布式图片服务器---tfs安装

1、挂载ISO,在最后增加如下一行

[[email protected] ~]# vi /etc/fstab

/dev/cdrom/mediaiso9660 defaults0 0

2、更改yum源

[[email protected] ~]# vi /etc/yum.repos.d/CentOS-Media.repo

[c6-media]
name=CentOS-$releasever - Media
baseurl=file:///media
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

3、删除其他yum源文件

[[email protected] yum.repos.d]# rm -rf CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Vault.repo

只保留一个

-rw-r--r--. 1 root root 559 8月   3 23:49 CentOS-Media.repo

4、清空yum缓存

[[email protected] yum.repos.d]# yum clean all

5、挂载硬盘(已增加1块硬盘为例)

现在虚拟机上或实际机器中增加一块硬盘

[[email protected] yum.repos.d]# fdisk -l

6、分区

[[email protected] /]# fdisk /dev/sdb

依次输入“n”,“p”“1”,两次回车,“w”

7、格式化

[[email protected] /]# mkfs.ext4 /dev/sdb1

8、给/dev/sdb1磁盘,创建挂载目录

[[email protected] /]# mkdir -p /data/tfs1

9、挂载/dev/sdb1磁盘到/data/tfs1上

[[email protected] /]# mount /dev/sdb1 /data/tfs1

10、验证是否挂载成功

[[email protected] /]# df -h

11、加入启动时自动挂载

之后可以重启机器,看是否正常挂载

[[email protected] ~]# mount -l

-------------------------------分隔线---------------------------------------

下面正式安装TFS及相关服务

一、安装依赖的软件包

1、automake TFS基于automake工具构建

[[email protected] ~]# yum install automake.noarch

提示 Package automake-1.11.1-4.el6.noarch already installed and latest version (已安装)

[[email protected] ~]# rpm -qa | grep automake
automake-1.11.1-4.el6.noarch

2、libtool automake需要使用libtool

[[email protected] ~]# yum install libtool

[[email protected] ~]# rpm -qa | grep libtool
libtool-2.2.6-15.5.el6.x86_64
libtool-ltdl-2.2.6-15.5.el6.x86_64

3、realine 用于命令行编辑的库

[[email protected] ~]# yum install readline-devel

[[email protected] ~]# rpm -qa | grep readline
readline-devel-6.0-4.el6.x86_64
readline-6.0-4.el6.x86_64

4、libz-devel 用于数据压缩/解压缩

[[email protected] ~]# yum install zlib-devel

[[email protected] ~]# rpm -qa | grep zlib-devel
zlib-devel-1.2.3-29.el6.x86_64

5、uuid-devel 用于生成全局唯一ID

[[email protected] ~]# yum install e2fsprogs-devel

[[email protected] ~]# rpm -qa | grep e2fsprogs
e2fsprogs-libs-1.41.12-14.el6.x86_64
e2fsprogs-devel-1.41.12-14.el6.x86_64
e2fsprogs-1.41.12-14.el6.x86_64

[[email protected] ~]# yum install libuuid-devel

[[email protected] ~]# rpm -qa | grep libuuid
libuuid-2.17.2-12.9.el6.x86_64
libuuid-devel-2.17.2-12.9.el6.x86_64

6、tcmalloc google的内存管理库(可选)

二、安装tb-common-utils

TFS使用tb-common-utils软件包,tb-common-utils包含淘宝使用的基础系统库tbsys和网络库tbnet两个组件;安装tb-common-utils前需要设置环境变量TBLIB_ROOT,tbsys和tbnet将会被安装TBLIB_ROOT对应的路径(必须是绝对路径)下,TFS会在这个路径下查找tbsys、tbnet头文件和库。
设置TBLIB_ROOT环境变量:
1、在~/.bash_profile文件中加入,export TBLIB_ROOT=path_to_tbutil , 然后执行source

[[email protected] ~]# vi /root/.bash_profile

[[email protected] ~]# source /root/.bash_profile

2、下载tb-common-utils源码

注意: 这里不要checkout最新版本,version18以后的修改导致部分接口不能前向兼容

[[email protected] ~]# svn co -r 18 http://code.taobao.org/svn/tb-common-utils/trunk tb-common-utils

[[email protected] tb-common-utils]# sh build.sh

如果一切顺利,tb-common-utils已经安装成功到$TBLIB_ROOT路径下

三、安装TFS

1、下载源码,2.2.0版本

[[email protected] ~]# svn co http://code.taobao.org/svn/tfs/branches/dev_for_outer_users tfs

2、初始化

[[email protected] tfs-2.2.9]# sh build.sh init

初始化成功

3、编译

–prefix 指定tfs安装路径,默认会被安装到~/tfs_bin目录
–with-release 指定按release版本的参数进行编译,如果不指定这个参数,则会按开发版本比较严格的参数编译,包含-Werror参数,所有的警告都会被当错误,在高版本gcc下会导致项目编译不过,很多开源用户反馈的编译问题都跟这个有关,因为gcc高版本对代码的检查越来越严格,淘宝内部使用的gcc版本是gcc-4.1.2

[[email protected] tfs]# ./configure --prefix=/usr/local/taobaoFS --with-release --without-tcmalloc

[[email protected] tfs]# make

[[email protected] tfs]# make install

四、配置文件:

ns.conf:

ds.conf:

注意:挂载目录是/data/tfs1至/data/tfs(i),其中i为磁盘号。
而ds.conf配置文件中的配置  mount_name =  /data/tfs  没有加(i)

配置文件具体查看《tfs介绍及配置文件详解》

五、启动说明:
1、运行TFS
启动nameserver
执行scripts目录下的tfs:

[[email protected] scripts]# ./tfs start_ns
 nameserver is up SUCCESSFULLY pid: 36609

2、启动DS
现有TFS可以在一台服务器上启动多个DataServer进程。一般每个DataServer进程负责一个磁盘。
将数据盘格式化成EXT4文件系统,并挂载到/data/tfs1至/data/tfs(i),其中i为磁盘号。
启动步骤:
A、存储区预分配。执行scripts下的stfs format n (n为挂载点的序号,具体用法见stfs的Usage)。例如stfs format 2,4-6 则会对/data/tfs2,
/data/tfs4,/data/tfs5,/data/tfs6,进行预分配。运行完后会在生成/data/tfs2, /data/tfs4,/data/tfs5,/data/tfs6下预先创建主块,扩展块及相应的统计信息。

[[email protected] scripts]# ./stfs clear 1

[[email protected] scripts]# ./stfs format 1

B、运行data server。有两种方法:
通过adminserver来启动dataserver(推荐): 执行scripts下的./tfs admin_ds
直接启动dataserver,执行scripts下的./tfs start_ds 2,4-6, 则会启动dataserver2,dataserver4,dataserver5,dataserver6

[[email protected] scripts]# ./tfs start_ds 1

时间: 2025-01-15 12:31:31

zimg和TFS搭建分布式图片服务器---tfs安装的相关文章

zimg和TFS搭建分布式图片服务器---zimg安装

准备: 先建目录: [[email protected] f2c-zimg]# mkdir /tools/     //所有依赖包都放到tools下 [[email protected] f2c-zimg]# mkdir /work      //zimg放到work下 安装gcc和gcc-c++ yum  -y  install   gcc  gcc-c++ 1.安装Openssl (这个很关键,必须先安装) tar zxvf  openssl-1.0.1e.tar.gz ./config s

搭建Nginx图片服务器

搭建Nginx图片服务器 Part-I 安装Nginx 安装PCRE 下载 ngx_cache_purge 并解压,用来清除缓存 下载Nginx并解压 cd nginx-1.7.7 编译,--prefix使用默认值,则nginx安装在/usr/local/nginx ./configure --user=www --group=www --add-module=../ngx_cache_purge-1.0 --with-http_stub_status_module --with-http_ss

转:Linux下使用Nginx搭建简单图片服务器

最近经常有人问图片上传怎么做,有哪些方案做比较好,也看到过有关于上传图片的做法,但是都不是最好的,今天再这里简单讲一下Nginx实现上传图片以及图片服务器的大致理念. 如果是个人项目或者企业小项目,仅仅只有十来号人使用的小项目,可以使用如下方案: 用户访问系统,使用上传图片功能,那么图片就上传到你的当前项目所在的tomcat服务器上,在/image下,上传成功后用户可以直接访问 http://ip:port/project/images/xxx.jpg 这样做在用户少的时候是没有问题的 当你的企

使用iis并搭建 iis 图片服务器

1.打开控制面板 2.程序-卸载程序 3.点击左边的 打开或关闭windows功能 4.如下图所示,找到internet信息服务勾选.顺便把FTP服务器也全部勾选了,后面会用到 5.进入 控制面板 – 系统与安全 – 管理工具 - Internet 信息服务(IIS)管理器 6.进入iis管理页面 7.网站那里右键选择添加网站 8.输入名称,选择好物理路径,选好ip地址和端口(默认80),勾选立即启动网站,点击确定 9.找到刚创建的网站名称,右键管理网站-浏览,在浏览器里打开网站 10.出现错误

使用rsync+inotify+apache做分布式图片服务器的部署方法

图片服务器一般是做成分布式的,但要使得所有的图片服务器的文件一致,可以由一个主服务器将文件推送到各个备份服务器上. rsync:文件差异检查及文件推送 inotify:事件触发,实时检测到添加.删除.修改文件事件 apache:http文件服务器. 详细部署方法见文档

FastDFS分布式图片服务器搭建

一:Fastdfs简介 1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统.FastDFS 为互联网量身定制, 充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传.下载等服务. FastDFS 架构包括 Tracker server 和 Storage server.客户端请求 Tracker server 进行文 件上传.下载,通过 Tracker server

七、集群搭建-Fadfs图片服务器

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文件为载体的在线服务,如相册网站.视频网站等等. FastDFS为互联网量身定制,充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传.下载等服务. 简介 FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage

集群搭建-Fadfs图片服务器

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文件为载体的在线服务,如相册网站.视频网站等等. FastDFS为互联网量身定制,充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传.下载等服务. 简介 FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage

Python中使用Flask、MongoDB搭建简易图片服务器

1.前期准备 通过 pip 或 easy_install 安装了 pymongo 之后, 就能通过 Python 调教 mongodb 了.接着安装个 flask 用来当 web 服务器. 当然 mongo 也是得安装的. 对于 Ubuntu 用户, 特别是使用 Server 12.04 的同学, 安装最新版要略费些周折, 具体说是 ? 1 2 3 4 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB