分布式文件系统 Mogilefs 安装步骤

我这里的环境都是 RHEL 5 的环境。

MySQL 数据库 和 tracker 都放到一台服务器上, 为 192.168.2.85

storage server两台, 分别为 192.168.2.98          192.168.2.222

第一:    安装 Mysql 数据库

Mysql的安装请大家直接下载 rpm 安装包最方便, 下载源码安装也很简单。我这里是使用 rpm 包安装。

安装完毕后使用命令   service  mysql  start  启动

启动后使用mysql的客户端进入     mysql  -uroot  -p   , 然后回车, 默认空密码, 接着回车进入到mysql的控制台。

我们把mysql的访问密码修改为 111111

修改命令为 :

use  mysql;

update user set Password=password(‘111111‘)   where  user=‘root‘;

quit;

然后把mysql 重新启动。

service  mysql  stop

service  mysql  start

第二 :  安装依赖包

执行命令 : perl -MCPAN -e shell   进入 perl 依赖包安装模式

install Danga::Socket
install DBI
install Net::Netmask
install Gearman::Server
install Gearman::Client::Async 
install IO::AIO
install Perlbal

install Mysql

install MogileFS::Server

install MogileFS::Client
install MogileFS::Utils

上述依赖包全部安装完毕后退出。

找到DBD模块所在的目录,我的目录为   /root/.cpan/build/  , 这个目录是上面安装时下载的各种依赖包。

cd  DBD-mysql-3.0008

perl Makefile.PL  --libs="-L/usr/lib64/mysql -lmysqlclient -L/usr/lib64 -lz " --cflags=-I/usr/include/mysql  --mysql_config=/usr/bin/mysql_config  --testhost=127.0.0.1 --testdb=test --testuser=root --testpassword=111111

make

make test

make install

第三: 建立数据库和创建表

进入mysql 的控制台   mysql  -uroot -p111111  , 执行下面的命令

# mysql

mysql> CREATE DATABASE mogilefs;
mysql> GRANT ALL ON mogilefs.* TO ‘mogile‘@‘%‘;
mysql> SET PASSWORD FOR ‘mogile‘@‘%‘ = OLD_PASSWORD( ‘111111‘ );
mysql> FLUSH PRIVILEGES;
mysql> quit

然后再执行下面的命令创建表

mogdbsetup --dbhost=127.0.0.1 --dbname=mogilefs --dbuser=root --dbpassword=111111 --yes --verbose

第四 : 配置 tracker 的配置文件

用 root 用户执行

adduser mogile

mkdir /etc/mogilefs

[plain] view plain copy

  1. <span style="font-size:18px;">[[email protected] mogilefs]# vi /etc/mogilefs/mogilefsd.conf
  2. # Enable daemon mode to work in background and use syslog
  3. daemonize = 0
  4. # Where to store the pid of the daemon (must be the same in the init script)
  5. pidfile = /var/run/mogilefsd/mogilefsd.pid
  6. # Database connection information
  7. db_dsn = DBI:mysql:mogilefs:host=127.0.0.1
  8. db_user = root
  9. db_pass = 111111
  10. # IP:PORT to listen on for mogilefs client requests
  11. listen = 192.168.2.85:7001
  12. # Optional, if you don‘t define the port above.
  13. conf_port = 7001
  14. # Number of query workers to start by default.
  15. query_jobs = 10
  16. # Number of delete workers to start by default.
  17. delete_jobs = 1
  18. # Number of replicate workers to start by default.
  19. replicate_jobs = 5
  20. # Number of reaper workers to start by default.
  21. # (you don‘t usually need to increase this)
  22. reaper_jobs = 1
  23. # Number of fsck workers to start by default.
  24. # (these can cause a lot of load when fsck‘ing)
  25. #fsck_jobs = 1
  26. # Minimum amount of space to reserve in megabytes
  27. # default: 100
  28. # Consider setting this to be larger than the largest file you
  29. # would normally be uploading.
  30. #min_free_space = 200
  31. # Number of seconds to wait for a storage node to respond.
  32. # default: 2
  33. # Keep this low, so busy storage nodes are quickly ignored.
  34. #node_timeout = 2
  35. # Number of seconds to wait to connect to a storage node.
  36. # default: 2
  37. # Keep this low so overloaded nodes get skipped.
  38. #conn_timeout = 2
  39. # Allow replication to use the secondary node get port,
  40. # if you have apache or similar configured for GET‘s
  41. #repl_use_get_port = 1</span>

执行如下命令来启动

su  mogile

[[email protected] mogilefsd]$ mogilefsd -c /etc/mogilefs/mogilefsd.conf --daemon
[[email protected] mogilefsd]$ ps -aux|grep mogilefsd  查看是否启动 mogilefsd 成功

第五:配置 storage server 的配置文件

adduser mogile
mkdir /var/mogdata
mkdir /var/mogdata/dev1   (第二台目录为 /var/mogdata/dev2)
chown mogile:mogile /var/mogdata/dev1
mkdir /etc/mogilefs

[html] view plain copy

  1. <span style="font-size:18px;">[[email protected] mogilefs]# vi /etc/mogilefs/mogstored.conf
  2. maxconns = 10000
  3. httplisten = 0.0.0.0:7500
  4. mgmtlisten = 0.0.0.0:7501
  5. docroot = /var/mogdata
  6. </span>

执行如下命令来启动

找到 MogileFS-Server-2.51 所在的目录,我的为 /root/.cpan/build/

cd  MogileFS-Server-2.51

perl Makefile.PL

make

make test

make install

然后启动storage server

[[email protected] MogileFS-Server-2.51]# mogstored --daemon
[[email protected] MogileFS-Server-2.51]# ps -aux|grep mogstored

第六:添加 storage 服务器到 tracker服务器进行记录

切换到 tracker 服务器 192.168.2.85

执行如下命令

mogadm --trackers=192.168.2.85:7001 host add mogilestorage1 --ip=192.168.2.98 --port=7500 --status=alive

mogadm --trackers=192.168.2.85:7001 host add mogilestorage2 --ip=192.168.2.222 --port=7500 --status=alive

添加完毕后使用下面的命令来检查添加的结果

mogadm --trackers=192.168.2.85:7001 host list

下来添加硬盘设备让tracker服务器进行管理

mogadm --trackers=192.168.2.85:7001 device add mogilestorage1   1

mogadm --trackers=192.168.2.85:7001 device add mogilestorage2   2

执行如下命令 来查看添加的结果

mogadm --trackers=192.168.2.85:7001 device list

还可以执行如下命令来查看详细的硬盘资料

mogadm --trackers=192.168.2.85:7001 check

添加测试域的命令如下

mogadm --trackers=192.168.2.85:7001 domain add testdomain

mogadm --trackers=192.168.2.85:7001 class add testdomain normal

mogilefs 文件系统是与API的形式提供给客户端使用的, 你需要通过自己的代码来集成API。

有第三方封装的PHP的, Java的, RUBY的, PERL的。

我打算使用perl + fuse 的方式来使用, 但是 perl的fuse模块无法编译过去,晕死了。

遇到了这样的错误:

Fuse.xs:43: error: expected specifier-qualifier-list before ‘tTHX‘

http://blog.csdn.net/langeldep/article/details/6637517

时间: 2024-11-07 13:10:33

分布式文件系统 Mogilefs 安装步骤的相关文章

分布式文件系统glusterfs安装步骤

我的系统是 RHEL5 , 可能环境不一样, 需要安装的第三方依赖不一样啊, 反正大家在安装的过程中缺少什么就去安装什么, 一般都会有提示的. 下载   glusterfs-3.2.0.tar.gz  源码包. 随便解压到一个目录. glusterfs 需要 fuse 的支持, 在安装开始之前请先安装 fuse. fuse可以到http://fuse.sourceforge.net/进行下载 安装fuse的步骤如下: ./configure make make install glusterfs

分布式文件系统MooseFS安装步骤

1.    安装 1.1 准备安装环境 首先选择一台比较好的服务器做master,如果可以在选择一台做为master的备份服务器最好.然后其他的服务器当chunkserver. 为了方便说明问题,我这里选择为: Master 服务器 1台  192.168.2.98 Chunkserver 服务器 2台  192.168.2.222 和 192.168.2.223 Client 服务器 1台 192.168.2.55 1.2 安装步骤 (1). fuse-2.8.5.tar.gz (2). mf

分布式文件系统 fastDFS 安装步骤

安装 fastDFS 很简单. 先安装 libevent, 安装成功后,安装fastDFS. ./make.sh ./make.sh install 我使用一台tracker服务器  192.168.2.85, 两台storage服务器  192.168.2.98     192.168.2.222 启动tracker服务器之前,先执行  mkdir  -p  /home/yuqing/fastdfs  , 因为这个目录是默认配置文件 tracker.conf 里面生成日志文件的目录. 执行下面

MFS分布式文件系统之安装部署

MFS分布式文件系统之安装部署 Moose File System 是一个具备容错功能的网络分布式文件系统,它将数据分布在网络中的不同服务器上 管理服务器 (managing server) 负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝 元数据日志服务器 (Metalogger server) 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作 数据存储服务器 (d

深入浅出分布式文件系统MogileFS集群

    一,简介    MogileFS是一款开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发.Danga团队开发了包括 Memcached.MogileFS.Perlbal 等多个知名的开源项目.目前MogileFS的日益成熟使用此解决方法的公司越来越多,例如日本的又拍.digg.中国的豆瓣.1号店.大众点评.搜狗和安居客等,分别为所在的组织或公司管理着海量的图片.和传统网络存储不一样的是分布式文件系统是将数据分散存储至多台服务器上,而网络文件

分布式文件系统 ~MogileFS~

  一.分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可以支持大数量的节点以及PB级的数量存储.相对地,在一个分享的磁盘文件系统中,所有节点对数据存储区块都有相同的访问权,在这样的系统中,访问权限就必须由客户端程序来控制.分布式文件系统可能包含的功能有:透通的数据复制与容错.也就是说,即使系统中有一小部份的节点脱机,整体来说系统仍然可以持续运作而不会有数据

分布式文件系统MogileFS

MogileFS 是一个开源的分布式文件系统,用于组建分布式文件集群,由 LiveJournal 旗下 Danga Interactive 公司开发,Danga 团队开发了包括 Memcached.MogileFS.Perlbal 等不错的开源项目:(注:Perlbal 是一个强大的 Perl 写的反向代理服务器).目前国内使用 MogileFS 的有图片托管网站 yupoo 等. MogileFS 特性 1. 应用层 – 不需要特殊的核心组件 2. 无单点失败 - MogileFS分布式文件存

Linux下分布式文件系统FastDFS安装与配置

1.fastdfs 分布式文件系统,对文件进行管理,主要功能包括文件存储.文件同步.文件访问(文件的上传和下载)等, 解决了大容量存储和负载均衡的问题. 2.fastdfs的两个核心分别是跟踪器(tracker)和存储节点(storage),其中tracker主要的功能是完成调度工作和实现负载均衡, storage主要的功能是存储数据. 3.fastdfs文件分布系统中实现文件上传下载的原理: 上传: 1)Client(客户端)要通过Tracker server(跟踪服务器)将文件上传到Stor

分布式文件系统mogilefs的简单应用

简介 MogileFS是一个开源的分布式文件存储系统,由LiveJournal旗下的DangaInteractive公司开发.Danga团队开发了包括Memcached.MogileFS.Perlbal等多个知名的开源项目. 特性 1.应用层:用户空间文件系统,无须特殊的核心组件 2.无单点:(tracker, mogstore, database(MySQL)) 3.自动文件复制:复制的最小单位不是文件,而class: 4.传输中立,无特殊协议:可以通过NFS或HTTP进行通信: 5.简单的命