MogileFS
概述：
MogileFS是一个开源的分布式文件存储系统，由LiveJournal旗下的Danga Interactive公司开发。Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。目前使用MogileFS 的公司非常多，如日本排名先前的几个互联公司及国内的yupoo(又拍)、digg、豆瓣、1号店、大众点评、搜狗和安居客等，分别为所在的组织或公司管理着海量的图片。
MogileFS由3个部分组成：
(1) server：主要包括mogilefsd和mogstored两个应用程序。mogilefsd实现的是tracker，它通过数据库来保存元数据信息，包括站点domain、class、host等；mogstored是存储节点(store node)，它其实是个WebDAV服务，默认监听在7500端口，接受客户端的文件存储请求。在MogileFS安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。
(2) utils（工具集）：主要是MogileFS的一些管理工具，例如mogadm等。
(3) 客户端API：MogileFS的客户端API很多，例如Perl、PHP、Java、Python等，用这个模块可以编写客户端程序，实现文件的备份管理功能等。
存储主机(节点)
这个是 MogileFS 存储文件存放在这些机器上,也是 mogstored 节点,也叫 Storage Server,一台存储主要都要启动一个 mogstored 服务.扩容就是增加这些机器.
设备(device)
一个存储节点,以就是上面的主机,可以有多个 device, 就是用来存放文件的目录(例如挂载的目录),每个设备都有一个设备id,需要在 mogstored 的配置文件中的 docroot 配置的项目 指定的目录下面创建相应的设备的目录,目录名为 $docroot/dev$id,设备是不能删除的.只能将其设备的状态的值置为dead,当一个设备 dead 之后,就真的 dead了,里面的数据也无法恢复了,且这个dead了的设备的 id 也不能再用.
简单示例图：
配置示例：
192.168.0.20 trackers mariadb （node1）
192.168.0.21 192.168.0.22 mogstored 节点 （node2 node3）
步骤：
一，node1：mogilefsd ，tracker+mysql配置
二，node2，node3：mogstored 节点配置
三，在node1配置mogilefs添加node1，2节点 （添加主机，设备，domain，class）
四，一些事项说明
一，node1：mogilefsd，tracker+mysql配置
1,安装mariadb
略
2，安装 mogiefsd
需要的软件包：（要安装完成需要epel源）
epel源
vi /etc/yum.repos.d/epel.repo
[epel]
name=epel
mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=epel-$releasever&arch=$basearch
enabled=1
gpgcheck=0
yum --nogpgcheck localinstall *.rpm
3,授权远程访问mysql的账户
MariaDB [(none)]> GRANT ALL ON *.* TO ‘root‘@‘192.168.0.%‘ IDENTIFIED BY ‘root‘ WITH GRANT OPTION;
Query OK, 0 rows affected (0.22 sec)
MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.15 sec)
4，初始化数据库 （建立mogilefs的数据库和用户）
使用mogdbsetup --help查看信息
[[email protected] ~]# mogdbsetup --dbhost=192.168.0.20 --dbrootuser=root --dbrootpass=‘root‘ --dbname=mogdb --dbuser=moguser --dbpass=mogpass
This will attempt to setup or upgrade your MogileFS database.
It won‘t destroy existing data.
Run with --help for more information. Run with --yes to shut up these prompts.
Continue? [N/y]: y
Create/Upgrade database name ‘mogdb‘? [Y/n]: y
Grant all privileges to user ‘moguser‘, connecting from anywhere, to the mogilefs database ‘mogdb‘? [Y/n]: y
4，配置mogilefsd
[[email protected] mogilefs]# cp mogilefsd.conf{,.bak}
[[email protected] mogilefs]# ls
mogilefsd.conf mogilefsd.conf.bak mogstored.conf
[[email protected] mogilefs]# vim mogilefsd.conf
daemonize = 1 #运行为后台守护进程
pidfile = /var/run/mogilefsd/mogilefsd.pid
db_dsn = DBI:mysql:mogdb:host=192.168.0.20
db_user = moguser
db_pass = mogpass
listen = 0.0.0.0:7001
conf_port = 7001
query_jobs = 10 #并发响应客户端请求数
delete_jobs = 1 #删除请求的线程数
replicate_jobs = 5 #用于做复制的线程数
reaper_jobs = 1 #
#fsck_jobs = 1 #文件系统检查的进程（一般不必要开）
二，node2，node3 ：mogstored 节点配置
1，安装 mogstored
软件包复制到node2，node3
scp -r /mogilefs node2:/
scp -r /mogilefs node3:/
注意也要有epel源
yum install *.rpm -y
yum install perl-IO-AIO -y ---在mogstored节点必须安装这个组件
2，配置
[[email protected] mogilefs]# vim /etc/mogilefs/mogstored.conf
maxconns = 10000 #最大并发连接数
httplisten = 0.0.0.0:7500 #http监听
mgmtlisten = 0.0.0.0:7501 #tracter来监测mogstored健康状态的
docroot = /var/mogdata #文件存储的目录
两个节点分别创建文件存储目录（最好使用新分区，这里直接使用系统目录使用）
dev1，dev2 中 dev为固定文件名，1，2区分两个节点的设备名
node2
mkdir /var/mogdata/dev1 -p
node3
mkdir /var/mogdata/dev2 -p
chown mogilefs.mogilefs /var/mogdata/ -R #一定要修改权限。
启动服务
三，在node1配置mogilefs添加node1，2节点 （添加主机，设备，domain，class）
MogileFS-Utils-2.19-1.el6.noarch.rpm 包有很多工具，使用这些工具配置。
mogadm 工具使用：
mogadm --help
man mogadm
监测自己，tracker是否状态正常。
mogstats 命令连接mysql查看tracker状态
mogstats --help
添加mogstrore节点：
使用添加主机方法：
添加 192.168.0.21 主机，查看信息
[[email protected] mogilefs]# mogadm --trackers=192.168.0.20:7001 host add mg1 --ip=192.168.0.21 --status=alive
[[email protected] mogilefs]# mogadm --trackers=192.168.0.20:7001 host list
mg1 [1]: alive
IP: 192.168.0.21:7500
添加 192.168.0.22 主机，查看信息
[[email protected] mogilefs]# mogadm --trackers=192.168.0.20:7001 host add mg2 --ip=192.168.0.22 --status=alive
[[email protected] mogilefs]# mogadm --trackers=192.168.0.20:7001 host list
mg1 [1]: alive
IP: 192.168.0.21:7500
mg2 [2]: alive
IP: 192.168.0.22:7500
添加设备方法：
mogadm --trackers=192.168.0.20:7001 device add mg1 1
mogadm --trackers=192.168.0.20:7001 device add mg2 2
mogadm --trackers=192.168.0.20:7001 device list #查看
添加domain
添加class
使用命令测试：
mogupload上传
mogfetch 下载
[[email protected] mogilefs]# mogupload #使用方法
Usage: /usr/bin/mogupload --trackers=host --domain=foo --key=‘/hello.jpg‘ --file=‘./hello.jpg‘
You have new mail in /var/spool/mail/root
[[email protected] mogilefs]# mogupload --trackers=192.168.0.20:7001 --domain=images --key=‘/1.jpg‘ --file=/abc.jpg #上传本地图片/abc.jpg 访问路径为/1.jpg
[[email protected] mogilefs]# mogfileinfo
Usage: /usr/bin/mogfileinfo --trackers=host --domain=foo --key=‘/hello.jpg‘
[[email protected] mogilefs]# mogfileinfo --trackers=192.168.0.20:7001 --domain=images --key=‘/1.jpg‘
- file: /1.jpg
class: default
devcount: 2
domain: images
fid: 2
key: /1.jpg
length: 15299
- http://192.168.0.21:7500/dev1/0/000/000/0000000002.fid
- http://192.168.0.22:7500/dev2/0/000/000/0000000002.fid #保存的两个副本
在node2和node3节点查看mogdata目录：
至此，简单配置完成。
四，一些事项说明
客户端访问url和冗余负载均衡
客户端可以直接访问：
Nginx 做为 MogileFS 的前端客户端
我们使用 Nginx 来获取文件,做前端的查询代理时需要使用到mogilefs的这个模块.可以下载这个模块编译进 Nginx 就行了.直接使用 ./configure –add-module= 这个参数就可以了.
最新的这个模块的下载地址是:https://github.com/vkholodkov/nginx-mogilefs-module
使用这个需要考虑到网站原来的 url 是什么样的.比如:
http://www.a.com/uploads/front_page/A6B00135E24AB17E043B9B5453762438.png
这个 URL 中的 UUID 是 A6B00135E24AB17E043B9B5453762438.png.这时我们使用这个做 key 来存成 MogileFS 中就行.
再结合 rewrite,只要 key 在 url 里有,就能直接代理到后端的 mogilefs.象如下的写法,会直接取 A6B00135E24AB17E043B9B5453762438.png 来做查询用的 key.
location ~ ([^\/]+)$ {
mogilefs_tracker 192.168.1.xxx:7001;
mogilefs_domain img;
mogilefs_methods GET;
mogilefs_noverify on;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
负载均衡：
如果使用了多个 tracker 的话,要配置使用多个 tracker 来进行负载均衡和备份.可以直接配置 tracker 为 upstrame:
upstream online_mogilefs {
server 10.0.0.1:7001;
server 10.0.0.2:7001;
}
然后后面配置 tracker 的连接时,直接加上就行了
mogilefs_tracker online_mogilefs;
如果你还想配置使用 mogilefs 的 Nginx 上传,使用其中的 put 功能然后就不要安装客户端上传送,就需要打个补丁.
上面的配置其实也是一样,关键对于上传的配置,需要给方法修改为
mogilefs_methods PUT DETEL;