MogileFS安装

MogileFS是一款开源的、高性能的、分布式的文件系统,用于组建分布式文件集群。用来存取海量文件,而不用关心具体的文件存放位置、存储容量大小,以及文件损坏和丢失等问题

MogileFS有三大部分:存储节点、跟踪器、跟踪用的数据库

一、Trackers(跟踪器 ,调度器)——mogilefsd进程

  MogileFS的核心部分,mogilefsd进程就是trackers程序,做了很多工作,包括复制、删除、查询、监控等等。

  其默认的配置文件在/etc/mogilefs/mogilefsd.conf,可以自己指定

二、数据库(MySQL)部分

数据库用来存放MogileFS的元数据 (命名空间, 和文件在哪里),由Trackers来操作和管理它,可以用mogdbsetup程序来初始化数据库。

因为数据库保存了MogileFS的所有元数据,如果这儿出问题了,那么整个MogileFS将处于不可用状态,因此最好是HA结构

三、存储节点(Storage Nodes )——mogstored进程

  就是实际文件存放的地方,可通过配置来指定、加入和从集群中去掉。其默认配置文件: /etc/mogilefs/mogstored.conf

MogileFS安装步骤

1、需要先安装MySql

2、安装MySql的开发包devel 、安装MySql的share包,http://mirror.neu.edu.cn/mysql/Downloads/MySQL-5.6/

3、需要有Perl的环境,服务器已经自带了5.8.8版本的

·4、安装CPANMinus

  方法一:wget http://xrl.us/cpanm --no-check-certificate -O /sbin/cpanm  chmod +x /sbin/cpanm  

  方法二:wget -O- http://cpanmin.us --no-check-certificate | perl - --sudo --self-upgrade  这个会自动安装到/usr/bin/cpanm

5、利用cpanm来安装MogileFS的Perl模块,依次按照如下步骤安装

  • cpanm DBD::mysql
  • cpanm MogileFS::Server
  • cpanm MogileFS::Utils
  • cpanm MogileFS::Client

6、数据库配置

  6.1 在MySql数据库中创建MogileFS要使用的数据库和用户名

CREATE DATABASE MogileFS DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;
GRANT ALL ON MogileFS.* TO ‘mogile‘@‘%‘ IDENTIFIED BY ‘mogile‘;
//UPDATE mysql.user SET Password=PASSWORD(‘cc‘) where USER=‘mogile‘;
FLUSH PRIVILEGES

  6.2 配置和初始化数据库

mogdbsetup --dbhost=localhost --dbname=MogileFS --dbuser=mogile --dbpass=mogile

7、Tracker配置    

  7.1 创建配置文件的目录和Tracker配置文件

  比如在/usr/common下面 mkdir mogilefs文件夹,在下面nano mogilefsd.conf文件

# Database connection information
db_dsn = DBI:mysql:MogileFS:host=localhost
db_user = mogile
db_pass = cc
# IP:PORT to listen on for MogileFS client requests
listen = 0.0.0.0:7001
# Optional, if you don‘t define the port above.
conf_port = 7001
# Number of query workers to start by default.
query_jobs = 10
# Number of delete workers to start by default.
delete_jobs = 1
# Number of replicate workers to start by default.
replicate_jobs = 5
# Number of reaper workers to start by default.
# (you don‘t usually need to increase this)
reaper_jobs = 1

由于mogilefsd不能用root用户启动,所以添加mogile用户,并使用它来启动调度器

  adduser mogile
  su mogile
  mogilefsd -c /usr/common/mogilefs/mogilefsd.conf --daemon

  ps -ef |grep mogilefsd  终止服务:pkill mogilefsd

8、存储节点配置

  8.1  storage.conf

maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot=/usr/common/mogilefs/mogilefsdata/  数据存在什么根路径是由docroot来设置的

  8.2 启动存储节点,这个可以用root用户

mogstored -c /usr/common/mogilefs/storage.conf --daemon
停止:pkill mogstored

9、添加Storeage节点到Tracker

mogadm --trackers=<tracker_ip>:7001 host add <storage_node_name> --ip=192.168.174.104 --port=7500 --status=alive  mogadm host list

如果要修改MogileFS中主机的信息,一定要加上状态--status=alive,不然不能修改mogadm host modify storage_node_name --ip=192.168.1.106 --status=alive

10、添加存储设备到Storeage节点

mogadm device add <storage_node_name> ID

mogadm device list

mogadm device mark <storage_node_name> ID dead

11、创建域、类

创建域:mogadm domain add <domain_name>
检查“域”,显示存在的域:mogadm domain list

在"域"中建"类",并加入最小保存份数
mogadm class add <domain_name> <class_name> --mindevcount=2
检查“类”:mogadm class list
检查整个系统:mogadm --trackers=192.168.174.104:7001 check

安装中遇到的问题:https://blog.csdn.net/lian_xl/article/details/79666854

原文地址:https://www.cnblogs.com/xiaoliangup/p/9582371.html

时间: 2024-10-18 03:47:35

MogileFS安装的相关文章

分布式系统介绍及MogileFS安装、基本配置

分布式系统介绍及MogileFS安装.基本配置 分布式 MogileFS 大纲 前言: 什么是分布式? 分布式存在的意义? 分布式的难点及CAP.BASE.2PC.X/Open XA介绍 分布式存储和分布式文件系统: MogileFS实现原理: MogileFS编译安装和配置 总结 前言: 不知不觉中我们就进入大数据时代, 什么是大数据? 什么是分布式? 什么是云计算? 我们在后面都将介绍, 本篇文章, 我们主要讨论分布式系统; 什么是分布式? 分布式这个词听起来很高大上, 实际上在我们以前(作

分布式文件系统 Mogilefs 安装步骤

我这里的环境都是 RHEL 5 的环境. MySQL 数据库 和 tracker 都放到一台服务器上, 为 192.168.2.85 storage server两台, 分别为 192.168.2.98          192.168.2.222 第一:    安装 Mysql 数据库 Mysql的安装请大家直接下载 rpm 安装包最方便, 下载源码安装也很简单.我这里是使用 rpm 包安装. 安装完毕后使用命令   service  mysql  start  启动 启动后使用mysql的客

mogilefs安装配置和使用(2)

                                                mogilefs的简单安装配置和使用 安装此软件需要 使用 CPAN 或者 源码编译 或者 自己制作rpm包 此时我们使用已经制作好的rpm包 演示 环境介绍tracker + mysql  10.1.249.125storage 10.1.252.52 所需要的rpm包 MogileFS-Server-2.46-2.el6.noarch.rpm             MogileFS-Server

mogilefs分布式部署及说明

一.mogilefs介绍 二.mogilefs原理 三.mogilefs架构说明 四.mogile安装部署 一.mogilefs介绍 MogileFS是我们的开源分布式文件系统.其性能和特点包括: (1)应用程序级别 - 不需要特殊的内核模块. 没有单点故障 -  MogileFS设置的所有三个组件(存储节点,跟踪器和跟踪器的数据库)可以在多台机器上运行,因此没有单点故障. (您可以在与存储节点相同的计算机上运行跟踪器,因此您不需要4台计算机...)建议至少使用2台计算机. (2)自动文件复制

Web集群实现共享存储的架构演变及MogileFS

本篇博客从Web集群中亟需解决的大容量存储问题引入,分析了几类常用的共享存储架构,重点解析了分布式存储系统的原理及配置实现: =================================================================== 1 共享存储的架构演变 2 分布式存储系统 2.1 基础知识 2.2 分类 2.3 CAP理论 2.4 协议 3 MogileFS 3.1 特性 3.2 架构 3.3 组成 3.4 服务安装及启动 3.5 配置部署 3.6 配置前端代理N

分布式存储系统MogileFS(三)Nginx反向代理MogileFS

一.MogileFS简要说明 1.相关概念介绍 MogileFS是一个开源的分布式文件存储系统,MogileFS适用于存储海量小文件的工作场景,由LiveJournal旗下的Danga Interactive公司开发,该团队开发了包括 Memcached.MogileFS.Perlbal 等多个知名的开源项目. tracker节点:借助数据库保存各节点文件的元数据信息保存每个域中所有键的存储位置分布,方便检索定位数据位置的同时监控各节点,告诉客户端存储区位置并指挥storage节点复制数据副本,

共享存储之分布式文件系统应用及MogileFS基础应用

 **什么是分布式存储:    分布式存储系统,是将数据分散存储在多台独立的设备上.传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要.分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性.可用性和存取效率,还易于扩展. 分布式文件系统设计目标: ** 访问透明** 位置透明** 并发透明** 失效透明** 硬件透明** 可扩展性** 复制

L12 MogileFS详细应用配置与说明

MogileFS 概述: MogileFS是一个开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发.Danga团队开发了包括 Memcached.MogileFS.Perlbal 等多个知名的开源项目.目前使用MogileFS 的公司非常多,如日本排名先前的几个互联公司及国内的yupoo(又拍).digg.豆瓣.1号店.大众点评.搜狗和安居客等,分别为所在的组织或公司管理着海量的图片. MogileFS由3个部分组成: (1) server:主要包

深入浅出分布式文件系统MogileFS集群

    一,简介    MogileFS是一款开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发.Danga团队开发了包括 Memcached.MogileFS.Perlbal 等多个知名的开源项目.目前MogileFS的日益成熟使用此解决方法的公司越来越多,例如日本的又拍.digg.中国的豆瓣.1号店.大众点评.搜狗和安居客等,分别为所在的组织或公司管理着海量的图片.和传统网络存储不一样的是分布式文件系统是将数据分散存储至多台服务器上,而网络文件