OpenStack_Swift源代码分析——ObjectReplicator源代码分析(1)

1、ObjectorReplicator的启动

首先执行启动脚本

swift-init object-replicator start

此执行脚本的执行过程和ring执行脚本执行过程差点儿相同。找到swift 源代码bin下的swift-object-replicator其代码例如以下所看到的

if __name__ == ‘__main__‘:
    parser = OptionParser("%prog CONFIG [options]")
    parser.add_option(‘-d‘, ‘--devices‘,
                      help=‘Replicate only given devices. ‘
                           ‘Comma-separated list‘)
    parser.add_option(‘-p‘, ‘--partitions‘,
                      help=‘Replicate only given partitions. ‘
                           ‘Comma-separated list‘)
    conf_file, options = parse_options(parser=parser, once=True)
    run_daemon(ObjectReplicator, conf_file, **options)

最后一行:

 run_daemon(ObjectReplicator, conf_file, **options)

也就是要运行run_daemon()函数。为其传入的是ObjectReplicator和配置文件參数已经选项參数,以下继续看run_daemon方法。他是swift/daemon.py下Daemon类中的方法。看详细代码实现:

def run_daemon(klass, conf_file, section_name=‘‘, once=False, **kwargs):
    """
    Loads settings from conf, then instantiates daemon "klass" and runs the
    daemon with the specified once kwarg.  The section_name will be derived
    from the daemon "klass" if not provided (e.g. ObjectReplicator =>
    object-replicator).

    :param klass: Class to instantiate, subclass of common.daemon.Daemon
    :param conf_file: Path to configuration file
    :param section_name: Section name from conf file to load config from
    :param once: Passed to daemon run method
    """
    # very often the config section_name is based on the class name
    # the None singleton will be passed through to readconf as is
    if section_name is ‘‘:
        #得到section_name = ojbect-replicator  sub()为正則表達式
        section_name = sub(r‘([a-z])([A-Z])‘, r‘\1-\2‘,
                           klass.__name__).lower()

    conf = utils.readconf(conf_file, section_name,
                          log_name=kwargs.get(‘log_name‘))

    # once on command line (i.e. daemonize=false) will over-ride config
    once = once or not utils.config_true_value(conf.get(‘daemonize‘, ‘true‘))

    # pre-configure logger
    if ‘logger‘ in kwargs:
        logger = kwargs.pop(‘logger‘)
    else:
        logger = utils.get_logger(conf, conf.get(‘log_name‘, section_name),
                                  log_to_console=kwargs.pop(‘verbose‘, False),
                                  log_route=section_name)

    # disable fallocate if desired
    if utils.config_true_value(conf.get(‘disable_fallocate‘, ‘no‘)):
        utils.disable_fallocate()
    # set utils.FALLOCATE_RESERVE if desired
    reserve = int(conf.get(‘fallocate_reserve‘, 0))
    if reserve > 0:
        utils.FALLOCATE_RESERVE = reserve

    # By default, disable eventlet printing stacktraces
    eventlet_debug = utils.config_true_value(conf.get(‘eventlet_debug‘, ‘no‘))
    eventlet.debug.hub_exceptions(eventlet_debug)

    # Ensure TZ environment variable exists to avoid stat(‘/etc/localtime‘) on
    # some platforms. This locks in reported times to the timezone in which
    # the server first starts running in locations that periodically change
    # timezones.
    os.environ[‘TZ‘] = time.strftime("%z", time.gmtime())

    try:
        #開始执行
        klass(conf).run(once=once, **kwargs)
    except KeyboardInterrupt:
        logger.info(‘User quit‘)
    logger.info(‘Exited‘)

因ObjectReplicator继承了Daemon类,代码片段

 klass(conf).run(once=once, **kwargs)

ObjectReplicator运行run方法,主要此时传入的once为False一般once在測试时能够设为True。

继续看run方法,在Objector中没有实现run方法,其继承了父类的方法,

    def run(self, once=False, **kwargs):
        """Run the daemon"""
        utils.validate_configuration()
        utils.drop_privileges(self.conf.get(‘user‘, ‘swift‘))
        utils.capture_stdio(self.logger, **kwargs)

        def kill_children(*args):
            #SIGTERM = 15  SIG_IGN = 1L
            signal.signal(signal.SIGTERM, signal.SIG_IGN)
            os.killpg(0, signal.SIGTERM)
            sys.exit()

        signal.signal(signal.SIGTERM, kill_children)
        if once:
            self.run_once(**kwargs)
        else:
            self.run_forever(**kwargs)

因once为False所以执行的是run_forever方法。从方法名字面上就能够看出这是一个永久执行的程序。也就是会成为守护进程。

  def run_forever(self, *args, **kwargs):
        self.logger.info(_("Starting object replicator in daemon mode."))
        # Run the replicator continually
        while True:
            start = time.time()
            self.logger.info(_("Starting object replication pass."))
            # Run the replicator
            #运行replicator 程序
            self.replicate()
            total = (time.time() - start) / 60
            self.logger.info(
                _("Object replication complete. (%.02f minutes)"), total)
            dump_recon_cache({‘object_replication_time‘: total,
                              ‘object_replication_last‘: time.time()},
                             self.rcache, self.logger)
            self.logger.debug(_(‘Replication sleeping for %s seconds.‘),
                              self.run_pause)
            #sleep 一段时间时间自己在部署时自己设定,也能够默觉得30秒
            sleep(self.run_pause)

在run_forever方法中会运行replicate()方法。下一节介绍replicate方法的详细实现

时间: 2024-11-05 20:49:28

OpenStack_Swift源代码分析——ObjectReplicator源代码分析(1)的相关文章

OpenStack_Swift源代码分析——ObjectReplicator源代码分析(2)

1.Replicator运行代码具体分析 上篇问中介绍了启动Replicator的详细过程,以下解说Replicator的运行代码的详细实现,首先看replicate方法: def replicate(self, override_devices=None, override_partitions=None): """Run a replication pass""" self.start = time.time() self.suffix_co

3. Gradle源代码编译以及源代码分析

一. Gradle简介 Gradle是一个基于Apache Ant和Apache Maven概念的项目自动化构建工具.它使用一种基于Groovy的特定领域语言(DSL)来声明项目设置,抛弃了基于XML的各种繁琐配置.---来源于百度 对于自己而言,作为一个Android程序员,我自己使用就是用它来编译android程序,以前用ant,现在用gradle. 但是个人觉得在android studio gradle属性又多又乱,不知道总共有哪些属性:同时对于框架,自己也不喜欢黑盒使用它,总觉得心里没

x264源代码简单分析:宏块分析(Analysis)部分-帧间宏块(Inter)

本文记录x264的 x264_slice_write()函数中调用的x264_macroblock_analyse()的源代码.x264_macroblock_analyse()对应着x264中的分析模块.分析模块主要完成了下面2个方面的功能: (1)对于帧内宏块,分析帧内预测模式(2)对于帧间宏块,进行运动估计,分析帧间预测模式 上一篇文章记录了帧内宏块预测模式的分析,本文继续记录帧间宏块预测模式的分析. 函数调用关系图 宏块分析(Analysis)部分的源代码在整个x264中的位置如下图所示

Memcached源代码分析 - Memcached源代码分析之消息回应(3)

文章列表: <Memcached源代码分析 - Memcached源代码分析之基于Libevent的网络模型(1)> <Memcached源代码分析 - Memcached源代码分析之命令解析(2)> <Memcached源代码分析 - Memcached源代码分析之消息回应(3)  > <Memcached源代码分析 - Memcached源代码分析之HashTable(4) > <Memcached源代码分析 - Memcached源代码分析之增删

通过分析 JDK 源代码研究 TreeMap 红黑树算法实现

TreeMap 的实现就是红黑树数据结构,也就说是一棵自平衡的排序二叉树,这样就可以保证当需要快速检索指定节点. TreeSet 和 TreeMap 的关系 为了让大家了解 TreeMap 和 TreeSet 之间的关系,下面先看 TreeSet 类的部分源代码: public class TreeSet<E> extends AbstractSet<E> implements NavigableSet<E>, Cloneable, java.io.Serializab

x264源代码简单分析:宏块分析(Analysis)部分-帧内宏块(Intra)

本文记录x264的 x264_slice_write()函数中调用的x264_macroblock_analyse()的源代码.x264_macroblock_analyse()对应着x264中的分析模块.分析模块主要完成了下面2个方面的功能: (1)对于帧内宏块,分析帧内预测模式(2)对于帧间宏块,进行运动估计,分析帧间预测模式 由于分析模块比较复杂,因此分成两篇文章记录其中的源代码:本文记录帧内宏块预测模式的分析,下一篇文章记录帧间宏块预测模式的分析. 函数调用关系图 宏块分析(Analys

OpenStack_Swift源码分析——ObjectReplicator源码分析(1)

1.ObjectorReplicator的启动 首先运行启动脚本 swift-init object-replicator start 此运行脚本的运行过程和ring运行脚本运行过程差不多,找到swift 源码bin下的swift-object-replicator其代码如下所示 if __name__ == '__main__': parser = OptionParser("%prog CONFIG [options]") parser.add_option('-d', '--de

OpenStack_Swift源码分析——ObjectReplicator源码分析(2)

1.Replicator执行代码详细分析 上篇问中介绍了启动Replicator的具体过程,下面讲解Replicator的执行代码的具体实现,首先看replicate方法: def replicate(self, override_devices=None, override_partitions=None): """Run a replication pass""" self.start = time.time() self.suffix_co

常用 Java 静态代码分析工具的分析与比较

转载自: http://www.oschina.net/question/129540_23043 简介: 本文首先介绍了静态代码分析的基本概念及主要技术,随后分别介绍了现有 4 种主流 Java 静态代码分析工具 (Checkstyle,FindBugs,PMD,Jtest),最后从功能.特性等方面对它们进行分析和比较,希望能够帮助 Java 软件开发人员了解静态代码分析工具,并选择合适的工具应用到软件开发中. 引言 在 Java 软件开发过程中,开发团队往往要花费大量的时间和精力发现并修改代