kubernetes log 流式数据处理

PS: 最近在重构公司的业务容器化平台,记录一块。关于容器日志的, kubernetes python API本身提供了日志流式数据,在以前的版本是不会输出新数据的,后续版本进行了改进。

直接上代码

Flask 前端路由块


# Router
"""获取项目pod的日志"""
@api_cluster_pod.route(‘/<env>/<cluster_name>/pod/<pod_name>/log‘)
@env_rules
def api_cluster_pod_log(env, cluster_name, pod_name):
    """查看pod的log"""

    tail_lines = request.values.get("tail_lines", 1000)
    namespace = request.values.get("namespace", "")

    # 生成Config Object
    try:
        cluster_config = ClusterConfig(
            env=env,
            cluster_name=cluster_name,
            namespace=namespace
        )
    except Exception as e:
        return jsonify(dict(
            code=5000,
            message=‘获取集群接口时未找到对应条目, 信息:{0}‘.format(str(e))
        ))

    try:
        poder = Pod( cluster_config)
        resp = Response(stream_with_context(poder.get_pod_log(pod_name, tail_lines)), mimetype="text/plain")
        return resp

    except Exception as e:
        return jsonify(dict(
            code=7000,
            message=str(e)
        ))

Flask 后端代码块

# 后台功能
class Pod:
    ...
       def get_pod_log(self, pod_name, tail_lines=100):
        """
        获取pod的日志
        :param tail_lines: # 显示最后多少行
        :return:
        """
        try:
            # stream pod log
            streams = self.cluster.api.read_namespaced_pod_log(
                pod_name,
                self.cluster_config.namespace,
                follow=True,
                _preload_content=False,
                tail_lines=tail_lines).stream()
            return streams

        except ApiException as e:
            if e.status == 404:
                logger.exception("Get Log not fund Podname: {0}".format(pod_name))
                raise PodNotFund("获取日志时,未找到此pod: {0}".format(pod_name))
            if e.status == 400:
                raise PodNotFund("容器并未创建成功,请联系运维人员进行排查。")
            raise e
        except Exception as e:
            logger.exception("Get Log Fail: {0}".format(str(e)))
            raise e

HTML

<!DOCTYPE>
<html>
<head>
    <title>Flushed ajax test</title>
    <meta charset="UTF-8" />
    <script type="text/javascript" src="https://cdn.bootcss.com/jquery/3.0.0/jquery.min.js"></script>

    <style>
        #log-container {
            height: 800px;
            /*width: 800px;*/
            overflow-x: scroll;
            padding: 10px;
        }
        .logs {
            background-color: black;
            color: aliceblue;
            font-size: 18px;
        }
    </style>
</head>
<body>
<div id="log-container">
    <pre class="logs">
    </pre>
</div>

<script type="text/javascript">
    var last_response_len = false;
    var logs = $("#log-container");
    $.ajax(‘http://localhost/api/pre/ops-test/pod/ops-test-1211763235-jfbst/log?tail_lines=100‘, {
        xhrFields: {
            onprogress: function(e)
            {
                var this_response, response = e.currentTarget.response;
                if(last_response_len === false)
                {
                    this_response = response;
                    last_response_len = response.length;
                }
                else
                {
                    this_response = response.substring(last_response_len);
                    last_response_len = response.length;
                }
                // console.log(this_response);
                // 接收服务端的实时日志并添加到HTML页面中
                $("#log-container pre").append(this_response);
                // 滚动条滚动到最低部
                $("#log-container").scrollTop($("#log-container pre").height() - $("#log-container").height() + 10);
            }
        }
    })
        .done(function(data)
        {

            console.log(‘Complete response = ‘ + data);
        })
        .fail(function(data)
        {
            console.log(‘Error: ‘, data);
        });
    console.log(‘Request Sent‘);
</script>
</body>
</html>

其它

我们应用是前后端分离的,把html里面的核心代码放置VUE里面就可以了。

效果图

日志是流式的,如果Container有日志,则窗口会运态更新。

原文地址:http://blog.51cto.com/cwtea/2329270

时间: 2024-08-06 00:55:56

kubernetes log 流式数据处理的相关文章

流式数据处理的计算模型 转

分类: 大数据 接触这块将近3个月左右,期间给自己的定位也是业务层开发.对平台级的产品没有太深入的理解和研究,所以也不能大谈特谈什么storm架构之类的了. 说说业务中碰到流式计算问题吧: 1.还是要介绍下简要的架构(原谅我不会画图) 流式数据接入层------------------->流式数据处理层------------------->结果数据归档层 || || || V 中间数据存储层 所有的数据通过接入层源源不断地进入到这个系统, 在数据处理层得到相应的计算存储, 最后将结果写入到归

Spark Streaming:大规模流式数据处理的新贵(转)

原文链接:Spark Streaming:大规模流式数据处理的新贵 摘要:Spark Streaming是大规模流式数据处理的新贵,将流式计算分解成一系列短小的批处理作业.本文阐释了Spark Streaming的架构及编程模型,并结合实践对其核心技术进行了深入的剖析,给出了具体的应用场景及优化方案. 提到Spark Streaming,我们不得不说一下BDAS(Berkeley Data Analytics Stack),这个伯克利大学提出的关于数据分析的软件栈.从它的视角来看,目前的大数据处

Java8 新特性之流式数据处理

一. 流式处理简介 在我接触到java8流式处理的时候,我的第一感觉是流式处理让集合操作变得简洁了许多,通常我们需要多行代码才能完成的操作,借助于流式处理可以在一行中实现. 比如我们希望对一个包含整数的集合中筛选出所有的偶数,并将其封装成为一个新的List返回,那么在java8之前,我们需要通过如下代码实现: List<Integer> evens = new ArrayList<>(); for (final Integer num : nums) { if (num % 2 =

Spark学习9 Spark Streaming流式数据处理组件学习

目录 SparkStreaming相关概念 概述 SparkStreaming的基本数据抽象DStream 处理模式 操作流程中细节 StreamingContext StreamingContext对象的创建 StreamingContext主要用法 输入源 DStream两种转化 无状态转化操作 有状态转化操作 输出操作 实践(最简单的wordCount) 创建StreamingContext对象 创建DStream对象 对DStream对象操纵 SparkStreaming相关概念 概述

zookeeper,kafka,jstorm,memcached,mysql流式数据处理平台部署

一.平台环境介绍: 1.系统信息: 项目 信息 系统版本: Ubuntu14.04.2 LTS \n \l 用户: ***** 密码: ****** Java环境: openjdk-7-jre 语言: en_US.UTF-8,en_US:en 磁盘: 每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录 hcloud15最为DB,第二块磁盘为2000G 主机范围: 192.168.21.7~192.168.21.15,192.168.21.17,192.168.21

Spark streaming + Kafka 流式数据处理,结果存储至MongoDB、Solr、Neo4j(自用)

KafkaStreaming.scala文件 import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.kafka.{KafkaManagerAdd, KafkaUtils} import org.json4s.Defau

翻译-In-Stream Big Data Processing 流式大数据处理

相当长一段时间以来,大数据社区已经普遍认识到了批量数据处理的不足.很多应用都对实时查询和流式处理产生了迫切需求.最近几年,在这个理念的推动下,催生出了一系列解决方案,Twitter Storm,Yahoo S4,Cloudera Impala,Apache Spark和Apache Tez纷纷加入大数据和NoSQL阵营.本文尝试探讨流式处理系统用到的技术,分析它们与大规模批量处理和OLTP/OLAP数据库的关系,并探索一个统一的查询引擎如何才能同时支持流式.批量和OLAP处理. 在Grid Dy

流式数据中的数学统计量计算

在科技飞速发展的今天,每天都会产生大量新数据,例如银行交易记录,卫星飞行记录,网页点击信息,用户日志等.为了充分利用这些数据,我们需要对数据进行分析.在数据分析领域,很重要的一块内容是流式数据分析.流式数据,也即数据是实时到达的,无法一次性获得所有数据.通常情况下我们需要对其进行分批处理或者以滑动窗口的形式进行处理.分批处理也即每次处理的数据之间没有交集,此时需要考虑的问题是吞吐量和批处理的大小.滑动窗口计算表示处理的数据每次向前移N个单位,N小于要处理数据的长度.例如,在语音识别中,每个包处理

大数据处理之流式计算简介

简介 Strom是一个开源的分布式流式计算系统,用来处理流式的数据,被称作为流式的hadoop,在电信行业,可以用来做大流量预警.终端营销.访问竞争对手产品从而做挽留等业务.本文将从storm在hadoop生态圈中所处位置.storm中术语.storm平台搭建.storm应用程序构建等详细介绍storm. Strom在大数据生态圈中的位置 上图可以看出,Storm处于HDFS之上,但是并不是说Storm只能是处理HDFS中数据,反而Storm的数据来源一般是Log日志或者是Kafka中数据,当数