docker入门基础（六）

目录

八、docker 日志

1、 Docker 的日志功能。

对于一个运行的容器，Docker 会将日志发送到 容器的 标准输出设备（STDOUT）和标准错误设备（STDERR），STDOUT 和 STDERR 实际上就是容器的控制台终端。

举个例子，用下面的命令运行 httpd 容器：

[email protected] ~]# docker run -p 80:80 httpd
AH00558: httpd: Could not reliably determine the server‘s fully qualified domain name, using 172.17.0.3. Set the ‘ServerName‘ directive globally to suppress this message
AH00558: httpd: Could not reliably determine the server‘s fully qualified domain name, using 172.17.0.3. Set the ‘ServerName‘ directive globally to suppress this message
[Wed Dec 19 16:19:19.135837 2018] [mpm_event:notice] [pid 1:tid 139659397657792] AH00489: Apache/2.4.37 (Unix) configured -- resuming normal operations
[Wed Dec 19 16:19:19.136196 2018] [core:notice] [pid 1:tid 139659397657792] AH00094: Command line: ‘httpd -D FOREGROUND‘

因为我们在启动日志的时候没有用 -d 参数，httpd 容器以前台方式启动，日志会直接打印在当前的终端窗口。

如果加上 -d 参数以后台方式运行容器，我们就看不到输出的日志了。

[[email protected] ~]# docker run -p 80:80 -d  httpd
8a4e90384f42279573a98665c08e929c5b871cfed14f4873b62081db22579d86

这种情况下如果要查看容器的日志，有两种方法：

  1. attach 到该容器。
  2. 用 docker logs 命令查看日志。

attach方法

attach 到了 httpd 容器，但并没有任何输出，这是因为当前没有新的日志信息。

为了产生一条新的日志，可以在 host 的另一个命令行终端执行 curl localhost。

[[email protected] ~]# docker attach 8a4e90384f42279573a98665c08e929c5b871cfed14f4873b62081db22579d86

[[email protected] ~]$ curl localhost
<html><body><h1>It works!</h1></body></html>

[[email protected] ~]# docker attach 8a4e90384f42279573a98665c08e929c5b871cfed14f4873b62081db22579d86
172.17.0.1 - - [20/Dec/2018:06:26:28 +0000] "GET / HTTP/1.1" 200 45

attach 的方法在实际使用中不太方便，因为：

  1. 只能看到 attach 之后的日志，以前的日志不可见。
  2. 退出 attach 状态比较麻烦（Ctrl+p 然后 Ctrl+q 组合键），一不小心很容器将容器杀掉（比如按下 Ctrl+C）。

查看容器日志推荐的方法是用 docker logs 命令。

docker logs 能够打印出自容器启动以来完整的日志，并且 -f 参数可以继续打印出新产生的日志，效果上与 Linux 命令 tail -f 一样。

2、多种日志方案

将容器日志发送到 STDOUT 和 STDERR 是 Docker 的默认日志行为。实际上，Docker 提供了多种日志机制帮助用户从运行的容器中提取日志信息。这些机制被称作 logging driver。

Docker 的默认 logging driver 是 json-file。

[[email protected] ~]# docker info |grep ‘Logging Driver‘
Logging Driver: json-file

json-file 会将容器的日志保存在 json 文件中，Docker 负责格式化其内容并输出到 STDOUT 和 STDERR。

我们可以在 Host 的容器目录中找到这个文件，器路径为 /var/lib/docker/containers/

比如我们可以查看前面 httpd 容器 json 格式的日志文件。

[[email protected] ~]# cat /var/lib/docker/containers/8a4e90384f42279573a98665c08e929c5b871cfed14f4873b62081db22579d86/8a4e90384f42279573a98665c08e929c5b871cfed14f4873b62081db22579d86-json.log
{"log":"AH00558: httpd: Could not reliably determine the server‘s fully qualified domain name, using 172.17.0.3. Set the ‘ServerName‘ directive globally to suppress this message\n","stream":"stderr","time":"2018-12-19T16:20:06.529205619Z"}
{"log":"AH00558: httpd: Could not reliably determine the server‘s fully qualified domain name, using 172.17.0.3. Set the ‘ServerName‘ directive globally to suppress this message\n","stream":"stderr","time":"2018-12-19T16:20:06.52927816Z"}
{"log":"[Wed Dec 19 16:20:06.531616 2018] [mpm_event:notice] [pid 1:tid 139645179663552] AH00489: Apache/2.4.37 (Unix) configured -- resuming normal operations\n","stream":"stderr","time":"2018-12-19T16:20:06.539621015Z"}
{"log":"[Wed Dec 19 16:20:06.531941 2018] [core:notice] [pid 1:tid 139645179663552] AH00094: Command line: ‘httpd -D FOREGROUND‘\n","stream":"stderr","time":"2018-12-19T16:20:06.539658478Z"}
{"log":"172.17.0.1 - - [20/Dec/2018:06:26:28 +0000] \"GET / HTTP/1.1\" 200 45\n","stream":"stdout","time":"2018-12-20T06:26:28.088467341Z"}
{"log":"[Thu Dec 20 06:27:06.465698 2018] [mpm_event:notice] [pid 1:tid 139645179663552] AH00491: caught SIGTERM, shutting down\n","stream":"stderr","time":"2018-12-20T06:27:06.46593144Z"}

除了 json-file，Docker 还支持多种 logging driver。完整列表可访问官方文档 https://docs.docker.com/engine/admin/logging/overview/#supported-logging-drivers

none 是 disable 容器日志功能。

syslog 和 journald 是 Linux 上的两种日志管理服务。

awslogs、splunk 和 gcplogs 是第三方日志托管服务。

gelf 和 fluentd 是两种开源的日志管理方案，我们会在后面分别讨论。

容器启动时可以通过 --log-driver 指定使用的 logging driver。如果要设置 Docker 默认的 logging driver，需要修改 Docker daemon 的启动脚本，指定 --log-driver 参数，比如：ExecStart=/usr/bin/dockerd -H fd:// --log-driver=syslog --log-opt ......

每种 logging driver 都有自己的 --log-opt，使用时请参考官方文档。

3、ELK

在开源的日志管理方案中，最出名的莫过于 ELK 了。ELK 是三个软件的合称：Elasticsearch、Logstash、Kibana。

Elasticsearch

一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是要能够处理和搜索巨量的日志数据。

Logstash

读取原始日志，并对其进行分析和过滤，然后将其转发给其他组件（比如 Elasticsearch）进行索引或存储。Logstash 支持丰富的 Input 和 Output 类型，能够处理各种应用的日志。

Kibana

一个基于 JavaScript 的 Web 图形界面程序，专门用于可视化 Elasticsearch 的数据。Kibana 能够查询 Elasticsearch 并通过丰富的图表展示结果。用户可以创建 Dashboard 来监控系统的日志。

本节将讨论如何用 ELK 这组黄金搭档来监控 Docker 容器的日志。

Logstash 负责从各个 Docker 容器中提取日志，Logstash将日志转发到 Elasticsearch 进行索引和保存，Kibana 分析和可视化数据。

下面开始实践这套流程。

1\安装 ELK 套件

ELK 的部署方案可以非常灵活，在规模较大的生产系统中，ELK 有自己的集群，实现了高可用和负载均衡。我们的目标是在最短的时间内学习并实践 ELK，因此将采用最小部署方案：在容器中搭建 ELK。

[[email protected] ~]# docker run --name elk -p 5601:5601 -p 9200:9200 -p:5044:5044 -it sebp/elk

我们使用的是 sebp/elk 这个现成的 image，里面已经包含了整个 ELK stack。容器启动后 ELK 各组件将分别监听如下端口：

5601 - Kibana web 接口

9200 - Elasticsearch JSON 接口

5044 - Logstash 日志接收接口

先访问一下 Kibana http://[Host IP]:5601/ 看看效果。

当前 Kibana 没有可显示的数据，因为当前 Elasticsearch 还没有任何日志数据。

访问一下 Elasticsearch 的 JSON 接口 http://[Host IP]:9200/_search?pretty

{
  "name" : "lW3S7Mf",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "9iqURI_vQdeIKVXTWJD_Ug",
  "version" : {
    "number" : "6.5.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "8c58350",
    "build_date" : "2018-11-16T02:22:42.182257Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

确实，目前 Elasticsearch 没有与日志相关的 index。

接下来的工作就是将 Docker 的日志导入 ELK，

几乎所有的软件和应用都有自己的日志文件，容器也不例外。前面我们已经知道 Docker 会将容器日志记录到 /var/lib/docker/containers/

要实现这一步其实不难，因为 ELK 提供了一个配套小工具 Filebeat，它能将指定路径下的日志文件转发给 ELK。同时 Filebeat 很聪明，它会监控日志文件，当日志更新时，Filebeat 会将新的内容发送给 ELK。

2\安装 Filebeat**

下面在 Docker Host 中安装和配置 Filebeat。

[[email protected] ~]# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-x86_64.rpm
[[email protected] ~]# yum localinstall filebeat-5.1.1-x86_64.rpm -y

配置 Filebeat

Filebeat 的配置文件为 /etc/filebeat/filebeat.yml，我们需要告诉 Filebeat 两件事：

  1. 监控哪些日志文件？
  2. 将日志发送到哪里？
    • input_type: log

      Paths that should be crawled and fetched. Glob based paths.

      paths:

      • /var/lib/docker/containers//.log
      • /var/log/syslog

在 paths 中我们配置了两条路径：

  1. /var/lib/docker/containers//.log 是所有容器的日志文件。
  2. /var/log/syslog 是 Host 操作系统的 syslog。

接下来告诉 Filebeat 将这些日志发送给 ELK。

Filebeat 可以将日志发送给 Elasticsearch 进行索引和保存；也可以先发送给 Logstash 进行分析和过滤，然后由 Logstash 转发给 Elasticsearch

为了不引入过多的复杂性，我们这里将日志直接发送给 Elasticsearch。

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]

启动 Filebeat

Filebeat 安装时已经注册为 systemd 的服务，可以直接启动服务。

[[email protected] ~]# systemctl start filebeat.service

管理日志**

Filebeat 启动后，正常情况下会将监控的日志发送给 Elasticsearch。刷新 Elasticsearch 的 JSON 接口 http://[Host IP]:9200/_search?pretty 进行确认。

"_type" : "log",
        "_id" : "0L6rymcBMWBsEwm5rF3p",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2018-12-20T08:11:47.138Z",
          "beat" : {
            "hostname" : "node1",
            "name" : "node1",
            "version" : "5.1.1"
          },
          "input_type" : "log",
          "message" : "{\"log\":\"AH00558: httpd: Could not reliably determine the server‘s fully qualified domain name, using 172.17.0.4. Set the ‘ServerName‘ directive globally to suppress this message\\n\",\"stream\":\"stderr\",\"time\":\"2018-12-17T03:16:55.290537706Z\"}",
          "offset" : 480,
          "source" : "/var/lib/docker/containers/0fe49ea429a2cee05de5705ba83f89ecac7bea812a24ec041f957ab7bf05b199/0fe49ea429a2cee05de5705ba83f89ecac7bea812a24ec041f957ab7bf05b199-json.log",
          "type" : "log"

这次我们能够看到 filebeat-* 的 index，以及 Filebeat 监控的那两个路径下的日志。

好，Elasticsearch 已经创建了日志的索引并保存起来，接下来是在 Kibana 中展示日志。

首先需要配置一个 index pattern，即告诉 Kibana 查询和分析 Elasticsearch 中的哪些日志。

指定 index pattern 为 filebeat-*，这与 Elasticsearch 中的 index一致。

Time-field name 选择 @timestamp。

点击 Create 创建 index pattern。

点击 Kibana 左侧 Discover 菜单，便可看到容器和 syslog 日志信息。

下面我们启动一个新的容器，该容器将向控制台打印信息，模拟日志输出。

[[email protected] ~]# docker run busybox sh -c ‘while true; do echo "This is a log message from container busybox!"; sleep 10; done;‘

刷新 Kibana 页面或者点击右上角 图标，马上就能看到 busybox 的日志。

Kibana 也提供了强大的查询功能，比如输入关键字 busybox 能搜索出所有匹配的日志条目。

我们这里只是简单地将日志导入 ELK 并朴素地显示出来，实际上 ELK 还可以对日志进行归类汇总、分析聚合、创建炫酷的 Dashboard 等，可以挖掘的内容很多，玩法很丰富。

3\Fluentd

ELK 中我们是用 Filebeat 收集 Docker 容器日志，利用的是 Docker 默认的 logging driver json-file，本节我们将使用 fluentd 来收集容器的日志。

Fluentd 是一个开源的数据收集器，它目前有超过 500 种的 plugin，可以连接各种数据源和数据输出组件。在接下来的实践中，Fluentd 会负责收集容器日志，然后发送给 Elasticsearch。

这里我们用 Filebeat 将 Fluentd 收集到的日志转发给 Elasticsearch。这当然不是唯一的方案，Fluentd 有一个 plugin fluent-plugin-elasticsearch 可以直接将日志发送给 Elasticsearch。条条道路通罗马，开源世界给予了我们多种可能性，可以根据需要选择合适的方案。

安装 Fluentd

同样的，最高效的实践方式是运行一个 fluentd 容器。

[[email protected] ~]# docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd

fluentd 会在 TCP/UDP 端口 24224 上接收日志数据，日志将保存在 Host 的 /data 目录中。

重新配置 Filebeat

编辑 Filebeat 的配置文件 /etc/filebeat/filebeat.yml，将 /data 添加到监控路径中。

- input_type: log

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /data/*.log

重启 Filebeat。

[[email protected] ~]# systemctl restart filebeat.service

监控容器日志，启动测试容器

[[email protected] ~]# docker run -d >            --log-driver=fluentd >            --log-opt fluentd-address=localhost:24224 >            --log-opt tag="log-test-container-A" >            busybox sh -c ‘while true; do echo "This is a log message from container A"; sleep 10; done;‘

[[email protected] ~]# docker run -d >            --log-driver=fluentd >            --log-opt fluentd-address=localhost:24224 >            --log-opt tag="log-test-container-B" >            busybox sh -c ‘while true; do echo "This is a log message from container B"; sleep 10; done;‘

--log-driver=fluentd 告诉 Docker 使用 Fluentd 的 logging driver。

--log-opt fluentd-address=localhost:24224 将容器日志发送到 Fluentd 的数据接收端口。

--log-opt tag="log-test-container-A" 和 --log-opt tag="log-test-container-B" 在日志中添加一个可选的 tag，用于区分不同的容器。

容器启动后，Kibana 很快就能够查询到容器的日志。

4、Graylog

Graylog 是与 ELK 可以相提并论的一款集中式日志管理方案，支持数据收集、检索、可视化 Dashboard。本节将实践用 Graylog 来管理 Docker 日志。

Graylog 负责接收来自各种设备和应用的日志，并为用户提供 Web 访问接口。

Elasticsearch 用于索引和保存 Graylog 接收到的日志。

MongoDB 负责保存 Graylog 自身的配置信息。

与 ELK 一样，Graylog 的部署方案很灵活，快速搭建一个 all-in-one 的环境对于学习很有益处；部署一个高可用高伸缩性的集群对于生成环境也是必要的。

接下来我们将在容器环境下搭建 Graylog。

部署 Graylog

Graylog 及其相关组件都将以容器的方式部署。

MongoDB

[[email protected] ~]# docker run --name graylog-mongo -d mongo:3

Elasticsearch

[[email protected] ~]# docker run --name graylog-elasticsearch -d elasticsearch:2 elasticsearch -Des.cluster.name="graylog"

Graylog

[[email protected] ~]# docker run --link graylog-mongo:mongo >            --link graylog-elasticsearch:elasticsearch >            -p 9000:9000 >            -p 12201:12201/udp >            -e GRAYLOG_WEB_ENDPOINT_URI="http://192.168.2.110:9000/api" >            -e GRAYLOG_PASSWORD_SECRET=somepasswordpepper >            -e GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918 >            -d graylog2/server

--link 参数让 Graylog 容器能够用主机名 mongo 和 elasticsearch 访问 MongoDB 和 Elasticsearch 的服务。

-p 9000:9000 映射 Graylog 的 Web 服务端口 9000。

-p 12201:12201/udp 映射 Graylog 接收日志数据的 UDP 端口 12201。

GRAYLOG_WEB_ENDPOINT_URI 指定 Graylog 的 Web 访问 URI，请注意这里需要使用 Docker Host 的外部 IP（在实验环境中为 192.168.2.110）。

GRAYLOG_ROOT_PASSWORD_SHA2 指定 Graylog 管理员用户密码的哈希值，在这个例子中密码为 admin。可以通过如下命令生成自己的密码哈希，比如：

echo -n yourpassword | shasum -a 256

容器启动后，在 Web 浏览器中访问 http://[Docker Host IP]:9000

用户名/密码 = admin/admin

登录后显示 Getting Started 页面。

配置 Graylog**

目前 Graylog 还没法接收任何日志，我们需要配置一个 Input，点击顶部菜单 System -> Inputs。

Graylog 支持多种 Input 类型，与 Graylog 对接的 Docker logging driver 是 gelf，因此这里我们需要运行一个 GELF UDP 类型的 Input。

在 Node 列表中选择 Graylog 容器。

Title 命名为 docker GELF input。

其他保持默认值，其中 port 12201 即为前面启动容器时映射到 Host 的端口，用于接收日志数据。

Graylog 已经准备就绪，接下来就可以将容器的日志发送给 Graylog 了

使用Graylog管理容器日志

首先启动测试容器。

[[email protected]de1 ~]# docker run -d >            --log-driver=gelf >            --log-opt gelf-address=udp://localhost:12201 >            --log-opt tag="log-test-container-A" >            busybox sh -c ‘while true; do echo "This is a log message from container A"; sleep 10; done;‘
[[email protected] ~]# docker run -d >            --log-driver=gelf >            --log-opt gelf-address=udp://localhost:12201 >            --log-opt tag="log-test-container-B" >            busybox sh -c ‘while true; do echo "This is a log message from container B"; sleep 10; done;‘

--log-driver=gelf 告诉 Docker 使用 GELF 的 logging driver。

--log-opt gelf-address=localhost:12201 将容器日志发送到 Graylog 的日志接收端口。

--log-opt tag="log-test-container-A" 和 --log-opt tag="log-test-container-B" 在日志中添加一个可选的 tag，用于区分不同的容器。

容器启动后，点击 Graylog 顶部菜单 Search，就能够查询到容器的日志了。

与 Kibana 一样，Graylog 也提供了强大的查询功能，比如输入关键字 container B 能搜索出所有匹配的日志条目。

与前面 ELK 一样，这里我们只是简单的将日志导入到 Graylog。实际上 Graylog 也可以对日志进行归类汇总、分析聚合、创建 Dashboard 等

原文地址：https://www.cnblogs.com/wlbl/p/10150489.html

时间： 2024-11-08 23:15:08

docker入门基础（六）的相关文章

docker入门基础（一）

目录 一.简介 1.docker架构 2.docker的概念 二.docker的安装和管理 1.docker安装 2.docker配置阿里云镜像加速 3.基础命令 一.简介 参考 https://www.cnblogs.com/linuxk/p/8984242.html 1.docker架构 Docker 使用客户端-服务器 (C/S) 架构模式,使用远程API来管理和创建Docker容器. Docker 容器通过 Docker 镜像来创建. 容器与镜像的关系类似于面向对象编程中的对象与类. D

docker入门基础（四）

目录 六.杂项 六.杂项 Docker组件: docker程序环境: 环境配置文件: /etc/sysconfig/docker-network /etc/sysconfig/docker-storage /etc/sysconfig/docker Unit File: /usr/lib/systemd/system/docker.service Docker Registry配置文件: /etc/containers/registries.conf docker-ce: 配置文件:/etc/d

mybatis入门基础(六)----高级映射(一对一，一对多，多对多)

一:订单商品数据模型 1.数据库执行脚本 创建数据库表代码: 1 CREATE TABLE items ( 2 id INT NOT NULL AUTO_INCREMENT, 3 itemsname VARCHAR(32) NOT NULL COMMENT '商品名称', 4 price FLOAT(10,1) NOT NULL COMMENT '商品定价', 5 detail TEXT COMMENT '商品描述', 6 pic VARCHAR(64) DEFAULT NULL COMMENT

docker入门基础（五）

目录 七.Docker 最常用的监控方案 1.Docker 自带的监控子命令 2.sysdig 3.scope 4.cAdvisor 5.Prometheus 6.各种方案对比 七.Docker 最常用的监控方案 1.Docker 自带的监控子命令 1)ps docker container ps 是我们早已熟悉的命令了,方便我们查看当前运行的容器. [[email protected] ~]# docker container ps CONTAINER ID IMAGE COMMAND CRE

Linux shell入门基础（六）

六.Shell脚本编程详解 将上述五部分的内容,串联起来,增加对Shell的了解 01.shell脚本 shell: # #perl #python #php #jsp 不同的脚本执行不同的文本,执行的角色是不一样的: #shell scripts(UNIX Like系统的原则有一条:程序越短越好) #bash csh tcsh ksh #which startx(查看文件的路径) /usr/X11R6/bin/startx #vi `which startx` #!/bin/sh …… #vi

Docker 零基础从入门到使用

诺!这只可爱的小鲸鱼就是docker了! 文章目录 Docker 是什么?                Docker 能干什么?                    先来个需求                    有Docker组 VS 无Dokcer组                Docker 入门                结尾语 Docker 是什么? Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Lin

Docker入门教程（二）命令

Docker入门教程(二)命令 [编者的话]DockerOne组织翻译了Flux7的Docker入门教程,本文是系列入门教程的第二篇,介绍了Docker的基本命令以及命令的用法和功能. 在Docker系列教程的第一篇文章中,我们了解了Docker的基础知识,知道了它是如何工作以及如何安装的.在这篇文章中,我们将学习15个Docker命令,并通过实践来学习它是如何工作的. 首先,让我们通过下面的命令来检查Docker的安装是否正确: docker info  如果没有找到这条命令,则表示Docke

微服务SpringCloud+Docker入门到高级实战

第一章 课程介绍和学习路线 1.微服务架构SpringCloud课程介绍简介:课程介绍和课程大纲讲解,讲课风格和重点内容理解技巧2.技术选型和学后水平简介:课程所需基础和技术选型讲解,学完课程可以到达怎样的程度, 第二章 架构演进和分布式系统基础知识 1.传统架构演进到分布式架构简介:讲解单机应用和分布式应用架构演进基础知识 (画图)2.微服务核心基础讲解简介:讲解微服务核心知识 :网关.服务发现注册.配置中心.链路追踪.负载均衡器.熔断3.常见的微服务框架简介:讲解常用的微服务框架4.微服务下

ElasticSearch入门 第六篇：复合数据类型——数组，对象和嵌套

这是ElasticSearch 2.4 版本系列的第六篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 ElasticSearch入门 第三篇:索引 ElasticSearch入门 第四篇:使用C#添加和更新文档 ElasticSearch入门 第五篇:使用C#查询文档 ElasticSearch入门 第六篇:复合数据类型——数组,对象和嵌套 在ElasticSearch中,使用JSON结构来存储数据,