使用开源工具ELK可视化 Azure NSG日志

国内的Azure最近上线了网络观察程序服务，可以帮助用户监控和分析VNET虚拟网络。其中一个很重要的功能就是可以记录NSG的安全访问日志了。但是如果用户设置了NSG流日志，并下载日志想要分析一下的话，会发现日志其实并不是很友好，NSG流日志是以json格式记录的，可以看到的内容大致如下图所示：日志会记录NSG规则名，系统时间，源地址，目的地址，源端口，目的端口，协议类型，流量方向和处理规则。

不过所有的记录都连在一起，如果要查找某个具体的安全访问记录，非常困难。

不过我们可以使用多个多种开源工具将相关日志数据可视化。最近正好有客户希望可以使用比较流行的ELK套件来分析NSG安全记录。在参考了微软和 Elastic.co的官方文档，以及同事的文章后，终于实现了使用ELK套件获取并分析Azure.cn的NSG日志，特此记录一下过程和注意事项。

简单介绍一下ELK，ELK是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故此简称ELK。它具有如下几个优点：

  • 处理方式灵活。Elasticsearch 是实时全文索引，不需要预先编程才能使用；
  • 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；
  • 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应；
  • 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；
  • 前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

要部署ELK，我们现在Azure上部署一台Centos 7.X的虚机，并把这台虚机的NSG作为日志来源。

通过以下步骤开启NSG流日志：

在Azure的服务里找到“网络观察程序”服务。

在网络观察程序里，选中NSG流日志：

在右侧用资源组过滤，找到需要分析的NSG。

选中NSG，开启NSG流日志，指定日志存放的存储账号和日志保留时间。

完成了Azure NSG流日志的设置，我们就可以开始安装部署ELK，来获取数据并进行分析了。

1、通过SSH登录到刚才建立的Centos虚机。先安装Java运行环境：

yum install java-1.8.0-openjdk

2、下载可信签名证书：

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

3、创建 Elasticsearch 的yum repo文件

vi /etc/yum.repos.d/elasticsearch.repo

输入以下内容

[elasticsearch-6.x]

name=Elasticsearch repository for 6.x packages

baseurl=https://artifacts.elastic.co/packages/6.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

4、安装Elasticsearch包

yum install elasticsearch

5、修改配置参数，允许外部访问

vi /etc/elasticsearch/ elasticsearch.yml

找到network.host参数，设置为0.0.0.0

# Set the bind address to a specific IP (IPv4 or IPv6):

#

network.host: 0.0.0.0

#

# Set a custom port for HTTP:

#

http.port: 9200

#

6、启动Elasticsearch并设置系统启动

systemctl enable elasticsearch.service

systemctl start elasticsearch.service

7、创建 Logstash的yum repo文件

vi /etc/yum.repos.d/logstash.repo

输入以下内容

[logstash-5.x]

name=Elastic repository for 5.x packages

baseurl=https://artifacts.elastic.co/packages/5.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

8、安装Logstash包

yum install logstash

9、安装读取Azure Blob存储的插件

/usr/share/logstash/bin/logstash-plugin install logstash-input-azureblob

10、设置存储读取位置为Azure.cn，默认是读取WW的Azure

vi /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-input-azureblob-0.9.12-java/lib/logstash/inputs/azureblob.rb

找到以下内容

config :endpoint, :validate => :string, :default => ‘core.windows.net‘

将endpoint修改为中国Azure的endpoint：core.chinacloudapi.cn

config :endpoint, :validate => :string, :default => ‘core.chinacloudapi.cn‘

11、创建Logstash的配置文件

在Azure门户中中找到所使用存储账号的访问密钥

vi /etc/logstash/conf.d/logstash.conf

输入以下内容

input {

azureblob

{

storage_account_name => "此处更改为NSG流日志所使用的存储账户"

storage_access_key => "此处更改为存储账户的访问密钥"

container => "insights-logs-networksecuritygroupflowevent"

codec => "json"

# Refer https://docs.microsoft.com/en-us/azure/network-watcher/network-watcher-read-nsg-flow-logs

# Typical numbers could be 21/9 or 12/2 depends on the nsg log file types

file_head_bytes => 12

file_tail_bytes => 2

# Enable / tweak these settings when event is too big for codec to handle.

# break_json_down_policy => "with_head_tail"

# break_json_batch_count => 2

}

}

filter {

split { field => "[records]" }

split { field => "[records][properties][flows]"}

split { field => "[records][properties][flows][flows]"}

split { field => "[records][properties][flows][flows][flowTuples]"}

mutate{

split => { "[records][resourceId]" => "/"}

add_field => {"Subscription" => "%{[records][resourceId][2]}"

"ResourceGroup" => "%{[records][resourceId][4]}"

"NetworkSecurityGroup" => "%{[records][resourceId][8]}"}

convert => {"Subscription" => "string"}

convert => {"ResourceGroup" => "string"}

convert => {"NetworkSecurityGroup" => "string"}

split => { "[records][properties][flows][flows][flowTuples]" => ","}

add_field => {

"unixtimestamp" => "%{[records][properties][flows][flows][flowTuples][0]}"

"srcIp" => "%{[records][properties][flows][flows][flowTuples][1]}"

"destIp" => "%{[records][properties][flows][flows][flowTuples][2]}"

"srcPort" => "%{[records][properties][flows][flows][flowTuples][3]}"

"destPort" => "%{[records][properties][flows][flows][flowTuples][4]}"

"protocol" => "%{[records][properties][flows][flows][flowTuples][5]}"

"trafficflow" => "%{[records][properties][flows][flows][flowTuples][6]}"

"traffic" => "%{[records][properties][flows][flows][flowTuples][7]}"

}

convert => {"unixtimestamp" => "integer"}

convert => {"srcPort" => "integer"}

convert => {"destPort" => "integer"}

}

date{

match => ["unixtimestamp" , "UNIX"]

}

}

output {

stdout { codec => rubydebug }

elasticsearch {

hosts => "localhost"

index => "nsg-flow-logs"

}

}

12、启动Logstash并设置系统启动

systemctl enable logstash.service

systemctl start logstash.service

13、创建 Kibana的yum repo文件

vi /etc/yum.repos.d/kibana.repo

输入以下内容

[kibana-4.5]

name=Kibana repository for 4.5.x packages

baseurl=http://packages.elastic.co/kibana/4.5/centos

gpgcheck=1

gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

14、安装Kibana包

yum install kibana

15、设置Kibana参数，允许外部访问

vi /etc/kibana/kibana.yml

找到以下server.host参数，修改为0.0.0.0

# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.

# The default is ‘localhost‘, which usually means remote machines will not be able to connect.

# To allow connections from remote users, set this parameter to a non-loopback address.

server.host: "0.0.0.0"

16、启动Kibana并设置系统启动

systemctl enable kibana.service

systemctl start kibana.service

17、检查ELK服务状态

systemctl status elasticsearch

systemctl status logstash

systemctl status kibana

18、设置虚机的NSG策略，允许外部访问kibana门户

19、登录Kibana门户

http://hospip:5601

20、设置state:storeInSessionStorage参数

在“Management”选项卡下的 Advanced Setting里找到state:storeInSessionStorage参数，并enable

21、在“Management”选项卡下，通过“Index Patterns” 创建索引。

22、微软已经很贴心的为大家准备了示例的Dashboard，可以直接导入，以后大家还可以按照自己的需要设计

在此处下载仪表板文件，在此处下载可视化效果文件。

在 Kibana 的“Management”选项卡下，通过“Saved Objects”导入文件。 然后,可从“Dashboard”选项卡打开并加载示例Dashboard。

进入Dashboard就可以查看当前设置的一些示例报表

在Dashboard的右上角可以设置日志分析的时间段，可以帮助用户迅速定位到需要分析的时间点

最后感谢康老师的支持。他的文档给了我很大帮助。

康老师的博客地址：https://www.azure.cn/blog/2017/12/27/AZURE-NSG-FLOW-LOG-Analysis/

Azure官方配置文档说明：https://docs.microsoft.com/zh-cn/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-open-source-tools

如果需要搭建ELK集群服务，可以参考此文档：https://docs.azure.cn/zh-cn/articles/training/open-source-azure-virtual-machines-create-elk-cluster

ELK官方文档：https://www.elastic.co/guide/index.html

Azure存储插件的说明：https://github.com/Azure/azure-diagnostics-tools/tree/master/Logstash/logstash-input-azureblob

当然用户也可以使用PowerBI服务来分析NSG的流日志，这样就可以不用自己安装和部署了。文档位置：https://docs.microsoft.com/zh-cn/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-power-bi

原文地址：https://www.cnblogs.com/lujohn74/p/8214662.html

时间： 2024-10-30 06:05:23

使用开源工具ELK可视化 Azure NSG日志的相关文章

ELK之方便的日志收集、搜索、展示工具

大家在做分部署系统开发的时候是不是经常因为查找日志而头疼,因为各服务器各应用都有自己日志,但比较分散,查找起来也比较麻烦,今天就给大家推荐一整套方便的工具ELK,ELK是Elastic公司开发的一整套完整的日志分析技术栈,它们是Elasticsearch,Logstash,和Kibana,简称ELK.Logstash做日志收集分析,Elasticsearch是搜索引擎,而Kibana是Web展示界面. 1.日志收集分析Logstash LogstashLogstash 是一个接收,处理,转发日志

ELK(ElasticSearch+Logstash+Kibana)日志分析工具

日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是不是感觉很繁琐和效率低下.当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总. 集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事

DevOps开源工具的三种分类整理

原文地址:http://www.360doc.com/content/16/0322/07/31263000_544210096.shtml 随着开发运维一体化的DevOps运动在国内外蓬勃发展,DevOps相关工具也呈现热闹趋势,在这个言必谈如何实施落地引入工具.建设平台的大环境下,我们今天也来盘点一下DevOps相关工具. 先来看一下业界对DevOps工具的各种分类介绍. 一.DevOps应用交付工具链   ElasticBox是国外一个云应用管理工具,主要用于实现云应用生命周期的可视化管理

Hadoop和大数据：60款顶级大数据开源工具

一.Hadoop相关工具 1. Hadoop Apache的Hadoop项目已几乎与大数据划上了等号.它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算. 支持的操作系统:Windows.Linux和OS X. 相关链接: http://hadoop.apache.org 2. Ambari 作为Hadoop生态系统的一部分,这个Apache项目提供了基于Web的直观界面,可用于配置.管理和监控Hadoop集群.有些开发人员想把Ambari的功能整合到自己的应用程序当

Hadoop和大数据：60款顶级开源工具

虽然此文尽力做到全面,但难免遗漏,欢迎大家补充,点击文末右下角"写评论",分享你的观点. 说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱.弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,"100%的大公司"会采用Hadoop.Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长:到2020年,市场产值会超过10亿美元.IBM更是非

ELK+Filebeat 集中式日志解决方案详解

原文:ELK+Filebeat 集中式日志解决方案详解 链接:https://www.ibm.com/developerworks/cn/opensource/os-cn-elk-filebeat/index.html?ca=drs- ELK Stack 简介 ELK 不是一款软件,而是 Elasticsearch.Logstash 和 Kibana 三种软件产品的首字母缩写.这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack.根据

GitHub 开源工具整理

技术站点 Hacker News:非常棒的针对编程的链接聚合网站 Programming reddit:同上 MSDN:微软相关的官方技术集中地,主要是文档类 infoq:企业级应用,关注软件开发领域 OSChina:开源技术社区,开源方面做的不错哦 cnblogs,51cto,csdn:常见的技术社区,各有专长 stackoverflow:IT技术问答网站 GitHub:全球最大的源代码管理平台,很多知名开源项目都在上面,如Linux内核, OpenStack等免费的it电子书:http://

针对Elasticsearch的开源分析及可视化平台——Kibana

Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索.查看交互存储在Elasticsearch索引中的数据.使用Kibana,可以通过各种图表进行高级数据分析及展示. Kibana让海量数据更容易理解.它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态. 在云市不需要复杂部署安装,一键使用Kibana.设置Kibana也非常简单,无需编码或者额外的基础架构,一分钟只能就能启动Elasticsearch索引

N个免费DevOps开源工具，没用过，至少应该了解！

文/华为eSDK 在介绍Devops工具之前,先跟随码花来了解下:Devops是个啥? Devops=[Development]+[Operations]. 简言之,Devops主要用于开发.测试.运维之间的沟通.协作与整合,减少开发和运营之间的摩擦,从而快速部署软件或应用程序,并且可以快速检测. 作为小白,你可能就要问了:那,Devops到底是个什么样的存在形式,是个软件还是啥? 错!!!Devops既不是软件.也不是网站.更不是代码,而是一组方法.过程与系统的统称. Devops包含了很多优