Splunk 基本使用

  Splunk 作为大数据搜索处理软件,作为行业的翘楚,绝对值得探索和学习,Splunk能实时对任何应用程序、服务器或者网络设备的数据和数据源进行搜索和索引,包括任何位置的日志、配置文件、信息、陷阱和预警、脚本及其他各种类型的信息,号称 “机器能产生,Splunk就能索引”。

  1、Splunk的正则使用

  

  常用的的匹配方式为: rex 和regex

  1.1  regex  :将删除与指定正则表达式不匹配的结果

语法
regex (<field>=<regex-expression> | <field>!=<regex-expression> | <regex-expression>)

示例  匹配192开头的IP

| regex _raw="(192.\d+.\d+.\d+)"

  1.2  rex : 使?该命令既可以通过以正则表达式命名的群组提取字段,也可以通过 Sed 表达式替换或取代字段中的字符。

语法

rex [field=<field>](<regex-expression>[max_match=<int>] [offset_field=<string>])|(mode=sed <sed-expression>)
示例 日志信息:131.253.24.135 fail admin
目标:提取出ip、result、user
表达式:
|regex field=_raw "(?<ip>\d+.\d+.\d+.\d+)(?<result>\w+)(<user>\w+)"

  更多具体的示例见官方文档:https://docs.splunk.com/Documentation/Splunk/6.6.0/SearchReference/Rex

  2、Splunk 可视化和搜索

  更多有趣的、更加详细的可以参考:https://www.freebuf.com/articles/database/123006.html

  或者官方文档:https://docs.splunk.com/Documentation/Splunk/6.6.0/SearchReference/WhatsInThisManual

  3、Splunk 与 ElasticSearch 对比

  看过一篇文章,ElasticSearch可以实现 查询亿级数据毫秒级返回,可见 Splunk 与 ElasticSearch  这两个搜索巨头强大之处。  

  对于这两者的比较可以参考:https://blog.51cto.com/splunkchina/1948105

本文参考:https://blog.csdn.net/Cwiky_1993/article/details/72725355

原文地址:https://www.cnblogs.com/BackingStar/p/11079298.html

时间: 2024-10-18 10:33:15

Splunk 基本使用的相关文章

Install Splunk 6.4 on CentOS 6 with non-root user

1. useradd splunk 2. tar zxf splunk-6.4.0-f2c836328108-Linux-x86_64.tgz -C /opt 3. chown -R splunk:splunk /opt/splunk 4. /opt/splunk/bin/splunk enable boot-start -user splunk (this will create init script for CentOS 6, for CentOS 7 systemd script, ch

CentOS 7安装Splunk

CentOS 7安装Splunk 导读 Splunk是探索和搜索数据的最有力工具,从收集和分析应用程序.Web服务器.数据库和服务器平台的实时可视化海量数据流,分析出IT企业产生的海量数据,安全系统或任何商业应用,给你一个总的见解获得结果的最佳运营绩效和业务. 没有官方的安装必须条件,但为服务器安装防火墙和网络配置之前,我推荐一个合适的域名.该软件只支持64位服务器架构,在这篇文章中,我指导你如何在CentOS 7服务器安装Splunk的企业版.让我们用一个一个步骤的安装. 1.创建一个Splu

Splunk技术交流群

为了方便学员互相交流Splunk技术和排难答疑,已经购买Splunk视频课程的学员可以通过站内信的方式告知我你的QQ号码,我会将你添加到Splunk交流群中.我会在群里不定期共享Splunk相关资料和技术,互相交流共同进步! 仅限付费学员!

Splunk可视化之分级地图

Splunk提供非常强大的数据可视化能力,媲美Tableau. 实现分级地图:

日志收集以及分析:Splunk

写代码的人都知道日志很重要,机器不多的时候,查看日志很简单,ssh 上去 grep + awk + perl 啥的 ad hoc 的搞几把就行,但面对上百台甚至上千台机器时,如何有效的收集和分析日志就成了个很头疼的事情.日志处理必然有如下过程: 从各个服务器读取日志 把日志存放到集中的地方 挖掘日志数据,用友好的 UI 展示出来,最好能做到实时的输入表达式做过滤.聚合 下面分三个方面聊聊,整个过程是需要多方配合的,包括写日志.读日志.转储日志.分析日志,注意聊这些的背景是互联网行业,机器多,日志

日志分析利器Splunk的搭建、使用、破解

博主对splunk的了解不多,博主的使用目的是为了同步,分析日志.当初的搭建也是为了公司申请牌照需要日志服务器分析日志,顺便自己也对这方面感兴趣就买了本书看了看搭建玩的,后来检查来了博主也给他们演示了下,splunk到底有多强大,博主现在也玩了个大概,具体的命令使用也只算初级水平,只能说很强大,至于splunk的原理还有更多功能感兴趣就去splunk官网或是百度查查看看.     Splunk 分为免费 Free 版和企业 Enterprise 版. SplunkFree 专供个人使用. Spl

splunk 索引过程

术语: Event :Events are records of activity in log files, stored in Splunk indexes. 简单说,处理的日志或话单中中一行记录就是一个Event:Source type: 来源类型,identifies the format of the data,简单说,一种特定格式的日志,可以定义为一种source type:Splunk默认提供有500多种确定格式数据的type,包括apache log.常见OS的日志.Cisco等

日志分析与splunk浅谈

难易程度:★★★ 阅读点:linux;python;web安全;日志分析; 文章作者:xiaoye 文章来源:i春秋 关键字:网络渗透技术 前言 linux下的日志分析对企业来说非常重要,对我们分析pv或者入侵事件溯源都有很大的价值,今天来简单谈一谈日志分析方向的利器splunk,splunk应该是站在日志分析应用的顶端了,应用广泛功能强大,本文只能简单说说其安装以及应用.p.s:本文环境是自己虚拟机搭建的,不是生产环境,仅仅做演示. 一.Nginx + uWSGI + Python + Dja

大数据日志分析产品——SaaS Cloud, e.g. Papertrail, Loggly, Sumo Logic;Open Source Frameworks, e.g. ELK stack, Graylog;Enterprise Products, e.g. TIBCO LogLogic, IBM QRadar, Splunk

Learn how you can maximize big data in the cloud with Apache Hadoop. Download this eBook now. Brought to you in partnership with Hortonworks. In February 2016, I presented a brand new talk at OOP in Munich: "Comparison of Frameworks and Tools for Big

Splunk连续四年入围 Gartner SIEM 领导者魔力象限

SAN FRANCISCO – August 15, 2016 – Splunk Inc. (NASDAQ: SPLK), provider of the leading software platform for real-time Operational Intelligence, today announced it has been named a leader in Gartner's 2016 Magic Quadrant for Security Information and E