get data from splunk

link:

http://dev.splunk.com/view/python-sdk/SP-CAAAER5

download SDK & setup with python

code:

import splunklib.client as client import splunklib.results as results import time

start = time.time()

HOST = "hostname"

PORT = 8089

USERNAME = "username"

PASSWORD = "password"

service = client.connect(

host=HOST,

port=PORT,

username=USERNAME,

password=PASSWORD)

kwargs_oneshot = {"earliest_time": "2017-07-01T12:00:00.000",

"latest_time": "2017-07-09T12:00:00.000",

"exec_mode": "blocking"}      # ,‘search_mode‘: ‘normal‘

searchquery_oneshot = "search index=networkname netlinename|table rowname"

search_results = service.jobs.create(searchquery_oneshot, **kwargs_oneshot)

# Get the results and display them using the ResultsReader

rr = search_results.results(**{‘count‘: 0})

reader = results.ResultsReader(rr)

inbound = []

outbound = []

for item in reader:

_raw_list = str(item[‘_raw‘])

# print _raw_list

  inbound.append(_raw_list.split(",")[3])

outbound.append(_raw_list.split(",")[4])

# print inbound

# print outbound

print "inLen", len(inbound)

print "outLen", len(outbound)

print str(int(time.time() - start))

时间: 2024-10-31 17:53:15

get data from splunk的相关文章

Splunk介绍

最近在学习Splunk,这篇文章可以让我们对Splunk有大概的了解. Splunk是什么? Splunk Enterprise 是用于搜索.分析和可视化机器数据的软件平台,所谓机器数据,是指IT基础架构或企业内网站.应用程序.传感器.网络设备等生成的数据. 在您定义数据源后,Splunk Enterprise 会对数据流建?索引并将其解析为?系列可供查看和搜索的事件.您可以使?Splunk提供的搜索处理语?(SPL)或交互式数据透视表功能来创建报表和可视化仪表板. Splunk软件将机器生成的

日志收集以及分析:Splunk

写代码的人都知道日志很重要,机器不多的时候,查看日志很简单,ssh 上去 grep + awk + perl 啥的 ad hoc 的搞几把就行,但面对上百台甚至上千台机器时,如何有效的收集和分析日志就成了个很头疼的事情.日志处理必然有如下过程: 从各个服务器读取日志 把日志存放到集中的地方 挖掘日志数据,用友好的 UI 展示出来,最好能做到实时的输入表达式做过滤.聚合 下面分三个方面聊聊,整个过程是需要多方配合的,包括写日志.读日志.转储日志.分析日志,注意聊这些的背景是互联网行业,机器多,日志

splunk 索引过程

术语: Event :Events are records of activity in log files, stored in Splunk indexes. 简单说,处理的日志或话单中中一行记录就是一个Event:Source type: 来源类型,identifies the format of the data,简单说,一种特定格式的日志,可以定义为一种source type:Splunk默认提供有500多种确定格式数据的type,包括apache log.常见OS的日志.Cisco等

日志分析与splunk浅谈

难易程度:★★★ 阅读点:linux;python;web安全;日志分析; 文章作者:xiaoye 文章来源:i春秋 关键字:网络渗透技术 前言 linux下的日志分析对企业来说非常重要,对我们分析pv或者入侵事件溯源都有很大的价值,今天来简单谈一谈日志分析方向的利器splunk,splunk应该是站在日志分析应用的顶端了,应用广泛功能强大,本文只能简单说说其安装以及应用.p.s:本文环境是自己虚拟机搭建的,不是生产环境,仅仅做演示. 一.Nginx + uWSGI + Python + Dja

大数据日志分析产品——SaaS Cloud, e.g. Papertrail, Loggly, Sumo Logic;Open Source Frameworks, e.g. ELK stack, Graylog;Enterprise Products, e.g. TIBCO LogLogic, IBM QRadar, Splunk

Learn how you can maximize big data in the cloud with Apache Hadoop. Download this eBook now. Brought to you in partnership with Hortonworks. In February 2016, I presented a brand new talk at OOP in Munich: "Comparison of Frameworks and Tools for Big

大数据时代的全能日志分析专家--Splunk安装与实践

大数据时代的全能日志分析专家 --Splunk安装与实践 (  此文已刊发在<网络运维与管理>杂志  ) 0.背  景 随着大家对网络安全意识的提高,企业网管理人员,必须对IT基础设置进行监控及安全事件的管理,管理数据的数量和种类非常巨大,那么就需要有一款能否分析各种日志数据的工具,经过长期实践,为大家推荐Splunk这么一款全能型分析工具. 1.Splunk简介 Splunk是一款功能强大的.记录详细的日志分析软件,Splunk是基于原始日志数据(Raw data)内容建立索引,保存索引的同

Loading Data into HDFS

How to use a PDI job to move a file into HDFS. Prerequisites In order to follow along with this how-to guide you will need the following: Hadoop Pentaho Data Integration Sample Files The sample data file needed for this guide is: File Name Content we

splunk 通过rest http导入数据

使用 HTTP Event Collector go to Settings > Data inputs > HTTP Event Collector. Then click the Global Settings button in the upper-right corner. 然后enable设置下! 然后去add data添加http EC. 在设置里source type选择json. 完成后会给你生成一个token! 使用如下命令导入数据: curl -k https://<

Splunk 会议回想: 大数据的关键是机器学习

作者 Jonathan Allen ,译者 张晓鹏 Splunk的用户大会已经接近尾声.三天时间的会议里,共进行了160多个主题研讨,涵盖了从安全.运营到商业智能,甚至包含物联网.会议中一遍又一遍出现同样的中心主题:大数据的关键是机器学习. 存储不再是一个问题.从执行Hadoop兼容节点的专用存储硬件.到数百台使用普通硬盘的计算机组成的集群.毫无疑问,我们具备了处理这类存储问题的能力. 还有一方面,像Splunk这种分析和可视化工具也应运而生.假设你知道你要找什么,这些工具能够非常快给你所须要的