logstash的性能测试

logstash有简单的批量生成插件。generator。详情见官网:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-generator.html

使用方法:配置文件修改为

input {
  generator {
    lines => [
    "line 1",
    "line 2",
    "line 3"
    ]
  count => 3
  }
}

#下面的输出部分可以替换成其他输出插件。例如elasticsearch或者redis,mongo等。
output {
  stdout {
  codec => dots
  }
}

LogStash 本身并不维护队列。这里,需要熟练使用本节说的测试方法,针对自己的每一段配置,都确定其性能。LogStash 给自己的线程都设置了单独的线程名称,你可以在 top -H 结果中查看具体线程的负载情况。

参考:http://udn.yyuap.com/doc/logstash-best-practice-cn/input/generator.html

时间: 2024-10-08 21:03:35

logstash的性能测试的相关文章

【实战】Logstash 探讨

一.环境搭建 § 192.168.196.58/...(windows8):Logstash : Shipper § 192.168.1.192(windows7):Redis : Broker § 192.168.196.154(windows7):Lostash : Indexer, ES : Storage&Search, Kibana : Web Interface 二.ftp实例 log文件读取 一.Logstash : Shipper(192.168.1.192(windows7))

logstash 消费数据到kafka异常

报错 :[logstash.outputs.kafka ] Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.1} 原因: logstash 日志报错生产数据到 kafka 失败 解决办法: ? ? ? ? ?查看kafka配置,默认单条消息最大为1M,当单条消息长度超过1M时,就会出现发送到broker失败,从而导致消息在producer的队

ELK学习笔记(一)安装Elasticsearch、Kibana、Logstash和X-Pack

最近在学习ELK的时候踩了不少的坑,特此写个笔记记录下学习过程. 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是不是感觉很繁琐和效率低下.当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收

app性能测试【通过loadrunner录制】

随着智能手机近年来的快速增长,从游戏娱乐到移动办公的各式各样的手机APP软件渗透到我们的生活中,对于大型的手机APP测试不仅要关注它的功能性.易用性还要关注它的性能,最近发现LoadRunner12可以对手机APP做性能测试,但由于LoadRunner12还没有破解版最多只有50个并发用户,所以我用LoadRunner12录制手机APP的脚本后放到LoadRunner8.0里进行压测,LoadRunner8.0可并发10000个用户. 1.下载CCProxy代理服务器,安装运行该软件用来检测本机

RC ORC Parquet 格式比较和性能测试

RC ORC Parquet 格式比较和性能测试 作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 为什么要比较这三者 为什么要比较,起因是为了提高Hadoop集群的存储和计算效率,尤其是离线Hive作业的效率,为什么比较的是这三者,是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种主流的相对成熟的文件格式 对于ORC性能的评测,Hortonworks发过一

logstash 添加nginx日志

选择需求分类废话少说直接上图 第一张图: 2.此图搭配的日志格式是: log_format main '$remote_addr - $remote_user [$time_local] $http_host $request_method "$uri" "$query_string" ' '$status $body_bytes_sent "$http_referer" $upstream_status $upstream_addr $requ

Android性能测试

测试应用的启动时间 adb shell am start -W packagename/activity,eg:adb shell am start -W com.tencent.mm/.ui.LauncherUI,显示的结果中,thisTime和totalTime的含义分别为: thisTime: just current activity launched time totalTime:the activity you started may be on the bottom of acti

logstash grok使用案例

Grok 是 Logstash 最重要的插件.你可以在 grok 里预定义好命名正则表达式,在稍后(grok参数或者其他正则表达式里)引用它.它非常适用于syslog logs,apache和一些其他的webserver logs,以及mysql logs.grok有很多定义好pattern,当然也可以自己定义. grok的语法: %{SYNTAX:SEMANTIC} SYNTAX表示grok定义好的pattern,SEMANTIC表示自定义的字段. 例如192.168.0.100 用%{IP:

性能测试指标

性能测试指标 通用指标(指Web应用服务器.数据库服务器必需测试项) Web服务器指标 数据库服务器性能指标 系统的瓶颈定义 稳定系统的资源状态 通俗理解: ·日访问量 ·常用页面最大并发数 ·同时在线人数 ·访问相应时间 案例:最近公司一个项目,是个门户网站,需要做性能测试,根据项目特点定出了主要测试项和测试方案: 一种是测试几个常用页面能接受的最大并发数(用户名参数化,设置集合点策略) 一种是测试服务器长时间压力下,用户能否正常操作(用户名参数化,迭代运行脚本) 一种则需要测试服务器能否接受