ELK 错误: retrying failed action with response code: 403, kibana无log显示

今天10点时候同事报出kibana突然不显示log了,开始紧急排查

  1. 从数据源头查起,先看被filebeat监视的log文件是否在更新(一般只要log对应服务在正常运行,log文件中就会有数据持续更新)

      tail -f log.log

   发现log中数据在持续更新,说明数据源头没有问题

  2. 查看filebeat服务的log

    filebeat 服务的log输出在nohup中

    tail -f nohup.out

    

    filebeat 正常,没有问题

  3. 检查logstash

   查看logstash是否在运行

   在运行,但是是否logstash和ES的通信是否正常呢?

   看logstash 的log

   tail -f nohup.out

  what? [FORBIDDEN/12/index read-only / allow delete (api)];"})

  索引被置为了只读。。。。

  官网对这个问题介绍:

  

     进入kibana Dev Tools

     

      再次查看discover并刷新,log开始更新了`````````````

总结:

  这个问题出现的原因就是ES存储磁盘空间不足导致,控制洪水阶段水印。它默认为95%,这意味着Elasticsearch执行一个只读索引块(index.blocks.read_only_allow_delete)每个指标都有一个或多个碎片分配的节点上,至少有一个磁盘超过限额。这是最后一招,以防止节点耗尽磁盘空间。一旦有足够的磁盘空间用于允许索引操作,索引块必须手动释放。

  leader同志 多给点硬盘空间不行吗???

原文地址:https://www.cnblogs.com/wangbaojun/p/11344916.html

时间: 2024-10-11 20:51:56

ELK 错误: retrying failed action with response code: 403, kibana无log显示的相关文章

retrying failed action with response code: 403 错误解决

[2019-06-10T06:52:51,610][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow dele

retrying failed action with response code: 403

0x00 Event [2019-09-24T19:22:31,655][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only /

nginx反向代理 报错:Error during WebSocket handshake: Unexpected response code: 403

遇到nginx报错:websocket wss failed: Error during WebSocket handshake: Unexpected response code: 403 server { listen 6340; location / { proxy_pass http://web; proxy_http_version 1.1; #Nginx在与Node后端通信时使用HTTP/1.1,是WebSockets所必需的 proxy_set_header Origin '';

[原]Error Domain=com.alamofire.error.serialization.response Code=-1016 "Request failed: unacceptable con

转载请注明出处:http://blog.csdn.net/dengbin9009/article/details/43485617 在使用AFNetworking 2.0  的时候本来一切很顺畅,但是中途遇到几个比较坑的地方 这里分享一下爬坑经历,忘读者不能速爬坑! 在发送请求后,NSURLSessionDataTask一直报错 Error Domain=com.alamofire.error.serialization.response Code=-1016 "Request failed:

Error Domain=com.alamofire.error.serialization.response Code=-1016 "Request failed: unacceptabl

在使用AFNetworking 2.0  的时候本来一切很顺畅,但是中途遇到几个比较坑的地方 这里分享一下爬坑经历,忘读者不能速爬坑! 在发送请求后,NSURLSessionDataTask一直报错 Error Domain=com.alamofire.error.serialization.response Code=-1016 "Request failed: unacceptable content-type: text/html" AFURLResponseSerializat

Error Domain=com.alamofire.error.serialization.response Code=-1016 "Request failed: unacceptable content-type: text/html" 的问题原因及解决方案

Error Domain=com.alamofire.error.serialization.response Code=-1016 "Request failed: unacceptable content-type: text/html",此问题的原因就是使用的第三方框架AFNetworking 接口返回值类型不确定,由于服务器人员习惯于使用html文件所以将json文件也这么写了,导致没法解析 在模型类或者网络工具类中添加这句代码就能完美解决上述问题,建议不要直接修改AFNetw

AFNetworking报错:(415 Domain=com.alamofire.error.serialization.response Code=-1011 "Request failed: unsupported media type (415)")

问题? 今天在与后台调接口的时候,遇到一个问题,使用AFNetworking报错,具体如下: Error Domain=com.alamofire.error.serialization.response Code=-1011 "Request failed: unsupported media type (415)" UserInfo={com.alamofire.serialization.response.error.response=<NSHTTPURLResponse:

iOS 使用AFNetworking遇到错误 Request failed: unacceptable content-type: text/html

错误日志: Error Domain=com.alamofire.error.serialization.response Code=-1016 "Request failed: unacceptable content-type: text/html" UserInfo={com.alamofire.serialization.response.error.response=<NSHTTPURLResponse: 0x7f999be478d0> { URL: myUrlX

Http Response Code[整理]

HTTP协议状态码表示的意思主要分为五类,大体是: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 1×× 保留 2×× 表示请求成功地接收 3×× 为完成请求客户需进一步细化请求 4×× 客户错误 5×× 服务器错误 --------------------------------------------------------------- 100 Continue 初始的请求已经接受,客户应当继续发送请求的其余部分.(HTTP 1.1新) 101 Switching Protoc