阿里简单日志服务器的使用

使用阿里云的队列服务器来存储nginx的日志,用来检测用户的访问量等情况,首先WEB服务器的nginx日志存放格式如下:

 "$host" "$remote_addr" "$time_local" "$request" "$status" "$body_bytes_sent" "$http_user_agent" "$http_x_forwarded_for"

下面就是按照要求,通过正则表达式来匹配日志文件,正则表达式如下:

[a-z]+ [a-z\.A-Z][email protected]@([\d\.]+)@@\[(.*)\]@@([\/a-z\.\?=\d&\-_ ]+)@@([\d]+)@@([\d]+)@@([A-Z\/\d\. \(;\)\,\.]+)@@([\d\.\-]+)
时间: 2024-08-29 20:21:03

阿里简单日志服务器的使用的相关文章

阿里云--日志服务器--华东2

1.开启日志服务2.新建project->新建log storelog store可以创建多个同组配置的机器组,可以同时收集他们的日志 3.ecs里面去下载log strash华东2: wget http://logtail-release-sh.oss-cn-shanghai-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_shanghai 4.下载检测log st

【阿里云产品公测】简单日志服务SLS使用评测 + 教程

[阿里云产品公测]简单日志服务SLS使用评测 + 教程 评测介绍 被测产品: 简单日志服务SLS 评测环境: 阿里云基础ECS x2(1核, 512M, 1M) 操作系统: CentOS 6.5 x64 日志环境: Nginx(v1.6.2) HTTP服务器访问日志.服务器系统日志 评测人: mr_wid 评测时间: 2014年9月28日-2014年10月8日 准备工作 一.知彼知己, 百战不殆.对产品的了解程度, 直接决定着评测质量, 在评测前, 笔者首先整理并详细阅读了有关SLS产品以及关联

阿里云上搭建Graylog日志服务器的几个注意事项

1.故障现象 因项目需要,需要配置集中的日志服务器,本来打算上ELK,但后面申请的资源太少,改用更轻量级的日志服务器Graylog,关于Graylog的介绍以及安装部署我就不在这里写了,参考官方文档:http://docs.graylog.org/en/2.4/pages/installation/os/centos.html 在阿里云服务器上部署完毕,输入用户名和密码,出现如下报错: 2.分析过程 因为之前在本地测试环境搭建成功后,操作基本一致,但阿里云上就是报错,检查安全组策略和SLB的转发

nginx+uwsgi阿里云ubuntu服务器上简单部署flask RESTful风格项目

ubuntu16.04上利用Nginx代理uwsgi处理Flask web应用 1.环境要求 ubuntu16.04  ----  阿里云的服务器 Nginx python2 uwsgi 2.简单介绍Nginx nginx是一个高性能的http和反向代理的服务器,Nginx采采用的epoll的机制,而没有使用select和poll,虽然,在用户活跃数量比较高的时候,epoll性能不如select,但是,我们用Nginx来作为web服务器还是很不错的.nginx是一个轻量级的web服务器,他占用内

centos下简单实现日志切割,并上传至日志服务器。

#!/bin/bash #大于500M的日志上传至日志服务器并清除 count=$[1024*1024*500]#500M file_size=`ll /var/log/httpd/access_log| awk '{print $5}'` passwd="magedu.com"#注意变量最好在expect外定义,不知道什么原因我在expect里面定义不成功 if [ $file_size -gt $count ] then /usr/bin/expect << EOF s

CentOS 6.7下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器

一.简介 LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端.它提供了对日志的简单浏览.搜索.基本分析和一些图表报告的功能.数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构.基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案. LogAnalyzer 获取客户端日志会有两种保存模式,一种是直接读取客户端/var/log/目录下的

CentOS 6.5下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器

一.简介 LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端.它提供了对日志的简单浏览.搜索.基本分析和一些图表报告的功能.数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构.基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案. LogAnalyzer 获取客户端日志会有两种保存模式,一种是直接读取客户端/var/log/目录下的

rsyslog+Loganalyzer日志服务器--初探

Rsyslog 是一个 syslogd 的多线程增强版,在syslog的基础上扩展了很多其他功能,如数据库支持(MySQL, PostgreSQL.Oracle等).日志内容筛选.定义日志格式模板等.除了默认的udp协议外,rsyslog还支持tcp协议来接收日志.     本文只做简单配置与说明.更多与日志相关的服务的详细解释与配置,请参考http://w.gdu.me/wiki/Linux/rsyslog_logrotate.html rsyslogd服务器及负载均衡:rsyslog和log

django+nginx+xshell简易日志查询,接上&lt;关于《rsyslog+mysql+loganalyzer搭建日志服务器&lt;个人笔记&gt;》的反思&gt;

纠正一下之前在<关于<rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>>的反思>中说到的PHP+MySQL太慢,这里只是说我技术不好,没有技术可以修改这个开源的php日志程序罢了,当然,在做这个的时候,也是菜鸟一个,只是想自己尝试一下.高手可以直接跳过..... 首先,写在前面,因为上班空闲时间不多,只有忙里偷闲或自己回家的时间弄下,所以这个前后的时间就比较久了. 之前在上篇写到,是准备使用apache+django来搭建的,但是真的,我折腾