PowerBI分析Exchange服务器IIS运行日志

只要是基于Windows Server 的IIS来提供Web服务的应用,其实都可以对IIS的日志W3C进行分析,这样可以快速的了解整个web站点的运行情况,特别是对一些请求页面响应时间有要要求的,都可以从这些日志中分析问题出在哪,下面我就以Exchange服务器的IIS日志来给大家介绍PowerBI是如何分析W3C日志的。

要分析Exchange服务器上的IIS日志,首先需要确保IIS的日志是启用的状态,比如Default Web Site站点和Exchange Back End站点的日志,更多关于IIS站点日志设置的信息可以参考:

https://docs.microsoft.com/zh-cn/iis/configuration/system.applicationHost/sites/site/logFile/

启用状态

那么在C:\inetpub\logs\LogFiles目录下您才会看到如下日志目录及文件,每一个站点会生成一个W3SVC的文件夹存放日志,比如默认站点是W3SVC1,Exchange Back End是W3SVC2

可以先用Notepad++查看下这些日志。可以看出基本是以空格为每一个值的划分的

我多收集了几天的日志,然后把这些log文件拷贝到其他目录

接下来我将这些Log文件全部利用Log Parser软件转成CSV文件(Log Parser下载地址:https://www.microsoft.com/en-my/download/details.aspx?id=24659),为什么要转换成CSV呢?虽然PowerBI可以去读Log的文件并以空格为分隔符划分列,但你会发现后面很多空格是没有划分出来的,或许是我遇到了吧,保险起见,这里我就转成了CSV文件

先安装好Log Parsr程序,接下来在日志所在目录我创建一个bat文件,内容如下:

cd "E:\Logs\W3SVC1"

for /R %%f in (*.log) do (

"C:\Program Files (x86)\Log Parser 2.2\"logparser -i:W3C -o:csv "SELECT * INTO ‘%%f.csv‘ FROM ‘%%f‘"

)

打开PowerShell,执行这个bat脚本会批量的把这些Log文件全部转成csv文件

都转换完毕后,把CSV文件单独放在一个文件夹里,接下来主要对默认站点的W3SVC1的CSV文件进行分析,还是老样子,先用PowerBI获取数据,选择文件夹

浏览到日志所在目录

选择组合——合并和编辑

确定

接下来我删除第一二列

然后关闭并应用

等待加载完成

首先拖一个饼状图看看状态IIS的状态码占比,从占比了解运行情况,这里可以看到饼状图里显示了状态码的分布并显示出了状态码

状态码的含义可以参考:https://support.microsoft.com/en-us/help/943891/the-http-status-code-in-iis-7-0-iis-7-5-and-iis-8-0

但这些状态码是否可以更为直观的显示出含义呢?这里我准备了一个Excel表,整理下状态码和信息的关系

那么右边这些列各代表什么含义呢?可以参考https://msdn.microsoft.com/en-us/library/windows/desktop/aa814385(v=vs.85).aspx

日志文件是一种可定制的ASCII文本格式,文件中的字段前缀定义如下:

s

服务器操作

c

客户操作

sc

服务器到客户端的操作

cs

客户端到服务器操作

下面是我整理的W3C日志的字段和解释

接下来我把上面整理出来的HTTP状态码Excel表也导入进PowerBI

接下来选择关系——管理关系

新建

选择CSV里的sc-status列,然后选择Sheel1里的状态码进行关联,点击确定

点击关闭

关系图里就出现了一条线条关联上了2个表

接下来回到报表里选择刚才的饼状图,我把信息拖到详细信息里,这时你会发现饼状图里原来的状态码全变成了含义的解释,这样更方便直观理解了

调整下值的参数

接下来再创建一个环形图,分析客户端IP源访问请求占比

同理再创建一个服务端IP源访问请求占比

接下来再分析客户端访问请求类型占比

再拖一个时间切片器

接下里再创建一个饼状图分析用户访问请求占比,看看谁访问Exchange请求最多

接下来再分析页面访问次数及平均响应时间

接下来再统计每一个页面状态的发生次数

最后罗列时间,来源IP地址,以及用户采用的什么系统和浏览器或客户端访问的Exchange分析

最后再美化和排版就大功告成了,当然这里介绍的是Exchange的日志分析,其他采用微软IIS作为WEB服务的都可以采用类似的方法来分析哦,毕竟IIS的日志记录都是一样的这些字段

原文地址:http://blog.51cto.com/rdsrv/2126098

时间: 2024-10-09 00:56:11

PowerBI分析Exchange服务器IIS运行日志的相关文章

使用PowerBI分析我们的邮件收发日志!

看文章之前,我们先来喝碗鸡汤: 有次看鲁豫有约的节目,专访高晓松,当时高晓松说了这么一段话: 以前以为40不惑的意思是,到了40岁,你就什么都明白了,到了40岁之后,发现完全不是这个意思,40不惑的意思是你不明白的事情,你已经不想明白了,也不花时间去折腾了,但是在年轻的时候,你总想把这个事情弄明白,身边的人.事.包含这个时代,你都想弄明白,但是年纪大了的时候,你发现这个是不可能的,可能在你身边的人.哪怕坐在你对面的人,你都可能弄不明白. 现在年近不惑,发现他这么说非常的有道理,因为很多的人真的是

Exchange 服务器 跨森林 邮件迁移案例分享 (二)

这一节,我们来讨论一下如何实现忙闲信息的查询. 首先,我们需要在两个系统之间建立关系,也就是所谓的 Organization Relationship.其次,能够查询信息的详细程度,和他们之间AD森林信任的程度也有关系.如果两边AD存在或者允许建立 双向信任,那么我们可以做 PerUserFB 查询较为详细的忙闲信息.如果只允许单向信任 (比如仅资源域信任账户域)或者没有域信任,那么只能做OrgWideFB 查询简单的忙闲信息. 我们需要运行命令 Add-AvailabilityAddressS

迁移2000人的exchange 服务器

公司最近决定,把exchange服务器迁移到新IDC机房.邮箱约2000个左右.服务器9台.具体分布如下: DC+DNS: Umg-dc1(dc+dns+CA): 10.1.254.10 Umg-dc2(dc+dns):172.16.24.12 Umg-dc4(dc+dns): 172.16.104.20 Radius(DNS): 172.16.24.16 不可用的DC: Umg-dc6:172.16.18.178 (ping不通)   #####已删除 Wds:172.16.21.42(pin

Outlook客户端和Exchange服务器连接问题排错常用工具——Office配置扫描

我们在日常工作中经常会遇到Outlook客户端无法连接到Exchange服务器的问题,这类问题原因很多,排错过程比较长.如果不是经验丰富的工程师,接到这样的问题经常会不知道从哪里下手. 此类问题我们可以分开来看,问题中涉及到两种产品Outlook客户端和Exchange服务器端.一般按照如下思路进行. 1.确定Outlook出现问题的范围有多大.如果上极个别用户,首先联系到上客户端配置问题. 2.范围较大情况下,我们可以先检查Exchange服务器端相关的服务是否正常启动,然后再具体问题具体分析

exchange服务器证书过期,导致outlook客户端不停的弹出证书过期的警告窗口

具体症状:exchange服务器证书过期,导致outlook客户端不停的弹出证书过期的警告窗口(但点击警告窗口确定之后,outlook客户端仍旧可以使用.且OWA一切正常). 于是决定在过期的证书上续订证书.续订证书的方法为: 1,右键单击过期证书----续订证书.导出一个命名为test.req的文件.此时生成了一个挂起的续订证书. 2:打开IE浏览器,进入CA审批页面---申请证书----高级证书申请---使用base64位编码---将111.req文件里的内容复制粘贴(证书模版:web服务器

隐藏邮件头中Exchange服务器信息(IP和主机名)

一.现象描述 ============================================================================================== 通过Exchange发送到公网的邮件,我们查看邮件头的时候,邮件头中会显示邮件路由的所有SMTP路径.这些路径中记录是邮件经过的所有SMTP服务器,这些路径中包含了服务器的FQDN和IP地址.而内部的服务器FQDN和IP地址这些信息泄露到公网不利于服务器安全(个人建议可以保留邮件头信息.下图显示

30Exchange Server 2010跨站点部署-搬迁Exchange服务器到分支机构环境介绍

16.Exchange 2010 进阶演示 需求: 由于分支机构只部署了一台CAS,HUB,以及一台Mailbox,为了保证分支机构的高可用,但又出于成本考虑,暂不考虑购买新的服务器,所以计划从总部搬迁两台服务器到SH分支机构 这是主要演示下从某一个站点将Exchange服务器搬迁到其它分支机构站点 这次实验主要演示下从广州总部站点新增一台前端(HT,CAS)和后端(Mailbox)Exchange服务器,然后从广州总部站点把服务器搬迁到上海分支机构站点,拓扑如上. 16.1 总部添加一台CAS

Exchange服务器公网发布

需求:把内网Exchange服务器通过TMG发布到公网,让外网的用户可以访问内网的Exchange服务器. 实验拓扑: 把Exchange服务器发布到公网有四种方法: POP3,SMTP明文发布 POP3,SMTP密文发布发布 OWA桥接模式发布 OWA隧道模式发布 四种方法三种是使用证书的的,所有进行发布之前需要申请Exchange服务器证书,不然会报证书错误. 如何获取证书 从公网的证书提供商处购买证书(所有客户端都信任,无需另外安装受信任的证书) www.verisign.comwww.s

Exchange服务器证书续订

目标:1.新建Exchange服务器证书有效期为90年 2.为Exchange服务器 Recorded Steps Thisfile contains all the steps and information that was recorded to help youdescribe the recorded steps to others. Beforesharing this file, you should verify the following: The steps below ac