一次BI系统事故教训

描述: 突然之间,BI服务无法对外提供服务,整个BI+报表系统是ORACLE11G+OBIEE11G+Weblogic11G+Informatica8.6 构成,整个系统几乎是一己之力完成到上线。昨天甲方人员打电话给我,突然之间所有BI的站点,报表都无法登陆,查看后台服务,都正常。于是建议对方重启。还是没有解决,于是仔细分析日志。最终定位到问题所在。

1.  OBIEE11G sawserver 的7001 anaytics web界面登陆,密码用户甲方确认无误。登陆还是现实密码或用户名错误 。 问题有点不对劲

2. 试用OBIEE11G Administrator Tool 连接 在线逻辑模型,登陆显示报错 。

    [nQSError: 37001]无法连接 Oracle BI Server 实例

3. 查看ORACLE BI Server  服务, opmnctl status   所有服务都处于激活状态。  可以排除 BI Server 端口占用的问题, 捉摸着是中间件的bi_platform中的服务有些可以崩溃了。 进一步查看 ORACLE BI Server 的日志 。

有如下报错

[2013-04-18T14:35:17.000+00:00] [OracleBIServerComponent] [NOTIFICATION:1] [] [] [ecid: 00iEJCMVhq4F0Fg5xFDCiW0000Xo000000] [tid: ac8]  [85004] MDX Member Name Cache subsystem recovered entries: 0, size: 0 bytes.
[2013-04-18T14:35:17.000+00:00] [OracleBIServerComponent] [ERROR:1] [] [] [ecid: 00iEJCMVhq4F0Fg5xFDCiW0000Xo000000] [tid: ac8]  [13026] Error in getting roles from BI Security Service:  ‘Error Message From BI Security Service: PolicySet Invalid: WSM-06102 PolicyReference 策略引用 URI "oracle/wss_username_token_service_policy" 无效。 ‘ 
[2013-04-18T14:35:17.000+00:00] [OracleBIServerComponent] [NOTIFICATION:1] [] [] [ecid: 00iEJCMVhq4F0Fg5xFDCiW0000Xo000000] [tid: ac8] nqsserver:    Clustered Oracle BI Server started.  Version: 11.1.1.6.0.120104.0152.000.
[2013-04-18T14:35:17.000+00:00] [OracleBIServerComponent] [NOTIFICATION:1] [] [] [ecid: 00iEJCMVhq4F0Fg5xFDCiW0000Xo000000] [tid: 94c]  [43071] A connection with Cluster Controller bi-4lna2lrlna7w:9706 was established.
[2013-04-18T14:35:39.000+00:00] [OracleBIServerComponent] [ERROR:1] [] [] [ecid: 00iEJCO8qy8F0Fg5xFDCiW0000Xo000003] [tid: a6c] Error Message From BI Security Service: PolicySet Invalid: WSM-06102 PolicyReference 策略引用 URI "oracle/wss_username_token_service_policy" 无效。 
[2013-04-18T14:35:39.000+00:00] [OracleBIServerComponent] [ERROR:1] [] [] [ecid: 00iEJCO8qy8F0Fg5xFDCiW0000Xo000003] [tid: a6c]  [nQSError: 43126] Authentication failed: invalid user/password.

4.可以定位问题了,基本是由于

    This issues occur, when the application wsm-pm is not running. To resolve this, login to EM -> Application Deployments -> Internal Applications. The two applications wsm-pm on AdminServer and managed server should be up and running.

5.进入Weblogic Em 查看 WSM-PM服务 ,该服务处于崩溃状态。 重新启动。报错如下:

RDBMS Error,ORA-28001: the password has expired。 恍然大悟,非天灾人祸也。

6. Oracle 11G 有个新特性可以设置密码过期时间,

通过SQL查看

SQL> conn DEV1_MDS/Admin123
ERROR:
ORA-28001: the password has expired
       通过SQL查看

SQL> select * from dba_profiles where profile=‘DEFAULT‘ AND resource_name=‘PASSW
ORD_LIFE_TIME‘
  2  ;

PROFILE                        RESOURCE_NAME                    RESOURCE
------------------------------ -------------------------------- --------
LIMIT
----------------------------------------
DEFAULT                        PASSWORD_LIFE_TIME               PASSWORD
360

更改 DEV1_MDS 的口令
新口令:
重新键入新口令:
口令已更改
已连接。
SQL> conn DEV1_BIPLATFORM/Admin123
ERROR:
ORA-28001: the password has expired

更改 DEV1_BIPLATFORM 的口令
新口令:
重新键入新口令:
口令已更改
已连接。

7.重新启动 wms-em 服务,启动成功。

8.登陆 BIEE Administrator Tool ,登陆成功.

9.登陆报表和BI系统,登陆成功。

总结:这个案例比较的典型,进入大数据时代的集成系统的问题。 原来的OLTP或者BS的系统,问题比较单一,瓶颈比较单一,大部分瓶颈问题集中在数据库。

现在进入大数据时代,是个多数据源整合(分布式系统),业务单元网状集成的状况,不是说数据库DBA和中间件不重要了,是各个环节都有可能成为问题环境,要做到 开发运维一条心 ,还真不容易,扯的有点远,废话有点多。 总之跟我有点关系,当初在开发完成交付时,没有强调这个过期密码的问题 。最近出问题是必然娘的。

转:http://www.cnblogs.com/jerryxing/archive/2013/04/18/3028660.html

时间: 2024-10-08 20:35:23

一次BI系统事故教训的相关文章

Yonghong BI系统不能启动原因是什么?

Yonghong BI系统 Tomcat 没有启动起来,窗口很快关闭.原因可能性: --JVM 设置的内存过大或者过小,JVM 无法启动,修改到正确范围即可. Linux 版本修改办法: catalina.sh 中:JAVA_OPTS='-Xms512m -Xmx1024m' Windows 版本修改办法: catalina.bat 中:set JAVA_OPTS=-Xms512m -Xmx1024m --当前操作系统中部署了多个 Tomcat 服务,CATALINA_HOME 被设定到其他目录

大数据时代的新BI系统架构发展趋势

商业智能(BI,Business Intelligence),它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策. 商业智能的概念最早在1996年提出.当时将商业智能定义为一类由数据仓库(或数据集市).查询报表.数据分析.数据挖掘.数据备份和恢复等部分组成的.以帮助企业决策为目的技术及其应用.目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具.商务智能系统中的数据来自企业其他业务

自动化监控BI系统的存储空间

一个完备的BI系统有多种Log及监控机制,其中一种监控是监控BI系统存储的增长趋势,BI中所谓的存储可以分为数据仓库的存储跟OLAP数据库的存储. 数据仓库 至少到目前为止,所有的数据仓库还是基于关系型数据库所构建的,只不过数据库的设计遵循了维度数据模型而已.所以我们可以使用SQLServer提供的一系列功能来收集数据仓库中表粒度的存储大小信息,要做到这一点我相信有很多方式,其中一种是使用系统视图: sys.tables 返回当前数据库所有的表 sys.partitions 返回当前数据库中所有

DWH - 自动化监控BI系统的存储空间

一个完备的BI系统有多种Log及监控机制,其中一种监控是监控BI系统存储的增长趋势,BI中所谓的存储可以分为数据仓库的存储跟OLAP数据库的存储. 数据仓库 至少到目前为止,所有的数据仓库还是基于关系型数据库所构建的,只不过数据库的设计遵循了维度数据模型而已.所以我们可以使用SQL Server提供的一系列功能来收集数据仓库中表粒度的存储大小信息,要做到这一点我相信有很多方式,其中一种是使用系统视图: sys.tables 返回当前数据库所有的表 sys.partitions 返回当前数据库中所

中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)

中小型企业商业智能平台的开发和实现(数据仓库.BI系统.真实项目实战)课程分类:数据和数据仓库适合人群:初级课时数量:76课时用到技术:数据仓库.BI系统.真实项目实战涉及项目:中小型企业商业智能平台咨询QQ:1840215592课程内容简介:本课程以公共卫生领域高血压的管理为实际应用场景,为高血压管理系统建立数据仓库,进行数据分析.本课程一共分为四个章节,76讲.第一章主要介绍了商业智能系统的发展,从商业智能的学科范围.演化史.应用案例到自然演化式的体系结构,以及面临的问题,再讲到数据仓库以及

什么是商业BI系统

在现代企业信息化建设中,经常出现的商业BI系统这个名词.什么是商业BI系统?它的作用功能又是什么?本文就让读者最快的了解商业BI系统的那些不可不知的常识. 一.商业BI系统的概念 商业智能系统,通常简称为商业智能系统,是商业智能软件的简称,是为提高企业经营绩效而采用的一系列方法.技术和软件的总和.通常被理解为将企业中的现有数据转换为知识并帮助企业做出明智的业务决策的工具. 二.商业BI系统的数据来源 BI系统中的数据来自企业的其他业务系统.例如,一个面向业务的企业,其业务智能系统数据包括业务系统

【杂谈】BI系统的前端性能优化

近一年,由于笔者团队的一些变化,笔者开始承担一个BI系统的前端应用的维护和迭代,一年中,围绕着这个BI系统,发生了不少令人啼笑皆非和醍醐灌顶的故事.最近,终于有时间把它们一点点的沉淀写来,以文字的形式呈现出来. 首先,简单介绍下笔者维护的这个BI系统,和常规的BI(Business Intelligence)系统一样,笔者的BI系统同样可以分为三层: 数据层:这一层其实主要是ETL的过程,即将业务数据库的数据通过抽取(Extract).转换(transform).加载(Load)到新的数据库中,

某中国500强企业BI系统成功应用案例

随着某集团20多年的不断发展发展,现已成为中国500强.中国大企业集团竞争力前25强.中国信息化标杆企业和国家重点火炬高新技术企业.拥有总资产数十亿元.员工数万名,涉足电力.家电.能源.等多个行业,并拥有房产.医疗.物流多项投资项目.该集团在全国拥有六大生产基地,总面积达数平方公里,并拟向全球建立生产基地.目前产品已经进入了全球100多个国家,并且累计销量接近1亿台. 这样一个涉及多领域产业的企业,从研发.技术.制造.销售.供应链到售后服务,其间的数据量是十分庞大的.通过使用FineBI,采用其

开发BI系统时的需求分析研究

我们知道MIS,知道ERP,知道GIS等等,这些系统在管理限制上有很多的冲突,管理和被管理,开放和限制等等,然而BI在开始就不是这样的.BI要求的就是易用还要易于扩展,首先是报表,这个是你无条件的需要去做的,其次是adhoc和analysis,同样的岗位有不同的需求,这不是权限,管理等等的需要,而是一种习惯. 实施BI project的时候,我们经常遇到这样的情况: 1:花少量的时间去理解客户的要求,比如reporting,了解一般的字段的数据出处,然后就开始data modeling,开始搭建