场景3 Data Management

数据管理

性能优化

OLTP OLAP

物化视图 :表的快照

传输表空间 :异构平台的数据迁移

星型转换 :事实表

OLTP : 在线事务处理

1. transaction —> DML

2. 数据量小

3. 处理时间短 —> SQL 共享,绑定变量

4. 并发量大

OLAP,DSS

1. 以查询为主(海量)—> 数据汇总 —> 结果放到表(物化视图)里

2. 处理时间长

3. 几乎无并发

4. 做并行处理

SGA + PGA

memory_target : 自动按需分配SGA和PGA

eg :

set autotrace on

set linesize 120

set time on

set timing on

set pagesize 20

set sqlprompt

db link :连接前置数据库和后台数据库

前置database(查询)

后台database(统计)

物化视图 —> 读写分离

eg :

grant create materialized view to scott

set auto trace off

create materialized view emp_mv1 as select sum(sal) sum_al, avg(sal) avg_sal, min(sal) min_al, dept no from emp group by deptno;

desc user_segments

col segment_name for a20

select segment_name, segment_type, tablespace_name, extents, bytes/1024 from user_segments where segment_name=‘EMP_MV1’;

eg :

set autotrace on

select …; (查看资源消耗)执行计划 execution plan

将复杂的查询结果存储到物化视图里

PCTFREE : 一般表预留10%的空间来做update等DML操作

eg:show parameter rewrite

drop materialized view emp_mv1

create materialized view emp_mv1 enable query rewrite as select sum(sal) sum_al, avg(sal) avg_sal, min(sal) min_al, dept no from emp group by deptno;

李全新 邮箱 :[email protected]

手工建库脚本从官方文档拷贝修改

eg : desc dbms_mview

set autotrace off;

select * from emp;

update emp set deptno=40 where empno = …;

commit;

select * from emp;

select * from emp_mv1;

exec dbms_mview.refresh(‘emp_mv1’);

select * from emp_mv1;

物化视图日志记录基表数据的变化以便进行快速刷新

eg :

select * from tab;

create index emp_mv1_ind on emp_mv1(deptno) tablespace indx;

analyze index emp_mv1_ind compute …;

PCT Refresh

表空间移动

数据迁移 :

1. expdp, impdp(exp, imp)(异构平台)

2. tablespace transport(异构平台)expdp metadata, copu datafile

3. dg (Data Guard) :容灾 数据克隆 (同构平台)

4. ogg (Oracle Golden Gate) : 收费软件

5. 存储镜像

表空间自包含的检测 :

execute dbms_tts.transport_set_check(‘users’);

eg :

create table emp1 as select * from emp;

create index emp1_empno on emp1(empno) tablespace indx;

alter table emp1 add constraint pk_emp1 primary key(empno);

alter table emp1 move tablespace indx;

execute dbms_tts.transport_set_check(‘users’);

会用expdp

外部表 external table

重建 OEM :

emca -config dbcontrol db -repos -recreate

解锁sh用户

事实表

维度表

select constraint_name, table_name from user_constraints;

desc user_indexes

select index_name, table_name from user_indexes;

星型查询 : 在事实表和维度表之间进行连接查询

bitmap index

show parameter star

set star_tranformation_enabled to true

eg :

emctl status dbconsole

emctl start dbconsole

merge join cartesian

对表 t2 做分析 :

analyze table t2 compute statistatics;

星型转换

并行查询

设置并行度(DOP degree of parallelism)

eg :

alter session force parallel query;

alter session set parallel_degree_policy=limited;(设置所有SQL执行并行)

eg :

show parameter parallel

parallel_min_servers : 指定最少启用几个并行进程

set autotrace on

r

eg :

alter session enable parallel dml;

set autotrace on

insert /*+ parallel(4) */ into emp1 select /*+ parallel(4) */ from emp;

eg :alter table sh.sales parallel 8; (设置表sales的并行度为8)

parallel_min_time_threshold : 指定执行时间,超过则自动开启并行查询,DOP

时间: 2024-10-14 10:22:12

场景3 Data Management的相关文章

MySQL vs. MongoDB: Choosing a Data Management Solution

原文地址:http://www.javacodegeeks.com/2015/07/mysql-vs-mongodb.html 1. Introduction It would be fair to say that as IT professionals we are living in the golden age of data management era. As our software systems become more complex and more distributed,

SMR磁盘学习6---SMR之Shingled magnetic recording Area Density Increase Requires New Data Management

SMR之Shingled magnetic recording Area Density Increase Requires New Data Management 1 总述 全文主要介绍了在SMR磁盘上相对于传统磁盘的数据新的组织方式.主要内容包括SMR磁盘的瓦结构特点:在host-managed SMR磁盘上和drive-managed SMR 磁盘上数据管理的挑战:在磁盘上物理块分布的模式:track瓦片形式分布,多个track组成band,存在gap track分隔band:逻辑块和物理

场景7 Data Guard

场景7  Data Guard 官方文档 :Oracle Data Guard Concepts and Administration 用于数据容灾,通过主备库同步(主库将redo日志传送到备库,一个主库可对应多个备库(30)),实现异地容灾 1. 构建测试库 2. 构建读写分离的环境 3. 实现滚动升级 4. 数据备份 数据容灾 : 1. 基于存储复制 2. 基于逻辑卷复制(镜像) 3. 基于应用(redo log) redo log : DML/DDL, 记录数据块变化,用于recovery

A Summary of Big Data Management

Foreword: This article is a summary of mainly two papers, one is Challenges and Opportunities with Big Data, the other is Big Data Management: Concepts, Techniques and Challenges, published by Xiaofeng Meng and Ci Xiang. These two papers introduced t

SQL 语句代编代写、DATA MANAGEMENT SYSTEMS代写代做

SQL 语句代编代写.DATA MANAGEMENT SYSTEMS代写代做DATA MANAGEMENT SYSTEMS DESIGN PROJECTPurpose of this projectAnalyze, design, implement, and document a database system application. You will use the methodology for database development learned in class. The sys

场景4 Data Warehouse Management 数据仓库

parallel 4 100% —> 必须获得指定的4个并行度,如果获得的进程个数小于设置的并行度个数,则操作失败 parallel_min_percent : 若设为100,则如上 ILM :信息生命周期管理 将休眠的数据高压缩放在低成本通道上(如磁带机) 将低访问量的数据低压缩放在访问效率低的设备上 将高访问数据不作压缩放在访问效率高的设备上 分区 (官方文档VLDB and Partioning Guide) 单张表容量大于2G, 则建议分区 1. 每个分区为一个独立的segment, 单

gateway & data management

smart gateway上命令的执行,设备消息通知都可以被记录,目前仅被记录用于做设备联动(IOT ITTT)的判断. 作为IOT,或者smart home除了简单的设备远程.无线控制,管理外,这些操作中产生的用户行为数据, 以及设备自产生数据可以存储起来,然后做进一步的机器学习,数据分析,最后反过来使得设备可以 更加智能控制,真正意义上的smart home. 数据存储: 命令的执行,设备消息通知分别为cmdlog, dev-notification. cmdlog格式如下 设备类型 设备实

场景5 Performance Management

性能调优(不能重启数据库) 索引 资源管理器 性能优化 统计分析 SQL性能分析 SPM (SQL执行计划管理) 堆表 :数据存储无序 位图索引 :适合字段重复值高的,数据仓库环境下(适合OLAP/DSS环境),存储占用空间少, DML成本高, WHERE中与或操作效率高 eg : select count(*) from customers where m_status = married and region in (‘central’, ‘west’); eg : su -oracle s

Mysql数据操作语言DML(data management language)

增加操作:insert into 一条 insert into 语句可以插入多条记录 insert into insert_student values (11,'Jet Lee','male',23), (34,'Buruce Lee',male',23), (44,'Jacky Chen','male',25), (45,'crystal','famale',26); insert into 支持判断主键(唯一)是否冲突,从而执行更新 insert into inert_student va