DW(二):SqlServer PDW

当微软发布第一个SQL Server并行数据仓库R2时(SQL ServerParallel Data Warehouse,即PDW),已正式将产品的名称修改为分析服务平台(APS),但在一些非正式场合,仍然保留了PDW的叫法

目录:

  • APS简介
  • APS特性
  • NEC一体机
  • 戴尔数据库一体机
  • 小结

APS简介


  • 2014年4月推出了APS(Analytics Platform System),也称为PDW(ParallelData Warehouse);
  • 微软分析平台系统APS是一个集成了结构化和非结构化数据的数据仓库平台
  • 有戴尔、惠普、Quanta(广达)、NEC提供了基于APS的一体机,而微软是客户获得硬件和软件支持唯一联系方。因此,作为一个数据仓库设备,APS提供了单位存储空间最低价格的用户可用存储(压缩后)
  • APS一体机是一个针对现代数据仓库需求的高性能和可扩展的并行处理设备。
  • APS一体机上集成了SQLServer PDW软件(SQL Server专门为了在APS中运行的大规模并行处理版本)和一个可选的HDInsightHadoop 平台(基于HDP的Windows版微软Hadoop产品)
  • APS的大数据功能及其包含的PolyBase支持使用标准的SQL查询去访问Hadoop数据和加入关系型数据,而不需要将数据预加载到数据仓库中
  • 这种在传统数据仓库和大数据部署环境之间实现的无缝整合使APS成为一个主流的企业级大数据平台

APS特性


  • 它是一个大规模并行处理设备?(指aps的一体机),可以并行和分布的方式去处理高度并发和复杂度的查询
  • SQL Server PDW运行在APS设备之内,它使用内存内可更新的行存储索引去改进了数据加载和查询响应时间,最多比传统数据仓库系统高50倍
  • APS在软件中内置了可靠、可扩展和高性能的存储特性,它们降低了硬件成本——而且它内置了支持容错的硬件冗余性
  • APS提供了内存内可更新的字段存储索引,支持高达15倍的数据压缩率,最高可以节省70%的存储需求。
  • APS是一个基于机架的系统,因此不会过多购买容量,一开始可以只使用四分之一的机架,它支持修改设备容量大小,然后将来在需要时可以使用传统SQL Server系统横向扩展的相同工具来扩展它的大小。

NEC一体机


  • NEC与微软合作推出了强大的SQLServer PCle SSD一体机,它支持大规模在线事务处理(OLTP)和商业智能(BI)负载。
  • 它搭配NEC Express 5800可扩展的企业级服务器系列,包含一个4U服务器,最多支持四个英特尔的Xeon E7处理器,一共有24个物理内核。
  • 服务器还带有16个可用的PCI-Express 3.0 I/O插槽和64个可用的DDR3内存插槽。
  • NEC数据库一体机不仅提供了高性能的数据处理,还预装了HGST FlashMAX II PCIe闪存。FlashMAX II是一个多层的闪存单元,这意味着每一个内存单元都能够存储多个比特位信息,同时集成了为闪存优化的硬件RAID原理。通过FlashMAX II设备,服务器可容纳8.8TB的闪存存储并提供8.2GBps的逻辑扫描速率。
  • 依照在SQL Server FastTrack Data Warehouse(FTDW)参考体系架构的概述,NEC一体机是按照最佳实践配置进行构建的,FTDW定义了一个针对硬件吞吐量最大化SQL Server数据处理的核心平衡架构,NEC一体机使用FTDW配置来平衡CPU内核与I/O通道和存储顺序I/O的能力

戴尔数据库一体机


  • 戴尔的数据库一体机也集成了来自Fusion-io的闪存技术。
  • 与NEC有所不同,戴尔一体机不是围绕着一个特定的平台构建的。相反,其重点是在企业级应用上,包括了广泛的数据库产品支持:MySQL,Sybase,Oracle数据库,SAP HANA,MongoDB,Apache Cassandra,当然也包括SQL Server 2014+
  • 戴尔一体机使用了DellPowerEdge R720 2U机架服务器,能够支持12TB闪存、40GB带宽和2.5每秒百万的IOPS。闪存是通过Fusion io Memory设备提供并且使用自适应闪回(Adaptive FlashBack)保护数据。与许多依赖存储配置的RAID闪存设备不同,自适应闪回的数据处理粒度已经提升到了数据块级别,它简化了管理并保证了业务连续性。
  • 当结合了Fusion-io闪存时,PowerEdge服务器能够显著的提高数据负载的性能,同时减少延迟和I/O瓶颈。戴尔一体机可以作为一个独立产品,也可以提供包括光纤通道和无线带宽技术的高可用产品使用

小结


  • APS一体机是针对能够支持PB级别大数据处理的产品,它专门针对BI和MPP数据分析负载,能够计算进行分布式处理与并行操作,同时可以将非结构化数据融入到架构中。
  • 如果SQL Server一体机在你的考量范围内,那么根据不同的需求会为你提供多种选项。记住,这是一个快速变化的市场,在进行SQL Server一体机采购之前一定要事先做足功课。它们有很多优势,但相应的价格也很高,你一定不想采购之后才发现它并不适合你的需求
时间: 2024-08-24 19:52:48

DW(二):SqlServer PDW的相关文章

数据库的选择(二)

数据库如何选择 常用的数据库一般是分为五种:(一).Access(二)SqlServer(三)MySQL(四)Oracle(五)SQLite,那么,用户想做一个网站,到底哪一种数据库是适合自己的呢?以下给大家介绍一下常用的数据库有什么区别或是功能方面. 1.Access Access 是由微软发布的一款关联式数据序管型系统,常被用来开发Web 应用程序这些应用程序都利用Asp技术在IIs上运行.不过中于Access 是小型数据库,商着根本的使用局限性,在数据库过大或者访间量高的时候性能会急剧下降

SQLServer学习笔记系列4

一.写在前面的话 好多天没有记录sql学习笔记了,要坚持下去,坚信每一点的进步都是为在积蓄力量.今天看到一幅图,特此分享出来. 通过这幅图,我看到的是每人站在自己的角度看问题,感受是不一样的,就如同学习知识一样,总觉得自己的理解才是最独特的,有时候适当把东西分享出 去,听听别人的见解,或许会让我们理解的更加深刻.换位思考,冷静处理,沉着淡定,不骄不躁,bug只不过生活的一部分,正因为有了bug才会让我们进 步,让我们去学习,去追寻问题的答案,一起努力,做一个快乐的程序猿.这个世界唯一不变的就是变

SQLServer学习笔记系列1

本系列博文转载自http://www.cnblogs.com/liupeng61624/category/668878.html 本人是新入行的小菜鸟,希望转载一些博文和大家一起学习!谢谢! SQLServer学习笔记系列1 一.前言 一直自己没有学习做笔记的习惯,所以为了加强自己对知识的深入理解,决定将学习笔记写下来,希望向各位大牛们学习交流!不当之处请斧正!在此感谢! 这边就先从学习Sqlserver写起,自己本身对数据库方面不擅长,所以决定对此从基础开始学习,大牛们对此文可以忽略!首先以<

sql函数--汉字转拼音(亲测sqlserver可用)

--方法一sqlserver汉字转拼音首字母 --调用方法 select dbo.procGetPY ('中國') Create FUNCTION dbo.procGetPY ( @str NVARCHAR(4000) ) /* select dbo. procGetPYFirstLetter ('中國') */ RETURNS NVARCHAR(4000) --WITH ENCRYPTION AS BEGIN DECLARE @WORD NCHAR(1),@PY NVARCHAR(4000)

表分区及索引分区

分区概述 为了简化数据库大表的管理,例如在数据仓库中一般都是TB级的数量级.ORACLE8以后推出了分区选项.分区将表分离在若于不同的表空间上,用分而治之的方法来支撑元限膨胀的大表,组大表在物理一级的可管理性.将大表分割成较小的分区可以改善表的维护.备份.恢复.事务及查询性能. 分区的优点: 1.  增强可用性:如果表的一个分区由于系统故障而不能使用,表的其余好的分区仍可以使用: 2.  减少关闭时间:如果系统故障只影响表的一部份分区,那么只有这部份分区需要修复,矿能比整个大表修复花的时间更少:

拉普拉斯矩阵(Laplace Matrix)与瑞利熵(Rayleigh quotient)

作者:桂. 时间:2017-04-13  07:43:03 链接:http://www.cnblogs.com/xingshansi/p/6702188.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 前面分析了非负矩阵分解(NMF)的应用,总觉得NMF与谱聚类(Spectral clustering)的思想很相似,打算分析对比一下.谱聚类更像是基于图(Graph)的思想,其中涉及到一个重要概念就是拉普拉斯矩阵(Laplace matrix),想着先梳理一下这个矩阵: 1)拉普拉斯矩阵基

oracle分区表的几种类型

为了简化数据库大表的管理,例如在数据仓库中一般都是TB级的数量级.ORACLE8以后推出了分区选项.分区将表分离在若于不同的表空间上,用分而治之的方法来支撑元限膨胀的大表,组大表在物理一级的可管理性.将大表分割成较小的分区可以改善表的维护.备份.恢复.事务及查询性能. 分区的优点: 1. 增强可用性:如果表的一个分区由于系统故障而不能使用,表的其余好的分区仍可以使用: 2. 减少关闭时间:如果系统故障只影响表的一部份分区,那么只有这部份分区需要修复,矿能比整个大表修复花的时间更少: 3. 维护轻

SQLServer 2012异常问题(二)--由安装介质引发性能问题

原文:SQLServer 2012异常问题(二)--由安装介质引发性能问题 问题描述:生产环境一个数据库从SQLSERVER 2008 R2升级到SQLSERVER 2012 ,同时更换硬件,但迁移后发现性能明显下降,应用写入.读取性能下降的比较厉害: 向微软寻求帮助后得出答案,原来这与SQLSERVER的安装介质有关. 大致意思是说由于NUMA架构可以自行管理内存池,在安装了CAL的EE后,由于限制只能使用20个cores,同样内存则只能管理到20个cores涉及到的NUMA的对应的内存空间(

调试SQLSERVER (二)使用Windbg调试SQLSERVER的环境设置

调试SQLSERVER (二)使用Windbg调试SQLSERVER的环境设置 调试SQLSERVER (一)生成dump文件的方法调试SQLSERVER (三)使用Windbg调试SQLSERVER的一些命令 大家知道在Windows里面,调试可以分为两个领域: 1.内核态调试 2.用户态调试 一般的程序都是运行在用户态,包括SQLSERVER,SQLServer 会依赖于操作系统的Win32/Win64 API去调用I/O或者其他他需要的服务 用户态程序调试和内核态程序调试是不太一样的,即使