Windows Azure HDInsight 使用技巧

Windows Azure HDInsight是一个面向大数据的PaaS服务,是PaaS版本的Hadoop。HDInsight是微软与Hortonworks合作的产物。可以理解为Hortonworks针对Windows Azure的一个发行版。

国际版的HDInsight支持Windows和Linux实例,而中国版目前只支持Windows实例,即中国版的HDInsight是运行在Windows Server操作系统上的。

1、虚拟网络支持

HDInsight是支持虚拟网络的,用户可以将HDInsight集群创建在已经存在的虚拟网络中。这样用户就可以在Windows Azure虚拟机上使用内网地址来访问HDInsight集群。在HDInsight集群创建向导的第二步,点击“区域和虚拟网络”下拉框就可以选择现有的虚拟网络。

2、远程登陆(RDP)HDInsight头节点和Hive元数据存储。用户在创建HDInsight集群的过程中可以开启头节点的远程登陆(RDP)功能。处于安全目的,远程登陆用户和HTTP用户(web控制台用户)需要设置不同的用户名,而且要求使用高强度的密码。远程登陆还需要设置有效期。不过别担心,这个有效期是可以通过管理界面进行修改的;用户可以选择将Hive和Oozie的元数据保存在SQL Database (SQL Azure)中,这样即便是用户删除并重建集群,元数据也不会丢失。

3、执行自定义脚本。默认情况下,所有节点上的管理员用户都被禁用了。用于远程登陆的用户也只是一个普通的Windows本地用户,不在Administrator组中,不能执行需要管理员权限的软件安装和设置等操作。针对有自定义需求的高级用户,HDInsight非常周到的提供了自定义脚本动作执行功能——在集群provisioning结束之前,以管理员权限执行用户自定义脚本。

  • 用PowerShell写用户自定义脚本,保存为[.ps1]文件。
  • 将[.ps1]文件上传到Windows Azure的Blob Storage上具有public访问权限的Container中。
  • 在HDInsight集群创建向导的最后一步引用Blob Storage上的[.ps1]文件并为其指定参数(如果[.ps1]文件需要参数的话)。

附上一段示例脚本,用于关闭HDInsight实例的Windows防火墙,并创建一个具有管理员权限的新用户。

#关闭Windows Server防火墙Get-NetFirewallProfile | Set-NetFirewallProfile –Enabled False
#创建新用户,用户名:co-admin,密码:Admin#c0
net user /add co-admin Admin#c0
#将用户添加至管理员组
net localgroup Administrators /add co-admin
时间: 2024-10-10 13:03:01

Windows Azure HDInsight 使用技巧的相关文章

介绍Windows Azure HDInsight服务的Hadoop Storm的视频

介绍Windows Azure HDInsight服务的Hadoop Storm的原理,用例及开发入门的视频,收藏一下: http://channel9.msdn.com/Shows/Data-Exposed/General-Availability-and-Whats-new-with-the-Azure-Storm-Service

计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍

计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍 计算: 以一个最简单Hadoop集群来计算,需要两个头节点(Namenode)和两个数据节点(Datanode)以及3个Zookeeper结点,这样算下来每小时要5.44+2.72*2+0*3=10.88RMB,每天需要10.88*24=261.12RMB,每个月需要261.12*30=7833.6RMB,这是最低配置! 如果我们还需要HBase,那么最低配置7833.6+(5.44+2.72*2

Windows Azure上的大数据服务: HDInsight的介绍

这个视频介绍了目前非常流行的大数据处理框架Hadoop的Windows Azure上的实现:HDInsight,以及利用MapReduce来对大数据进行分析,利用Hive进行查询,利用客户端PowerBI, PowerQuery对结果进行展示等过程. 讲的通俗易懂,实乃Hadoop大数据处理最佳入门:) http://channel9.msdn.com/Series/MVA-China-2/dataservices-20140918-2-5

Azure HDInsight 和 Spark 大数据分析(一)

What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等(具体的组件请参看最后的附录).Azure HDInsight 支持 Windows的集群部署,也支持 Linux 集群部署.Hortonworks 是我目前所知唯一支持在 Windows 上部署的 Hadoop C

年末促销 Windows Azure在线充值送微软商城硬件大礼包

好礼知时节 充值即奉送即日起至2015年1月11日充值1000元以上即享好礼5大服务已降价,降幅最高达57%,保障更低使用成本.您可以查阅WindowsAzure 官网活动页面,即刻参与活动:http://www.windowsazure.cn/pricing/pia. 年末促销 Windows Azure在线充值送微软商城硬件大礼包 目标用户: 所有Azure在线直付用户 活动时间: 2014年12月12日 至2015年1月11日 促销内容: 成为Azure直线支付用户, 账号充值金额达到以下

如何创建证书用于windows Azure 服务

向 Windows Azure 上载映像,都需要你创建证书,在创建证书后,您必须将其添加到 Windows Azure 中您的订阅. 一种方法是使用IIS管理器,然后在其中建立自我签署证书. 当您建立证书之后,需要导出该证书两次 - 一次含有私钥.pfx格式,另一次则没有.cer格式.您必须这样做两次的原因是因为您需要将不含私钥的证书上传至 Azure.含私钥的证书则需要导入至当前用户上的个人证书存储.当您在 [IIS 管理器] 中建立凭证时,它会将凭证放置本地计算机的个人存放区,这就是为什么您

Windows Azure Web Site (15) 基于Azure Web App的企业官网改造

<Windows Azure Platform 系列文章目录> 1.用户场景: C公司是全球大型跨国连锁餐厅,在世界上大约拥有3万间分店.其IT系统主要部署其海外数据中心,或者租用其他IDC托管机房.因为国内外网访问Internet的连通性问题,或者是由于IDC托管机房的互联网带宽不够.在国内的消费者访问其官方网站的速度非常不理想. 客户急需一个稳定且快速的平台,能够保证消费者快速访问其官方网站,获得该公司的最新资讯. 2.架构设计 C公司官网技术平台采用流行的开源技术.Web服务器采用是Li

Windows Azure Backup Agent安装注意事项

在Windows Server 2008 R2 SP1上安装Windows Azure Backup Agent时会出现错误: “Unable to execute the embedded application to complete the installation.” 解决方案: 下载安装Microsoft Visual C++ 2008 Redistributable Package (x64). 重新安装Windows Azure Backup Agent后在注册客户端时遇到错误:

Windows Azure Affinity Groups (3) 修改虚拟网络地缘组(Affinity Group)的配置

<Windows Azure Platform 系列文章目录> 本文介绍的是国内使用世纪互联运维的Azure China 在笔者之前的文章中,我们知道现在微软官方不建议使用Affinity Group地缘组了. 如果用户基于某个地缘组,创建了虚拟机网络.那么加入这个虚拟网络的所有虚拟机,都不支持Reserved Virtual IP Address(固定公网IP). At this moment, Microsoft Azure doesn’t support deploying a Clou