测试准备
【首先同步时间：】
for node in CloudDeskTop master01 master02 slave01 slave02 slave03;do ssh $node "date -s ‘2017-12-30 21:32:30‘";done
【slave各节点启动zookeeper集群：】
cd /software/zookeeper-3.4.10/bin/ && ./zkServer.sh start && cd - && jps
【master01启动HDFS集群：】
cd /software/ && start-dfs.sh && jps
【master01启动HBase：】
cd /software/hbase-1.2.6/bin && start-hbase.sh && jps
【master02上启动HBase:】
cd /software/hbase-1.2.6/bin && hbase-daemon.sh start master && jps
如有节点启动出现故障：
单独启动master：
cd /software/hbase-1.2.6/bin && hbase-daemon.sh start master && jps
单独启动regionserver：
cd /software/hbase-1.2.6/bin && hbase-daemon.sh start regionserver && jps
通过命令终端查看：
hbase(main):009:0> status
通过web终端查看：
http://master01的IP地址:16010/
【在主机CloudDeskTop导入java客户端开发所需jar包：】HBase1.2.6-All.zip
测试目标：
运用java代码编写程序操作HBase数据库，本次测试致力于对DDL语法的java客户端操作；
测试代码：大数据学习交流QQ群：217770236 让我们一起学习大数据
1 package com.mmzs.bigdata.hbase.ddl;
2
3 import java.io.IOException;
4 import java.util.Map;
5 import java.util.Map.Entry;
6 import java.util.Set;
7
8 import org.apache.hadoop.conf.Configuration;
9 import org.apache.hadoop.hbase.HBaseConfiguration;
10 import org.apache.hadoop.hbase.HColumnDescriptor;
11 import org.apache.hadoop.hbase.HTableDescriptor;
12 import org.apache.hadoop.hbase.NamespaceDescriptor;
13 import org.apache.hadoop.hbase.TableName;
14 import org.apache.hadoop.hbase.TableNotFoundException;
15 import org.apache.hadoop.hbase.client.Admin;
16 import org.apache.hadoop.hbase.client.Connection;
17 import org.apache.hadoop.hbase.client.ConnectionFactory;
18 import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
19
20 /**
21 * DDL:
22 * createTable|disableTable|deleteTable|modifyTable|modifyColumn|getTableDescriptor
23 *
24 * 表空间——>表——>列族——>列(字段)——>列值(字段值)
25 *
26 * @author hadoop
27 *
28 */
29 public class DDLMain {
30 /**
31 * 操作HBase集群的客户端
32 */
33 private static Admin admin;//操作HBase集群的客户端
34
35 static{
36 //创建HBase配置
37 Configuration conf = HBaseConfiguration.create();
38 //要和hbase-site.xml中configuration配置的一样
39 conf.set("hbase.zookeeper.quorum", "slave01:2181,slave02:2181,slave03:2181");
40 //根据HBase配置获取集群路径
41 Connection conn;
42 try {
43 conn = ConnectionFactory.createConnection(conf);
44 admin = conn.getAdmin();
45 } catch (IOException e) {
46 e.printStackTrace();
47 }
48 }
49
50 public static void main(String[] args) {
51 // createNamespace("mmzs02");
52 // try {
53 // createHTable("mmzs:myuser");
54 // } catch (IOException e) {
55 // e.printStackTrace();
56 // }
57 existHTable("mmzs:myuser");
58 // modifyHTableByAddFamily("mmzs:myuser","attach00");
59 // modifyHTableByDelFamily("mmzs:myuser","attach00");
60 // modifyHTableByModFamily("mmzs:myuser","base",5);
61 //deleteHTable("mmzs:myuser");
62 // iterateNameSpace();
63
64
65
66 }
67
68 /**
69 * 创建表空间
70 * @param namespaceNameStr
71 * @throws IOException
72 */
73 public static void createNamespace(String namespaceNameStr){
74 NamespaceDescriptor.Builder builder=NamespaceDescriptor.create(namespaceNameStr);
75 NamespaceDescriptor nd=builder.build();
76 try {
77 admin.createNamespace(nd);
78 } catch (IOException e) {
79 e.printStackTrace();
80 }
81
82 }
83
84 //删除表空间
85 public static void deleteNamespace(String namespaceNameStr){
86 try {
87 admin.deleteNamespace(namespaceNameStr);
88 } catch (IOException e) {
89 e.printStackTrace();
90 }
91 }
92
93
94 //创建HBase表
95 public static void createHTable(String tabNameStr) throws IOException{
96 //转化为表名
97 TableName tabname=TableName.valueOf(tabNameStr);
98 //根据表名创建表结构
99 HTableDescriptor htd = new HTableDescriptor(tabname);
100 //定义列族名字“base”
101 HColumnDescriptor base = new HColumnDescriptor("base");
102 base.setMaxVersions(3);
103 // 定义列族名字为”extra“
104 HColumnDescriptor extra = new HColumnDescriptor("extra");
105 extra.setMaxVersions(3);
106
107 htd.addFamily(base);
108 htd.addFamily(extra);
109 try {
110 admin.createTable(htd);
111
112 } catch (IOException e) {
113 e.printStackTrace();
114 }
115 }
116
117 /**
118 * 判断某表是否存在
119 * @param tabNameStr
120 */
121 public static void existHTable(String tabNameStr){
122 TableName tabName=TableName.valueOf(tabNameStr);
123 Boolean flag = null;
124 try {
125 flag = admin.tableExists(tabName);
126 } catch (IOException e) {
127 e.printStackTrace();
128 }
129 if (flag) {
130 System.out.println(tabName+"存在");
131 } else {
132 System.out.println(tabName+"不存在");
133 }
134 }
135
136 //增加一个列族
137 public static void modifyHTableByAddFamily(String tabNameStr,String familyName){
138 //转化为表名
139 TableName tabname=TableName.valueOf(tabNameStr);
140 try {
141 //根据表名得到表
142 HTableDescriptor htd = admin.getTableDescriptor(tabname);
143 //新建一个列族
144 HColumnDescriptor attach = new HColumnDescriptor(familyName);
145 attach.setMaxVersions(3);
146 //将新建的列族添加到表中
147 htd.addFamily(attach);
148
149 //修改指定的表
150 admin.modifyTable(tabname, htd);
151 } catch (TableNotFoundException e) {
152 e.printStackTrace();
153 } catch (IOException e) {
154 e.printStackTrace();
155 }
156 }
157
158 //修改列族
159 public static void modifyHTableByModFamily(String tabNameStr,String familyName,Integer max){
160 //转化为表名
161 TableName tabname=TableName.valueOf(tabNameStr);
162 try {
163 //根据表名得到表
164 HTableDescriptor htd = admin.getTableDescriptor(tabname);
165 //得到指定的列族
166 HColumnDescriptor hcd =htd.getFamily(familyName.getBytes());
167 hcd.setMaxVersions(max);
168
169 //修改表中的指定列族
170 admin.modifyColumn(tabname, hcd);
171 } catch (TableNotFoundException e) {
172 e.printStackTrace();
173 } catch (IOException e) {
174 e.printStackTrace();
175 }
176 }
177
178 //删除列族
179 public static void modifyHTableByDelFamily(String tabNameStr,String familyName){
180 TableName tabname=TableName.valueOf(tabNameStr);
181 try {
182 HTableDescriptor htd = admin.getTableDescriptor(tabname);
183 htd.removeFamily(familyName.getBytes());
184
185 //删除表中的指定列族
186 admin.modifyTable(tabname, htd);
187 } catch (TableNotFoundException e) {
188 e.printStackTrace();
189 } catch (IOException e) {
190 e.printStackTrace();
191 }
192 }
193
194
195 //遍历所有的表空间
196 public static void iterateNameSpace(){
197 try {
198 //取出所有的表空间的结构
199 NamespaceDescriptor[] nds=admin.listNamespaceDescriptors();
200 for(NamespaceDescriptor nd:nds){
201 //获取表空间的名字
202 String namespaceName=nd.getName();
203 //获取表空间下所有的表的结构
204 HTableDescriptor[] htds=admin.listTableDescriptorsByNamespace(namespaceName);
205 for(HTableDescriptor htd:htds){
206 //获取表的名字
207 String tabName=htd.getTableName().getNameAsString();
208 //获取表下的所有的列族的结构
209 HColumnDescriptor[] hcds=htd.getColumnFamilies();
210 for(HColumnDescriptor hcd:hcds){
211 //获取列族的名字
212 String familyName=hcd.getNameAsString();
213 //获取列族下的所有键值对
214 Map<ImmutableBytesWritable,ImmutableBytesWritable> keyVals=hcd.getValues();
215 //遍历当前列族下的所有键值对
216 Set<Entry<ImmutableBytesWritable, ImmutableBytesWritable>> entrys=keyVals.entrySet();
217 for(Entry<ImmutableBytesWritable, ImmutableBytesWritable> entry:entrys){
218 String key=new String(entry.getKey().get());
219 String value=new String(entry.getValue().get());
220 String info=new StringBuilder(namespaceName)
221 .append("\t")
222 .append(tabName)
223 .append("\t")
224 .append(familyName)
225 .append("\t")
226 .append(key)
227 .append(":")
228 .append(value)
229 .toString();
230
231 //输出结果
232 System.out.println(info);
233 }
234 }
235 }
236 }
237 } catch (IOException e) {
238 e.printStackTrace();
239 }
240
241 }
242
243 //删除HBase表
244 public static void deleteHTable(String tabNameStr) {
245 TableName tableName = TableName.valueOf(tabNameStr);
246
247 try {
248 //先禁用表
249 admin.disableTable(tableName);
250 //在删除表
251 admin.deleteTables(tabNameStr);
252 } catch (IOException e) {
253 e.printStackTrace();
254 }
255 }
256
257 }
DDLMain
测试结果：
在命令端查看，查看方式，可参考：http://www.cnblogs.com/mmzs/p/8135327.html
原文地址：https://www.cnblogs.com/mmzs/p/8135334.html
时间： 2024-11-10 05:05:24