hive 处理敏感字段

背景：

近日，接到一需求，需要过滤到客户地址（去掉单元楼层等敏感信息），如“北京市朝阳区北辰西路北辰世纪中心A座16层”，只提供“北京市朝阳区北辰西路北辰世纪中心”。

此类需求，除了通过java程序编写UDF实现，也通过hive原生函数regexp_replace也可以实现。

regexp_replace函数说明：

注意，过滤地址关键点：regexp_replace(address,‘正则表达式内容(\\d+号楼|\\d+单元|\\d+号|\\w座|.....)‘,‘‘)

1、正则表达式内容可以根据需求灵活确定；

2、需要使用到转义字符\\；

3、此类需求，也可以参考regexp_extract函数。

实例：

SELECT

address

, regexp_replace(regexp_replace(address,‘办公|塔楼|房间|主卧|次卧|左侧|右侧|前面|后面|商铺|厂房|大厅|前台|对面|旁边|部队|分队|侧门|-|。|，|,|‘,‘‘),‘\\d+号楼|\\d+单元|\\d+巷|\\d+号|\\d+旁|\\d+门|\\d+层|\\d+楼|\\d+室|\\d+座|\\d+栋|\\d+幢|\\d+队|\\d+房|\\d+户|\\d+东|\\d+西|\\d+南|\\d+北|\\d+仓|\\d+弄|\\d+副|\\d+附|\\d+组|\\d+班|\\d+年|\\d+处|\\d+院|\\w座|\\w区|\\w\\d+|a-zA-Z|‘,‘‘)

FROM

tmp_dev.address_lxt_20140209;

结果：

From：My E-mail share，Hive函数regexp_replace应用分享，2015/2/10 (周二) 15:20