1.项目背景

　　通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，

第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，

还需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，

年度话单，通话详情，通话记录等等+。我们以此为背景，寻找一个切入点，学习其中的方法论。

当前我们的需求是：统计每天、每月以及每年的每个人的通话次数及时长。

2.项目架构

3.项目实现

系统环境：

表1

开发工具：

表2

提示：idea2017.2.5必须使用maven3.3.9，不要使用maven3.5，有部分兼容性问题

集群环境：

表3

硬件环境：

表4

3.1 数据生产

　　此情此景，对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，

数据生产是一套完整且严密的体系，这样可以保证数据的鲁棒性。但是如果涉及到

项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个

环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。

3.1.1 数据结构

　　我们将在HBase中存储两个电话号码，以及通话建立的时间和通话持续时间，

最后再加上一个flag作为判断第一个电话号码是否为主叫。

姓名字段的存储我们可以放置于另外一张表做关联查询，当然也可以插入到当前表中。

表5

3.1.2 编写代码

思路：

a) 创建Java集合类存放模拟的电话号码和联系人；

b) 随机选取两个手机号码当作“主叫”与“被叫”（注意判断两个手机号不能重复），产出call1与call2字段数据；

c) 创建随机生成通话建立时间的方法，可指定随机范围，最后生成通话建立时间，产出date_time字段数据；

d) 随机一个通话时长，单位：秒，产出duration字段数据；

e)、将产出的一条数据拼接封装到一个字符串中；

f)、使用IO操作将产出的一条通话数据写入到本地文件中;

新建module项目：ct_producer　　

原文地址：https://www.cnblogs.com/LXL616/p/11186443.html