ODPS 下map / reduce 的编写

接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.

总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.

首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.

输入表为 提供的 t_alibaba_bigdata_user_brand_total_1  输出表为自定义的wc_out

wc_out 需要预先定义.  下面的实例的功能是合并用户对商品的操作并记录重复次数, 创建的wc_out表结构为:

create table wc_out(user_id string,brand_id string,type string,visit_datetime string,count bigint);

然后在eclipse 中进行map /recduce 程序的编写.

将工程导出为jar文件.(略)

在ODPS中创建资源并运行

运行完成

接下来就可以设计更复杂的模型来进行预测了

ODPS 下map / reduce 的编写