430的目标是完成机器人的推荐系统，提高机器人回答问题的准确率，关于过程碰到的问题以及解决方案与大家分享一下，（请轻喷！）
那么这个推荐系统到底应该怎么做呢？
最开始的第一个思路是 根据用户 进入到ERP的模块 推荐该模块下的相关问题。其实就是根据用户的轨迹来推荐问题，这是一个思路但是不太完整。因为很有可能用户就从ERP的桌面就进入了机器人，但他实际要咨询的是销售系统的相关知识，那么此时的推荐就不太满足用户的咨询需求。
因此参考一些业界其他公司的做法，可以基于内容的协同过滤（Collaborative Filtering，即CF）来设计机器人推荐系统。
那么什么是基于内容的协同过滤，一个最经典的例子就是看电影，有时候不知道哪一部电影是我们喜欢的或者评分比较高的，那么通常的做法就是问问周围的朋友，看看最近有什么好的电影推荐。在问的时候，都习惯于问跟自己口味差不多的朋友，这就是协同过滤的核心思想。
协同过滤是在海量数据中挖掘出小部分与你品味类似的用户，并让这些用户成为邻居，然后根据他
们喜欢的东西组织成一个排序的目录推荐给你。所以就有如下两个核心问题
（1）如何确定一个用户是否与你有相似的问题？
（2）如何将邻居们的喜好咨询的问题组织成一个排序目录？
协同过滤算法包括基于用户和基于物品的协同过滤算法。so 我们应该怎么做呢
1、收集用户偏好习惯
机器人经过一段时间的积累，已经积累了一些用户经常咨询的问题以及对问题的反馈，以及一些问题本身的属性，比如问题的类型、以及问题所属的模块系统
2、数据预处理
一、降燥处理，主要针对对于用户的误操作数据进行过滤，减少对整体数据的影响
二、归一化处理，不同行为数据的取值相差可能很大，通过归一化，才能使数据更加准确。
3、经过上述处理后
我们得到一张用户的user profile的二维的矩阵。如图：
|
I1 |
I2 |
I3 |
|
|
U1 |
1 |
1 |
1 |
|
U2 |
1 |
0 |
0 |
|
U3 |
0 |
1 |
0 |
u表示用户，k表示知识库条目
1：表示机器人对用户咨询问题反馈的知识库条目有效，0：则表示无效。
同样的道理，我们可以建立知识库条目的item profile 二维矩阵，每一个知识库条目 有所属的子系统、所属模块、以及当前的问题类型等。在这里我截取了4个属性，所属子系统、所属一级模块、所属二级模块，以及问题类型。如图：
|
attr1 |
attr2 |
attr3 |
attr4 |
|
|
I1 |
0.01 |
0.02 |
0.08 |
0.33 |
|
I2 |
0.01 |
0.03 |
0.17 |
0.5 |
|
I3 |
0.98 |
0.95 |
0.75 |
0.17 |
4、计算相似度
有了评分矩阵以后，那么开始要找到用户相似度及物品相似度了。
推荐系统中通常使用余弦相似性作为距离度量，在n维孔空间中评价被视为向量，基于这些向量之间的夹角来计算相似性。
计算用户k与用户a的相似度：
计算条目m与条目b的相似度：
经过计算以后，我们可以拿到用户和物品的相似度矩阵。
5、推荐
准备了这么多，最后最终的目的还是要进行推荐，刚刚我们提到了2个算法，基于用户的协同过滤和基于物品的协同过滤，（虽然可以百度到，但是补充说明一下）
基于用户的协同过滤，因为我们计算出了用户的相似度矩阵，如图：
|
u1 |
u2 |
u3 |
|
|
u1 |
0 |
0.156874 |
0.21221 |
|
u2 |
0.14213 |
0 |
0.56231 |
|
u3 |
0.165984 |
0.62123 |
0 |
然后我们还可以设计一个权重，根据最近邻居的相似度以及它们对物品的偏好，预测当前用户偏好的但未涉及条目，计算得到一个排序的条目列表进行推荐
基于物品的协同过滤，类似的我们还可以拿到一个物品的相似度矩阵（不贴图了），他是从物品本身出发，比如A喜欢咨询知识库条目k,那么我们根据物品相似度矩阵，拿到与k相似的并且用户A并未咨询过的条目推荐给A。
6、评估
用于评估预测精确度的指标之一是Root Mean Squared Error(RMSE)
所以我们可以直接用sklearn中的mean_square_error(mse)函数，然后再求个平方根，就是RMSE。
结果如图：
从最终的结果来看，基于用户与基于物品的预测精确度差距不大，同时，由于基于物品计算复杂会比基于用户的计算复杂少很多，目前采用就是基于物品的协同过滤算法。
两种算法的适用场景请参考：
https://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy2/index.html
７、后续
推荐系统在业界一直有一个问题比较难处理，就是冷启动，由于收集到的用户信息不足，导致数据稀疏，推荐效果不是很不理想；那么解决方案是基于模型的协同过滤（MF），采用奇异值分解算法svd。他的推荐效果很不错，如图：
（ps:相对svd算法的复杂度是最高的。。。。。对于没有GPU必要设备的我们来说只能放弃了）
言归正传，后续准备分享建设机器人寒暄库，让机器人可以口吐"人言"，甚至口吐"甄嬛体"。
目前还需要童鞋帮忙建设寒暄库，各路大神有时间的，助小的一臂之力。
推荐资料：
https://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy2/index.html
http://blog.163.com/[email protected]/blog/static/2414832520123269713813/