无监督学习在反欺诈中的应用

一.反欺诈几种发展阶段:

1.黑名单,信誉库和指纹设备。这个很好理解,就是针对已有的出现过过信用的人进行标记,但是这种无法标记没有信用记录的人;

2.规则规律。这个根据一些好的信用的人一些特性,或者一些黑名单的人进行标记统计,总结出一些规则,然后通过规则去过滤避免一些风险;

3.有监督机器学习。有监督学习来做反欺诈,比较常见的就是做一个离群点检测 or 异常值检测,我们常用的离群点检测方式就是knn,这种方式去判断会造成一定量的误伤;

4.无监督机器学习。无监督机器学习应用最多的是聚类,聚类是根据未标注的数据机,在数据机内部根据数据特征划分为多个不同的类别,使类别哪的数据比较有较大的相似性,类别之间的数据关联性较少,聚类在无监督学习的时候,主要看两个特征,一个是一致性,一个是关联性;

二.无监督学习应用于反欺诈

1.特征工程,挑样本中有用特征的作为模型训练的数据,会应用一些统计分析,自然语言处理,图形分析等方法,把有用的特征提取出来;

2.聚类分析,首先要把特征组装成为一个向量, 对向量进入降维分析,减少高纬度的复杂度,第二个要对特征做一个关联性分析,定义它的距离函数;前面做完只会再去丢到聚类模型看结果,如果最终的结果不是特别理想,那么重回上一步进一步做关联性的分析;模型的调整都是不断的循环做的;

3.图分析,从结果上看,也就是一个更高的维度去管惨小团体和小团体之间是不是有一定的分工或者相关性,换一个视角去了解模型的结果;

4.结果的排序评分,主要依赖两个评价指标,一个是群组的大小,第二个是群组的关联性;群组的人多,那么说明基数很高,评分相对来说也会比较高;关联性说明,你的一些异常行为与组内比较一直时候,平衡度也会高;

业界中蚂蚁信用就是一种反欺诈的应用案例,值得去深入了解一下。

原文地址:https://www.cnblogs.com/yankang/p/10017434.html

时间: 2024-10-26 16:32:44

无监督学习在反欺诈中的应用的相关文章

有监督学习和无监督学习

有监督学习:对具有概念标记(分类)的训练样本进行学习,以尽可能对训练样本集外的数据进行标记(分类)预测.这里,所有的标记(分类)是已知的.因此,训练样本的岐义性低. 无监督学习:对没有概念标记(分类)的训练样本进行学习,以发现训练样本集中的结构性知识.这里,所有的标记(分类)是未知的.因此,训练样本的岐义性高.聚类就是典型的无监督学习 附: 机器学习中的方法或范式(paradigm)有很多种分类体系,例如从学习的方式分,有例子中学习.类比学习.分析学习等,但一般来说,现在研究得最多.被认为最有用

Machine Learning Algorithms Study Notes(4)—无监督学习(unsupervised learning)

1    Unsupervised Learning 1.1    k-means clustering algorithm 1.1.1    算法思想 1.1.2    k-means的不足之处 1.1.3    如何选择K值 1.1.4    Spark MLlib 实现 k-means 算法 1.2    Mixture of Gaussians and the EM algorithm 1.3    The EM Algorithm 1.4    Principal Components

机器学习中的有监督学习,无监督学习,半监督学习

在机器学习(Machine learning)领域.主要有三类不同的学习方法: 监督学习(Supervised learning). 非监督学习(Unsupervised learning). 半监督学习(Semi-supervised learning), 监督学习:通过已有的一部分输入数据与输出数据之间的相应关系.生成一个函数,将输入映射到合适的输出,比如分类. 非监督学习:直接对输入数据集进行建模,比如聚类. 半监督学习:综合利用有类标的数据和没有类标的数据,来生成合适的分类函数. 一.监

聊聊机器学习中的无监督学习

机器学习分为监督式机器学习.无监督式机器学习和半监督式机器学习.其划分的标准是训练样本是否包含人为标注的结果. (1)监督式机器学习:从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果.监督学习的训练集要求是包括输入和输出,也可以说是特征和目标.训练集中的目标是由人标注的.常见的监督学习算法包括回归分析和统计分类. (2)无监督式机器学习:与监督学习相比,训练集没有人为标注的结果.常见的无监督学习算法有聚类. (3)半监督式机器学习:是监督学习和无监督学习相结合的一种

人工智能反欺诈三部曲之:设备指纹

上次我们着重介绍了反欺诈的一项核心技术:特征工程. 在反欺诈的技术金字塔中,特征工程起着承上启下的作用.而居于特征工程的下一层的是基座层:数据.在机器学习里,大家有一个共识,高质量.相关的数据决定模型预测能力的上限,模型只是去逼近这个上限.数据就像原油,好的特征就像汽油,而模型就是引擎,三者缺一不可.作为基座层的数据层的一个重要组成部分是设备终端和网络风险,Gartner的经典五层模型同样将其列为最基础的数据.今天我们就来探讨一下处于这一层的设备指纹以及由此衍生出来的设备风险识别. ? 背景 ?

决策引擎在支付行业的反欺诈应用

批准还是拒绝 收到交易请求 - 以在线支付方式购买价格为1500元的手机.批准还是拒绝? 某全球大型在线支付公司每天都处理上千万笔类似的请求.金融支付与科技创新深度融合,支付产品及场景更加丰富,支付更加简单.安全.方便.为了使服务体验不断优化.支付安全更有保障,在线支付平台与支付网络欺诈始终在进行着无休止的博弈.据<2016年国内银行卡盗刷大数据报告>不完全统计,运营商×××数量超过1.3亿张,网络诈骗"黑色产业"市场规模高达1100亿元,已成为中国第三大"黑色产

Maxent猛犸反欺诈入选Gartner 2018 Cool Vendors

"Maxent猛犸反欺诈SaaS服务结合被动式设备指纹和行为分析,有效提高欺诈检出能力. --Gartner" 2018年5月14日,全球知名的 IT 咨询及调研公司Gartner发布了2018年度数字颠覆与创新酷公司榜单(Cool Vendors in Digital Disruption and Innovation),Maxent猛犸反欺诈位列其中,并成为目前唯一一家人工智能反欺诈公司. 1 Maxent猛犸反欺诈的核心技术能力 Maxent猛犸反欺诈以多年积累的高性能流计算与无

机器学习 一 监督学习和无监督学习的区别

前话: 最近一直想学机器学习的东西,无奈自己的书太多但无法专心看一本,纯理论的东西看了感觉不记下来就忘记类,所以我想理论学习和实践一起. 所以最近想把机器学习实战这本书看完,并做好记录.加油.!~ 一:什么是监督学习? 监督学习(supervised learning):通过已有的训练样本(即已知数据以及其对应的输出)来训练,从而得到一个最优模型,再利用这个模型将所有新的数据样本映射为相应的输出结果,对输出结果进行简单的判断从而实现分类的目的,那么这个最优模型也就具有了对未知数据进行分类的能力.

什么是有监督学习和无监督学习

监督学习,就是人们常说的分类,通过已有的训练样本(即已知数据以及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合,最优则表示在某个评价准则下是最佳的),再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的,也就具有了对未知数据进行分类的能力.在人对事物的认识中,我们从孩子开始就被大人们教授这是鸟啊.那是猪啊.那是房子啊,等等.我们所见到的景物就是输入数据,而大人们对这些景物的判断结果(是房子还是鸟啊)就是相应的输出.当我们见识多了以后,脑子里就慢慢地