关联规则——Apriori算法

Apriori算法是基于Apriori定律:

1、如果一个集合是频繁项集,则它的所有子集都是频繁项集。

2、如果一个集合不是频繁项集,则它的所有超集都不是频繁项集。

Apriori是由a priori合并而来的,它的意思是后面的是在前面的基础上推出来的,即先验推导,怎么个先验法,其实就是二级频繁项集是在一级频繁项集的基础上产生的,三级频繁项集是在二级频繁项集的基础上产生的,以此类推。

Apriori算法的过程如下:

1、抄来的php示例代码,有改动

  1 <?php
  2
  3
  4 /**
  5  * *实现Apriori算法
  6  *
  7  *
  8  */
  9 class Apriori{
 10     public static $dCountMap = array(); //频繁集的记数表
 11     private static $MIN_SUP = 0.2; //最小支持度
 12     private static $MIN_CONF = 0.8; //最小置信度
 13     private static $confCount = array(); //置信度记录表
 14     private static $confItemset = array(); //满足支持度的集合
 15
 16     /**
 17      * 算法的第一次迭代,对每个项出现次数计数
 18      * @param $data 存储数据的二维数组
 19      * @return $list 返回候选1项集
 20      */
 21     public function getFristCandiate($data){
 22         $list = array();
 23         for($i = 0; $i < sizeof($data); $i++){
 24             for($j = 0; $j < sizeof($data[$i]); $j++){
 25                 if (!isset($list[$data[$i][$j]] ))
 26                 $list[$data[$i][$j]] = [$data[$i][$j]];
 27             }
 28         }
 29         return array_values($list);
 30     }
 31
 32     /**
 33      * 求出CItemset中满足最低支持度集合
 34      * @param $CItemset 备选集
 35      */
 36     public function getSupportedItemset($data, $CItemset){
 37         $end = true;
 38         $supportedItemset = array();
 39         $n = sizeof($CItemset[0])-1;//记录这是第几项集
 40         $k = 0;
 41         for($i = 0; $i < sizeof($CItemset); $i++){
 42             $count = $this->countFrequent($data, $CItemset[$i]);//统计 $CItemset[$i] 在 $data 中出现的次数
 43             if($count >= self::$MIN_SUP * (sizeof($data) )){ //- 1源代码次数有-1 感觉不用-1吧 总数×比例威慑呢买要-1呢
 44                 $supportedItemset[$k] = $CItemset[$i];
 45                 self::$dCountMap[$n][$k] = $count;
 46                 $k++;
 47             }
 48         }
 49         return $supportedItemset;
 50     }
 51
 52     /**
 53      * 统计备选集出现了多少次
 54      * @param $data 数据表
 55      * @param $list 备选集中的某一项
 56      */
 57     public function countFrequent($data, $list){
 58         $count = 0;
 59         for($i = 0; $i < sizeof($data); $i++){
 60             $record = true;
 61             for($k = 0; $k < sizeof($list); $k++){
 62                 if(!in_array($list[$k], $data[$i])){
 63                     $record = false;
 64                     break;
 65                 }
 66             }
 67             if($record){
 68                 $count++;
 69             }
 70         }
 71
 72         return $count;
 73     }
 74
 75     /**
 76      * 根据cItemset求出下一级的备选集合组,求出的备选集合组中的每个集合的元素的个数
 77      * 比cItemset中的集合的元素大1
 78      * @param $CItemset
 79      * @return $nextItemset
 80      */
 81     public function getNextCandidate($CItemset){
 82         $nextItemset = array();
 83         $count = 0;
 84         //取出每一项集
 85         for($k = 0; $k < sizeof($CItemset); $k++){
 86             //遍历其他项集的每一个元素,判断是否存在于该项集,如果不存在,则该加入该元素
 87             for($i = $k + 1; $i < sizeof($CItemset); $i++){
 88                 for($j = 0; $j < sizeof($CItemset[$i]); $j++){
 89                     if(!in_array($CItemset[$i][$j], $CItemset[$k])){
 90                         $tmp = $CItemset[$k];//先临时储存,满足条件后在加入进去
 91                         //剪枝:即去掉子集不是频繁的项集
 92                         if($this->isSubsetInC($tmp, $CItemset[$i][$j], $CItemset)){
 93                             array_push($tmp, $CItemset[$i][$j]);
 94                             //去掉重复项
 95                             if(!$this->isHave($tmp, $nextItemset)){
 96                                 $nextItemset[$count] = $tmp;
 97                                 $count++;
 98                             }
 99                         }
100                     }
101                 }
102             }
103         }
104
105         return $nextItemset;
106     }
107
108     /**
109      * 剪枝:即去掉子集不是频繁的项集
110      * @param $itemset 前一项集的某一项,判断能否加入新项后是否是平凡集
111      * @param $key 即将加入的一项
112      * @param $CItemset 前一项集
113      */
114     public function isSubsetInC($itemset, $key, $CItemset){
115         $record = 0; //记录子集匹配的个数
116         for($i = 0; $i < sizeof($itemset); $i++){
117             for($j = 0; $j < sizeof($CItemset); $j++){
118                 $subset = $itemset;
119                 $subset[$i] = $key;//分别替换掉每一项就是子集
120                 //如果相等,则记录加一
121                 if(sizeof(array_diff($subset, $CItemset[$j])) == 0){
122                     $record++;
123                     break;
124                 }
125             }
126         }
127         if($record == sizeof($itemset)){
128             return true;
129         }
130
131         return false;
132     }
133
134     /**
135      * 判断将要加入的项是否已经存在是否已经存在
136      * @param $list 将要加入的项
137      * @param $itemset 项集
138      */
139     public function isHave($list, $itemset){
140         for($i = 0; $i < sizeof($itemset); $i++){
141             if(sizeof(array_diff($list, $itemset[$i])) == 0){
142                 return true;
143             }
144         }
145
146         return false;
147     }
148 }
149 $data =[[1,2,3],[1,3,4],[1,3,5],[1,4],[1,3,7],[5,8],[1,3,9]];
150 $CItemset = array();//备选集
151 $lItemset = array();//获取备选集$CItemset满足支持度的集合
152 $n = 0;
153 $apriori = new Apriori();
154 $CItemset[$n] = $apriori->getFristCandiate($data); //获取第一次的备选集
155 $lItemset[$n] = $apriori->getSupportedItemset($data, $CItemset[$n]); //获取备选集$CItemset满足支持度的集合
156 $flag = true;
157 while ($flag) {
158     $itemset = $apriori->getNextCandidate($lItemset[$n]);// 获取第下一次的备选集
159     if(sizeof($itemset) == 0){
160         $flag = false;
161         break;
162     }
163     $CItemset[$n+1] = $itemset;
164     $lItemset[$n+1] = $apriori->getSupportedItemset($data, $CItemset[$n+1]); //获取本次备选集$CItemset满足支持度的集合
165     $n++;
166 }
167 var_dump($CItemset);
168 var_dump($lItemset);
169 var_dump(Apriori::$dCountMap);

2、计算置信度

对于一个频繁集L,找到所有的L的非空子集非空子集f,如果f -> L - f,的概率满足最小置信度,则这是一个强规则。 
如果{A,B,C,D}是一个频繁集,则它有如下候选规则 
ABC -> D, ABD -> C, ACD -> B, BCD -> A, A -> BCD, B -> ACD, C -> ABD, D -> ABC,AB -> CD, AC -> BD, AD -> BC, BC -> AD, BD -> AC, CD -> AB 
从中我们可以看出: 
如果L的大小|L| = k, 则一共有(2的k次方减2) 个候选关联规则(除去 空集和全集)。

简化计算

根据公式我们可以推导出如下规则: 
对于L = {A,B,C,D},它的子集的置信度有如下规则, 
c(ABC -> D)>=c(AB -> CD) >= c(A -> BCD)

所以

图中被红圈标注的皆是不满足最小置信度的规则。

参考代码:

 1 /**
 2     * 计算一个项集产生的关联规则的所有置信度
 3     * @param $itemset 要计算的某一项集
 4     * @param $lItemset 所有满足支持度的集合
 5     * @param $count 该项集的支持度
 6     * @return $confidence 求出满足最小置信度的关联数组
 7     */
 8     public function confidence($itemset, $lItemset, $count){
 9         $n = sizeof($itemset)-2;
10         $lkItemset = $lItemset[$n];
11         $confidence = array();
12         $this->subset = array();
13         $this->getAllSubSet(0, $itemset);//获得所有子集
14         for($i = 0; $i < sizeof($this->subset); $i++){
15             $n = sizeof($this->subset[$i])-1;
16             if($n >= 0 && $n < sizeof($itemset)-1){
17                 $dkCountMap = self::$dCountMap[$n]; //根据大小,取出频繁集对应的支持度
18                 //比较取出每个子集对应的支持度,并计算出置信度
19                 for($j = 0; $j < sizeof($lItemset[$n]); $j++){
20                     if(!array_diff($this->subset[$i], $lItemset[$n][$j])){
21                         $conf = $count / $dkCountMap[$j] * 1.0;
22                         if($conf >= self::$MIN_CONF){
23                             $from = implode(",", $this->subset[$i]);
24                             $to = implode(",", array_diff($itemset, $this->subset[$i]));
25                             $confidence["$from ==> $to"] = $conf;
26                         }
27                     }
28                 }
29             }
30
31         }
32
33         return $confidence;
34     }
35
36     /**
37     * 递归排列组合,获得一个项集所有子集,包括全集和空集
38     * @param $pos 记录将要放入子集的位置
39     * @param $itemset 要计算子集的项集
40     */
41     public $p = array(); //记录将要放入子集的位置,每一次递归就有0,1两种选择,最后即可获得所有选择
42     public $subset = array();
43     public $subsetCount = 0;
44     public function getAllSubSet($pos, $itemset){
45         if($pos == sizeof($itemset)){
46             $tmp = array();
47             for($i = 0; $i < sizeof($itemset); $i++){
48                 if($this->p[$i] == 1){
49                     array_push($tmp, $itemset[$i]);
50                 }
51             }
52             $count = $this->subsetCount;
53             $this->subset[] = $tmp;
54             $this->subsetCount++;
55             return;
56         }
57         $this->p[$pos] = 0;
58         $this->getAllSubSet($pos+1, $itemset);
59         $this->p[$pos] = 1;
60         $this->getAllSubSet($pos+1, $itemset);
61     }

todo 从写上面两处代码,合并为1个类

todo 优化 https://wizardforcel.gitbooks.io/dm-algo-top10/content/apriori.html

时间: 2024-10-10 08:06:32

关联规则——Apriori算法的相关文章

数据挖掘:关联规则的apriori算法在weka的源码分析

相对于机器学习,关联规则的apriori算法更偏向于数据挖掘. 1) 测试文档中调用weka的关联规则apriori算法,如下 try { File file = new File("F:\\tools/lib/data/contact-lenses.arff"); ArffLoader loader = new ArffLoader(); loader.setFile(file); Instances m_instances = loader.getDataSet(); Discre

Apriori 算法 理论

关联规则的基本模型-规则 关联规则的基本模型-置信度 关联规则的基本模型-支持度 关联规则基本概念 频繁项集举例 关联规则举例 Apriori的步骤 Apriori的重要性质 Apriori算法实例-产生频繁项集 Apriori算法实例-产生关联规则 Apriori算法思想总结 Apriori算法代码 由L(k-1)生成候选集Ck 从频繁项集中挖掘关联规则 由频繁项集产生关联规则--频繁项集性质 由频繁项集产生关联规则

Apriori算法--关联规则挖掘

我的数据挖掘算法代码:https://github.com/linyiqun/DataMiningAlgorithm 介绍 Apriori算法是一个经典的数据挖掘算法,Apriori的单词的意思是"先验的",说明这个算法是具有先验性质的,就是说要通过上一次的结果推导出下一次的结果,这个如何体现将会在下面的分析中会慢慢的体现出来.Apriori算法的用处是挖掘频繁项集的,频繁项集粗俗的理解就是找出经常出现的组合,然后根据这些组合最终推出我们的关联规则. Apriori算法原理 Aprio

关联规则挖掘(基本概念和Apriori算法)

关联规则挖掘的研究一直是数据挖掘领域的一个重要方向. 关联规则挖掘的目的是从大型事务数据库中挖掘出不同项目之间的关联关系 ,找出潜在的行为模式. 关联规则概念是由 Agrawal 等人在1993年率先提出的, 并随后提出了Apriori算法. 基本概念: 定义1  关联规则挖掘的事务数据库记为TDB,TDB={T1,T2,…,Tk},Tk={i1,i2,…,ip},Tk称为事务,ip称为项目. 定义2  设I={i1,i2,…,im}是TDB中全体项目组成的集合.每一个事务T是I中一组项目的集合

推荐系统第4周--- 基于频繁模式的推荐系统和关联规则挖掘Apriori算法

数据挖掘:关联规则挖掘 关联规则挖掘:Apriori算法 提高Apriori的效率 基于散列的算法基于FP tree的算法

【数据挖掘技术】关联规则(Apriori算法)

一.关联规则中的频繁模式   关联规则(Association Rule)是在数据库和数据挖掘领域中被发明并被广泛研究的一种重要模型,关联规则数据挖掘的主要目的是找出: [频繁模式]: Frequent Pattern,即多次重复出现的模式和并发关系(Cooccurrence Relationships),即同时出现的关系,频繁和并发关系也称为关联(Association). 二.应用关联规则的经典案例:沃尔玛超市中“啤酒和尿不湿”的经典营销案例 购物篮分析(Basket Analysis):通

数据挖掘算法之关联规则挖掘(一)---apriori算法

关联规则挖掘算法在生活中的应用处处可见,几乎在各个电子商务网站上都可以看到其应用 举个简单的例子 如当当网,在你浏览一本书的时候,可以在页面中看到一些套餐推荐,本书+有关系的书1+有关系的书2+...+其他物品=多少¥ 而这些套餐就很有可能符合你的胃口,原本只想买一本书的你可能会因为这个推荐而买了整个套餐 这与userCF和itemCF不同的是,前两种是推荐类似的,或者你可能喜欢的商品列表 而关联规则挖掘的是n个商品是不是经常一起被购买,如果是,那个n个商品之中,有一个商品正在被浏览(有被购买的

数据挖掘关联规则之Apriori算法

Apriori algorithm是关联规则里一项大数据基本算法.是由Rakesh Agrawal和Ramakrishnan Srikant两位博士在1994年提出的关联规则挖掘算法.关联规则的目的就是在一个数据集中找出项与项之间的关系,也被称为购物蓝分析 (Market Basket analysis),因为“购物蓝分析”很贴切的表达了适用该算法情景中的一个子集. 关于这个算法有一个非常有名的故事:"尿布和啤酒".故事是这样的:美国的妇女们经常会嘱咐她们的丈夫下班后为孩子买尿布,而丈

机器学习(八)—Apriori算法

摘要:本文对Apriori算法进行了简单介绍,并通过Python进行实现,进而结合UCI数据库中的肋形蘑菇数据集对算法进行验证. “啤酒与尿布”的例子相信很多人都听说过吧,故事是这样的:在一家超市中,人们发现了一个特别有趣的现象,尿布与啤酒这两种风马牛不相及的商品居然摆在一起.但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了.这可不是一个笑话,而是一直被商家所津津乐道的发生在美国沃尔玛连锁超市的真实案例.原来,美国的妇女通常在家照顾孩子,所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布,而丈夫