PHP - 数组去重，（折中：符串去重）

【译】更快的方式实现PHP数组去重

Jan 11, 2016 • Hector

原文:Faster Alternative to PHP’s Array Unique Function

概述

使用PHP的array_unique()函数允许你传递一个数组，然后移除重复的值，返回一个拥有唯一值的数组。这个函数大多数情况下都能工作得很好。但是，如果你尝试在一个大的数组里使用array_unique（）函数，它会运行地慢一些。

有一个比较好而且更快的函数array_flip()来替代使用array_unique()函数来创建唯一的数组。这个魔法般的函数会交换数组里面每一个元素的键和值，因为键值必须唯一，因此，你会得到跟array_unique()函数一样的结果。

更快的方式实现PHP数组去重

/* 创建一个包含重复值的，一共四个元素的数组 */
$array = array(‘green‘,‘blue‘,‘orange‘,‘blue‘);

/* 翻转数组，你将会得到唯一键值的数组
        array(‘green‘=>0,‘blue‘=>1,‘orange‘=>2); */
$array = array_flip($array);

/* 然后再翻转一次，将键和值重新放置，然后得到数组：array(0=>‘green‘,1=>‘blue‘,2=>‘orange‘); */
$array = array_flip($array);

因为我们已经移除了一些元素，因此数组看起来不是正常的序列。比如我们可能会得到：array(0=>’A’,2=>’B’,5=>’C’);。在某些情况下，这不是一个问题，但是如果你需要数组的键值保持数字的序列，你可以使用一到两种方法解决键值乱序的问题。

使用array_merge修复数组的keys

添加array_flip之后的函数，将会对数组的键值排序并且让它们恢复到正常的序列，如：0,1,2,3…

$array = array(‘green‘,‘blue‘,‘orange‘,‘blue‘);
$array = array_flip($array);
$array = array_flip($array);

/* 使用array_merge()函数修复键值*/
$array = array_merge($array);

第二种方式，使用array_keys

注意，这种修复数组键值的方法比使用array_merge()函数稍微快了一点。你也可以在最后一步结合使用array_keys()函数(此函数返回翻转后的值)。然后当你翻转数组的值，键值就会根据顺序创建。

$array = array(‘green‘,‘blue‘,‘orange‘,‘blue‘);
$array = array_flip($array);
/* 跟第一个例子一样，但是现在我们先提取数组的键值 */
$array = array_keys($array);

结论

非常简单，比起在大数组使用array_unique函数，有了一个有效的性能提升。

------------------------------

其中源码分析：

【性能为王】从PHP源码剖析array_keys和array_unique

之前在[译]更快的方式实现PHP数组去重这 篇文章里讨论了使用array_flip后再调用array_keys函数替换直接调用array_unique函数实现数组去重性能较好。由于原文没有 给出源码分析和测试的结果，导致给读者造成迷惑，在此说声抱歉。为了解开读者的疑惑，笔者承诺了会补上源码的分析，于是花了一些时间去研究PHP的源码， 现在此补上详细的说明。我在github有对PHP源码更详细的注解。感兴趣的可以围观一下，给个star。PHP5.4源码注解。可以通过commit记录查看已添加的注解。

性能分析

从运行性能上分析，看看下面的测试代码：

$test=array();
for($run=0; $run<10000; $run++)
$test[]=rand(0,100);

$time=microtime(true);

$out = array_unique($test);

$time=microtime(true)-$time;
echo ‘Array Unique: ‘.$time."\n";

$time=microtime(true);

$out=array_keys(array_flip($test));

$time=microtime(true)-$time;
echo ‘Keys Flip: ‘.$time."\n";

$time=microtime(true);

$out=array_flip(array_flip($test));

$time=microtime(true)-$time;
echo ‘Flip Flip: ‘.$time."\n";

运行结果如下：

从上图可以看到，使用array_unique函数需要0.069s;使用array_flip后再使用array_keys函数需要0.00152s;使用两次array_flip函数需要0.00146s。

测试结果表明，使用array_flip后再调用array_keys函数比array_unique函数快。那么，具体原因是什么呢？让我们看看在PHP底层，这两个函数是怎么实现的。

源码分析

 1 /* {{{ proto array array_keys(array input [, mixed search_value[, bool strict]])
 2    Return just the keys from the input array, optionally only for the specified search_value */
 3 PHP_FUNCTION(array_keys)
 4 {
 5     //变量定义
 6     zval *input,                /* Input array */
 7          *search_value = NULL,    /* Value to search for */
 8          **entry,                /* An entry in the input array */
 9            res,                    /* Result of comparison */
10           *new_val;                /* New value */
11     int    add_key;                /* Flag to indicate whether a key should be added */
12     char  *string_key;            /* String key */
13     uint   string_key_len;
14     ulong  num_key;                /* Numeric key */
15     zend_bool strict = 0;        /* do strict comparison */
16     HashPosition pos;
17     int (*is_equal_func)(zval *, zval *, zval * TSRMLS_DC) = is_equal_function;
18
19     //程序解析参数
20     if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a|zb", &input, &search_value, &strict) == FAILURE) {
21         return;
22     }
23
24     // 如果strict是true，则设置is_equal_func为is_identical_function，即全等比较
25     if (strict) {
26         is_equal_func = is_identical_function;
27     }
28
29     /* 根据search_vale初始化返回的数组大小 */
30     if (search_value != NULL) {
31         array_init(return_value);
32     } else {
33         array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(input)));
34     }
35     add_key = 1;
36
37     /* 遍历输入的数组参数，然后添加键值到返回的数组 */
38     zend_hash_internal_pointer_reset_ex(Z_ARRVAL_P(input), &pos);//重置指针
39     //循环遍历数组
40     while (zend_hash_get_current_data_ex(Z_ARRVAL_P(input), (void **)&entry, &pos) == SUCCESS) {
41         // 如果search_value不为空
42         if (search_value != NULL) {
43             // 判断search_value与当前的值是否相同，并将比较结果保存到add_key变量
44             is_equal_func(&res, search_value, *entry TSRMLS_CC);
45             add_key = zval_is_true(&res);
46         }
47
48         if (add_key) {
49             // 创建一个zval结构体
50             MAKE_STD_ZVAL(new_val);
51
52             // 根据键值是字符串还是整型数字将值插入到return_value中
53             switch (zend_hash_get_current_key_ex(Z_ARRVAL_P(input), &string_key, &string_key_len, &num_key, 1, &pos)) {
54                 case HASH_KEY_IS_STRING:
55                     ZVAL_STRINGL(new_val, string_key, string_key_len - 1, 0);
56                     // 此函数负责将值插入到return_value中，如果键值已存在，则使用新值更新对应的值，否则直接插入
57                     zend_hash_next_index_insert(Z_ARRVAL_P(return_value), &new_val, sizeof(zval *), NULL);
58                     break;
59
60                 case HASH_KEY_IS_LONG:
61                     Z_TYPE_P(new_val) = IS_LONG;
62                     Z_LVAL_P(new_val) = num_key;
63                     zend_hash_next_index_insert(Z_ARRVAL_P(return_value), &new_val, sizeof(zval *), NULL);
64                     break;
65             }
66         }
67
68         // 移动到下一个
69         zend_hash_move_forward_ex(Z_ARRVAL_P(input), &pos);
70     }
71 }
72 /* }}} */

以上是array_keys函数底层的源码。为方便理解，笔者添加了一些中文注释。如果需要查看原始代码，可以点击查看。 这个函数的功能就是新建一个临时数组，然后将键值对重新复制到新的数组，如果复制过程中有重复的键值出现，那么就用新的值替换。这个函数的主要步骤是地 57和63行调用的zend_hash_next_index_insert函数。该函数将元素插入到数组中，如果出现重复的值，则使用新的值更新原键值 指向的值，否则直接插入，时间复杂度是O(n)。

 1 /* {{{ proto array array_flip(array input)
 2    Return array with key <-> value flipped */
 3 PHP_FUNCTION(array_flip)
 4 {
 5     // 定义变量
 6     zval *array, **entry, *data;
 7     char *string_key;
 8     uint str_key_len;
 9     ulong num_key;
10     HashPosition pos;
11
12     // 解析数组参数
13     if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a", &array) == FAILURE) {
14         return;
15     }
16
17     // 初始化返回数组
18     array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(array)));
19
20     // 重置指针
21     zend_hash_internal_pointer_reset_ex(Z_ARRVAL_P(array), &pos);
22     // 遍历每个元素，并执行键<->值交换操作
23     while (zend_hash_get_current_data_ex(Z_ARRVAL_P(array), (void **)&entry, &pos) == SUCCESS) {
24         // 初始化一个结构体
25         MAKE_STD_ZVAL(data);
26         // 将原数组的值赋值为新数组的键
27         switch (zend_hash_get_current_key_ex(Z_ARRVAL_P(array), &string_key, &str_key_len, &num_key, 1, &pos)) {
28             case HASH_KEY_IS_STRING:
29                 ZVAL_STRINGL(data, string_key, str_key_len - 1, 0);
30                 break;
31             case HASH_KEY_IS_LONG:
32                 Z_TYPE_P(data) = IS_LONG;
33                 Z_LVAL_P(data) = num_key;
34                 break;
35         }
36
37         // 将原数组的键赋值为新数组的值，如果有重复的，则使用新值覆盖旧值
38         if (Z_TYPE_PP(entry) == IS_LONG) {
39             zend_hash_index_update(Z_ARRVAL_P(return_value), Z_LVAL_PP(entry), &data, sizeof(data), NULL);
40         } else if (Z_TYPE_PP(entry) == IS_STRING) {
41             zend_symtable_update(Z_ARRVAL_P(return_value), Z_STRVAL_PP(entry), Z_STRLEN_PP(entry) + 1, &data, sizeof(data), NULL);
42         } else {
43             zval_ptr_dtor(&data); /* will free also zval structure */
44             php_error_docref(NULL TSRMLS_CC, E_WARNING, "Can only flip STRING and INTEGER values!");
45         }
46
47         // 下一个
48         zend_hash_move_forward_ex(Z_ARRVAL_P(array), &pos);
49     }
50 }
51 /* }}} */

上面就是是array_flip函数的源码。点击链接查看原始代码。 这个函数主要的做的事情就是创建一个新的数组，遍历原数组。在26行开始将原数组的值赋值为新数组的键，然后在37行开始将原数组的键赋值为新数组的值， 如果有重复的，则使用新值覆盖旧值。整个函数的时间复杂度也是O(n)。因此，使用了array_flip之后再使用array_keys的时间复杂度是 O(n)。

接下来，我们看看array_unique函数的源码。点击链接查看原始代码。

 1 /* {{{ proto array array_unique(array input [, int sort_flags])
 2    Removes duplicate values from array */
 3 PHP_FUNCTION(array_unique)
 4 {
 5     // 定义变量
 6     zval *array, *tmp;
 7     Bucket *p;
 8     struct bucketindex {
 9         Bucket *b;
10         unsigned int i;
11     };
12     struct bucketindex *arTmp, *cmpdata, *lastkept;
13     unsigned int i;
14     long sort_type = PHP_SORT_STRING;
15
16     // 解析参数
17     if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a|l", &array, &sort_type) == FAILURE) {
18         return;
19     }
20
21     // 设置比较函数
22     php_set_compare_func(sort_type TSRMLS_CC);
23
24     // 初始化返回数组
25     array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(array)));
26     // 将值拷贝到新数组
27     zend_hash_copy(Z_ARRVAL_P(return_value), Z_ARRVAL_P(array), (copy_ctor_func_t) zval_add_ref, (void *)&tmp, sizeof(zval*));
28
29     if (Z_ARRVAL_P(array)->nNumOfElements <= 1) {    /* 什么都不做 */
30         return;
31     }
32
33     /* 根据target_hash buckets的指针创建数组并排序 */
34     arTmp = (struct bucketindex *) pemalloc((Z_ARRVAL_P(array)->nNumOfElements + 1) * sizeof(struct bucketindex), Z_ARRVAL_P(array)->persistent);
35     if (!arTmp) {
36         zval_dtor(return_value);
37         RETURN_FALSE;
38     }
39     for (i = 0, p = Z_ARRVAL_P(array)->pListHead; p; i++, p = p->pListNext) {
40         arTmp[i].b = p;
41         arTmp[i].i = i;
42     }
43     arTmp[i].b = NULL;
44     // 排序
45     zend_qsort((void *) arTmp, i, sizeof(struct bucketindex), php_array_data_compare TSRMLS_CC);
46
47     /* 遍历排序好的数组，然后删除重复的元素 */
48     lastkept = arTmp;
49     for (cmpdata = arTmp + 1; cmpdata->b; cmpdata++) {
50         if (php_array_data_compare(lastkept, cmpdata TSRMLS_CC)) {
51             lastkept = cmpdata;
52         } else {
53             if (lastkept->i > cmpdata->i) {
54                 p = lastkept->b;
55                 lastkept = cmpdata;
56             } else {
57                 p = cmpdata->b;
58             }
59             if (p->nKeyLength == 0) {
60                 zend_hash_index_del(Z_ARRVAL_P(return_value), p->h);
61             } else {
62                 if (Z_ARRVAL_P(return_value) == &EG(symbol_table)) {
63                     zend_delete_global_variable(p->arKey, p->nKeyLength - 1 TSRMLS_CC);
64                 } else {
65                     zend_hash_quick_del(Z_ARRVAL_P(return_value), p->arKey, p->nKeyLength, p->h);
66                 }
67             }
68         }
69     }
70     pefree(arTmp, Z_ARRVAL_P(array)->persistent);
71 }
72 /* }}} */

可以看到，这个函数初始化一个新的数组，然后将值拷贝到新数组，然后在45行调用排序函数对数组进行排序，排序的算法是zend引擎的块树排序算 法。接着遍历排序好的数组，删除重复的元素。整个函数开销最大的地方就在调用排序函数上，而快排的时间复杂度是O(n*logn)，因此，该函数的时间复 杂度是O(n*logn)。

结论

因为array_unique底层调用了快排算法，加大了函数运行的时间开销，导致整个函数的运行较慢。这就是为什么array_keys比array_unique函数更快的原因。

原创文章，文笔有限，才疏学浅，文中若有不正之处，万望告知。

如果本文对你有帮助，请点下推荐，写文章不容易。

最后再安利一下，我在github有对PHP源码更详细的注解。感兴趣的可以围观一下，给个star。PHP5.4源码注解。可以通过commit记录查看已添加的注解。

更多源码文章，欢迎访问个人主页继续查阅：hoohack

时间： 2024-10-15 10:57:48

PHP - 数组去重，（折中：符串去重）的相关文章

ES6--字符串、正则、数值、数组的扩展

三.字符串的扩展 字符编码 JavaScript内部,字符以UTF-16的格式储存,每个字符固定为2个字节.对于那些需要4个字节储存的字符(Unicode码点大于0xFFFF的字符),JavaScript会认为它们是两个字符.然而汉字往往就是4个字节存储,ES6之前处理起来有些麻烦. 示例:字符编码 var ChineseName = "李刚"; var EnglishName = "ligang"; ChineseName.codePointAt(1); // 0

JavaScript--字符串常用方法总结

JavaScript--字符串常用方法总结 举例模板: var str = "what are you " var str1 = "sss" var txt = str.方法(参数1,参数2...) console.log(txt) 1.charAt(索引):根据索引,返回字符串中指定的字符串 var txt = str.charAt(5) 2.charCodeAt(索引):根据索引,返回字符串中指定字符串的ASCII编码 var txt = str.charCod

【华为OJ】【026-字符串加密】

[华为OJ][算法总篇章] [华为OJ][026-字符串加密] [工程下载] 题目描述 有一种技巧可以对数据进行加密,它使用一个单词作为它的密匙.下面是它的工作原理: 首先,选择一个单词作为密匙,如TRAILBLAZERS.如果单词中包含有重复的字母,只保留第1个,其余几个丢弃. 现在,修改过的那个单词死于字母表的下面,如下所示: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z T R A I L B Z E S C D F G H J K

java学习笔记05--字符串 .

java学习笔记05--字符串 . 一.String类 由字符所组成的一串文字符号被称之为字符串.在java中字符串不仅仅是字符数组,而且是String类的一个实例,可以使用String类来构建. 字符串的每个字符是使用Unicode字符来构建. Sring对象上的几个方法: length()       取得字符串的长度 equals()      判断源字符串中的字符是否等于指定字符串中的字符  toLowerCase()      转换字符串中的英文字符为小写 toUpperCase() 

JSONKit--字符串与JSON的转换

服务器变成了socket.需要上传JSON数据,本地要自己组合.但是自己组合的只是字符串.查找资料,终于找到了..哈哈.. 同时,从服务器返回的数据(JSON格式),同时也可以进行解析了. 查看百度资料,JSONKit还是比较好用的.亲身体会,果然不错. 1)首先在代码中加入JSONKit库.最好的方式,是将其包拷贝到工程的文件夹下.然后在右击添加到工程中. 2)运行一下代码,此时,是一定会有提示错误的.不用怕.只需要,BuildPhases--->Compile Sources-->找到库所

【华为OJ】【063-字符串分割】

[华为OJ][算法总篇章] [华为OJ][063-字符串分割] [工程下载] 题目描述 连续输入字符串(输出次数为N,字符串长度小于100),请按长度为8拆分每个字符串后输出到新的字符串数组, 长度不是8整数倍的字符串请在后面补数字0,空字符串不处理. 首先输入一个整数,为要输入的字符串个数. 例如: 输入: 2 abc 12345789 输出: abc00000 12345678 90000000 输入描述 首先输入数字n,表示要输入多少个字符串.连续输入字符串(输出次数为N,字符串长度小于1

C++编程基础一 12-字符串

1 // 12-字符串.cpp: 定义控制台应用程序的入口点. 2 // 3 4 #include "stdafx.h" 5 #include <iostream> 6 #include <climits> 7 using namespace std; 8 9 int main() 10 { 11 //C语言的写法: 12 //错误的写法:没有'\0',在C语言中字符串是存在字符数组中的,'\0'则代表数组的结尾. 13 char website[] = { '

C++编程基础一 13-字符串基于string

1 // 13-字符串基于string.cpp: 定义控制台应用程序的入口点. 2 // 3 4 #include "stdafx.h" 5 #include <iostream> 6 #include <climits> 7 #include <string> //引入string类库 8 using namespace std; 9 10 11 int main() 12 { 13 string str1; 14 string str2 = &q

s?q?l?s?e?r?v?e?r?结?果?集?转?为?字?符?串

比如有语句select username from Employee 返回结果是: username 张三 李四 王五 怎么输出一个字符串类似: 张三,李四,王五 答: declare @s varchar(1000) select @s=isnull(@s+',','')+username from Employee select @s as username --> 生成测试数据表:Employee   IF NOT OBJECT_ID('[Employee]') IS NULL     D