1. 前言
久闻《编程珠玑》一书的大名,一直没有找到合适的机会深入学习阅读,最近终于得以入手,便决心投入细细的研究,提升一下自己的编程思想与技术。阅读之后才发现,这本书确实一本不可多得的好书。它以计算机领域应用与编程算法相结合,让读者面对实际问题时,不单单局限于考虑该问题的解决方案,而是在入手实践之前能够驻足于考虑,该方案是否符合当前的实际环境,它的时间与空间的消耗是否达到了一个比较好的指标。
通过阅读这本书,很大程度上拓宽了我这样一个菜鸟程序员的视野。对于我来讲,发现要想真正的对书中内容有所理解、领悟,每一个小节我都不得不反复阅读两遍以上,唉,或许是我太笨了,正所谓“书读百遍,其义自见”,笨人有笨办法,就这样慢慢学习吧~
2. 开篇导读
本书第一章“开篇”,当我按照往日阅读速度完成第一章节时,却发现几乎不知所云。于是,只好回头重读!
2.1 问题描述
本章以一个常见磁盘文件排序开始介绍,这并不仅仅是一个简单的排序问题。我们要考虑的包括时间和空间的消耗。整个问题可以描述如下:
输入:一个最多包含n个正整数的文件,每个数都小于10^7,没有重复数据。n<=10000000;
输出:按升序排列的输入整数的列表;
约束条件:最多有1MB的内存空间可用,有充足的磁盘空间,运行时间最多几分钟,性能到达10秒钟之内无需进一步优化。
2.2 问题分析
对以上问题进行分析,引出归并排序与快速排序的对比:
(1)以一种基于磁盘的归并排序为起点,进行相应的调整,改变为针对当下问题的1000万条整数记录排序,代码量可由约200h缩减为几十行,但是归并排序的性能却不尽如人意,时间复杂度为T(n)=O(nlogn),完全执行该程序仍然需要几天时间。
也就是说,合并排序从输入中一次性读取文件,多次调用工作文件,之后对输出文件一次性写入完成整个过程。
(2)另一种解决方案,则考虑在1MB的内存空间中,多趟快排来实现。使用32位存储每个整数,那么1MB的内存可存储1MB/4B = 250000个整数,这样对于10000000个整数需要40趟排序来完成,此时改程序不需要借用磁盘空间,于是整个流程可如下图所示:
然而该程序具有的代价则是读取输入文件40次!
(3)那么,除了以上两种解决方式,还有没更好的举措呢?既不需要利用磁盘空间又不需要多读取输入文件。这就引入了一种位图解决方案,我们输入数据是1000万个7位十进制整数,我们可以使用一个1000万个位的字符串来表示这个文件,其中当且仅当整数i在文件中存在时,该位为1。感觉有点不对哈?确实,1MB只有800万个位,存储空间不足呀,我们需要1.25MB的存储空间呢。对于这个问题,一种方式是寻找出200万的稀疏位,或者采取两趟排序,就可以得以解决了,纵观性能,还是符合当下条件的。位图解决方案的流程如下图所示:
整个程序分三个步骤完成:
- 初始化所有位为0
- 读入文件,遍历记录,对应位设置为1
- 检验每一位,存在则打印,输出序列即为升序序列
程序执行伪代码如下:
/*phase 1: initialize set to empty*/
for i = [0 , n)
bit[i] = 0
/*phase 2: insert present elements into the set*/
for each i in the input file
bit[i] = 1
/*phase 3: write sorted output*/
for i = [0 , n)
if bit[i] == 1
write i on the output file
3. 动手之前驻足思考
从以上案例,我们可以看出一个道理“磨刀不误砍柴工”,对面临的实际问题仔细斟酌分析,精巧的编程可以得到更加稳固,性能更好的代码。
所以,在任何一个程序员面临实际问题的解决时,一定要注意:
- 明确正确的问题
- 牢记位图数据结构,该数据结构不仅可以应用在排序问题,它在其它应用也经常可作为高效率解决方案
- 内存不足时,可以考虑多趟算法
- 时间-空间的折中与双赢
- 简单的设计,简单程序相比繁杂程序通常更加安全、可靠,更健壮、高效且易于维护
4. 习题分析解答
问题1. 本题要求利用具有库的语言实现排序,在我熟悉的语言即是C和C++了,C语言库“stdlib.h”中有qsort函数,而C++中标准容器库set本身就是一个无重复数据且升序排列元素的容器,具体实现如下:
/*
* 《编程珠玑》习题1.6
* 习题1:如果不缺内存,使用一个具有库的语言实现一种排序算法以表示和排序集合
* 在C语言中,使用qsort函数
* 函数定义于“stdlib.h”库中,定义为:void qsort(void *base,size_t nelem,size_t width,int (*Comp)(const void *,const void *));
*/
#include <iostream>
#include <cstdlib>
#include <set>
using namespace std;
//定义比较函数,确定排序模式
int comp(const void *x, const void *y)
{
return *(int *)x - *(int *)y;
}
int arr[10000];
int main()
{
int n = 0, i;
while (cin >> arr[n])
{
n++;
}
qsort(arr, n, sizeof(int), comp);
for (i = 0; i < n; i++)
{
cout << arr[i] << "\t";
}
cout << endl;
system("pause");
return 0;
}
/*
* 《编程珠玑》习题1.6
* 习题1:如果不缺内存,使用一个具有库的语言实现一种排序算法以表示和排序集合
* 在C++语言中,使用标准程序库容器set 自动存储不重复升序数据
*/
int main()
{
set<int> s;
int temp;
while (cin >> temp)
s.insert(temp);
set<int>::iterator siter;
for (siter = s.begin(); siter != s.end(); siter++)
cout << *siter << "\t";
cout << endl;
system("pause");
return 0;
}
问题2/3/4. 此三个问题相结合,实现位图排序解决方案,位向量采用位逻辑运算实现:
/*
* 《编程珠玑》习题1.6
* 习题2 3 4 关联性习题
*
*/
#include <iostream>
#include <cstdlib>
using namespace std;
//2. 位逻辑运算实现位向量
#define BITSPERWORD 32
#define SHIFT 5
#define MASK 0x1F
#define N 10000000
int a[1 + N / BITSPERWORD];
void _set(int i)
{
a[i >> SHIFT] |= (1 << (i & MASK));
}
void clr(int i)
{
a[i >> SHIFT] &= ~(1 << (i & MASK));
}
int test(int i)
{
return a[i >> SHIFT] & (1 << (i & MASK));
}
//4. 得到[0 ,n)内k个非重复随机数
/*等学习到12章节,补充此处*/
//3. 主程序
int main(void)
{
int i;
for (i = 0; i < N; i++)
clr(i);
//随机数现采取用户输入方式,待12章学习完毕,补充随机数生成算法
while (cin >> i)
{
_set(i);
}
for (i = 0; i < N; i++)
if (test(i))
cout << i << "\t";
system("pause");
return 0;
}
问题5. 采取两趟排序。
问题6. 我们之前的案例是无重复数据出现,当数据重复时,我们依然可以采用位图解决方案,只不过不能采用1bit来记录出现次数了,当2bit时可记录< 4次 , 3bit 可记录<8次,那么当最多不出现10次时,就可以采用4bit来记录每一个数据的出现次数,此时需要增大内存使用量,若内存空间有限制,只能针对数据量采用多趟位图解决问题。
习题7-12. 每人有不同的见解,我也只是参考了下答案,才有所思考,此处就不重复答案书上的解法。