0前言

本次作业要求做一个词频统计的软件，功能简单来说是实现英文文章的单词总数，以及每个单词出现次数的统计。

编程语言语言：C++

工具：CodeBlocks

git地址：https://git.coding.net/Vrocker/wf.git

一、主要功能

0.简述：

题目要求总共为四部分，通过对这四部分功能需求的研究，可以将主要功能细分成以下部分：

1.可以读入本地txt格式的文件，要求内容是英文书籍或者文章。

2.统计文件中不重复出现单词的总数，并输出。

3.统计文件中英文单词的词频，即出现的单词以及这个单词出现的次数，并且降序输出。

4.要求在命令提示符中直接控制程序，即输入相应参数实现相应的功能。

5.支持单一文件，同时支持指定文件夹下的所有文件中英文单词的词频统计。

6.在多文件统计时只输出出现次数最多的十个单词。

二、设计思路

　　要实现题目要求的功能，我首先想到的是用数组或者链表来进行操作：

　　首先读入输入的文本文件，将文本文件的各个字符包括标点符号等逐一放进数组中。然后设置一个指针从头开始进行遍历，一旦遇到标点或者空格的时候（我认为“-”连接的两个或多个英文单词应该算作一个单词，所以“-”不用排除掉）就可以分割单词，将这个单词保存到另外一个数组中。然后再设置另外一个指针，对新数组进行遍历，统计每个单词出现的次数，以及这个单词本身。最后利用排序算法，例如冒泡排序，进行降序排序。这样就可以大致实现主要的功能。

　　但我在查阅资料的时候，我看到一篇博客名为”【tips】【词频统计】中可能用到的资源，以C++为例“的博客，网址是：http://www.cnblogs.com/Z-XML/p/3329234.html（真的很感谢这位作者）。看完这篇博客我了解到在C++中有一个MAP容器，可以更好更简单，而且更快的完成想要的功能。因为之前接触C++的时候，并不了解map容器，所以便开始了学习的过程。同时在这篇博客中我了解到利用vector以及自带的sort函数可以排序数组。这样就大大减少了工作量。但是由于之前我也没接触过这些，所以也要开始学习这些对我来说新的概念和方法。所以我放弃了最开始选择的设计思路，改用这个来设计我的程序。

三、难点

1.参数

　　功能要求通过命令提示符输入相应的参数可以直接进行操作。这样的设计方法，之前我并不了解。所以开始查询资料，找解决方案。因为选择了C++进行编程，所以也开始看相关的C++书籍。这个功能花费了我相当多的时间来解决。首先的难题是不知道怎么可以获取到这些参数，同时也不清楚怎么样对参数进行判断，以便进行不同的操作。

　　在学习之后，知道了C++中可以用int main(int argc, char* argv[])定义主函数，从而直接实现参数的功能。部分代码如下：

 1     for(int i=1; i<argc; i++)//用于接受从命令提示符传递进来的参数
 2     {
 3         str = argv[i];
 4         if(str=="-s")//如果从命令提示符传递的第一个参数是“-s”执行以下操作
 5         {
 6             char const *a = "g:\\";
 7             char const *b = argv[i+1];
 8             std::string const& cc = std::string(a) + std::string(b);
 9             char const *c = cc.c_str();//将两个char进行拼接，以便传入fin.open函数中
10             fin.open(c);
11             break;//跳出判断
12         }
13         else  if(str=="floder")//如果从命令提示符传递的第一个参数是floder执行以下操作
14         {
15             system("dir /b /a-d G:\\floder\\*.* >d:\\allfiles.txt");//读取指定文件夹下的所有txt文件
16             for(int j=2; j<argc; j++)//将所有的txt文件写入流文件
17             {
18                ............//此功能未能实现
19             }
20         }
21         else//当传递的第一个参数是txt文件的文件名时
22         {
23             char const *a = "g:\\";
24             char const *b = argv[i];
25             char const *d = ".txt";
26             std::string const& cc = std::string(a) + std::string(b) + std::string(d);
27             char const *c = cc.c_str();
28             fin.open(c);
29         }
30     }    

2.拼接char*

　　要求的功能中，要实现在命令提示符输入wf和书名来实现词频统计。而在我设计的程序中，要用到被统计文件的实际地址。例如"c:\\a.txt"。但是文件的名字又是不确定的所以我在这里要用到拼接char*来实现。在查询大量资料后，发现可以实现。代码如下：

1         if(str=="-s")//如果从命令提示符传递的第一个参数是“-s”执行以下操作
2         {
3             char const *a = "g:\\";
4             char const *b = argv[i+1];
5             std::string const& cc = std::string(a) + std::string(b);
6             char const *c = cc.c_str();//将两个char进行拼接，以便传入fin.open函数中
7             fin.open(c);
8             break;//跳出判断
9         }

3.去除标点

　　要实现统计词频的功能，标点就一定会影响统计。所以要除去标点，才能正确的统计单词，并且最后完整正确的输出。为此定义了一个函数，来实现这个功能。代码如下：

1 void StringToLower(string &theString)//将字符串转化成全小写
2 {
3     int nLen = theString.length();
4     for(int i = 0; i < nLen; i++)
5     {
6         theString[i] = tolower(theString[i]);
7     }
8 }

　　并且在输入文本之后，调用这个函数，将不相关的符号排除。代码如下：

1     set<char> ignoreSet;//除去标点符号或者会影响判断单词等符号
2     ignoreSet.insert(‘,‘);
3     ignoreSet.insert(‘.‘);
4     ignoreSet.insert(‘?‘);
5     ignoreSet.insert(‘:‘);
6     ignoreSet.insert(‘!‘);
7     ignoreSet.insert(‘;‘);
8     ignoreSet.insert(‘\‘‘);
9     ignoreSet.insert(‘"‘);

4.转换大小写

　　我在第一次测试程序的时候，发现自己犯了一个错误。就是大小写没有转换，导致同样的单词只是大小写不一样，会有两个结果。这显然不符合题目的要求。所以为了让大小写统一，这里把统计到的所有单词都转化成小写字母。这样就不会有问题。代码如下：

1 void StringToLower(string &theString)//将字符串转化成全小写
2 {
3     int nLen = theString.length();
4     for(int i = 0; i < nLen; i++)
5     {
6         theString[i] = tolower(theString[i]);
7     }
8 }

5.排序输出

　　最后要对统计过的单词以及出现的次数，以次数为标准降序排列输出。这里就用到了排序的函数。最开始，我想用冒泡排序或者其他相应的算法进行。但是在了解C++中各种排序的方法之后。我了解到C++自带一个sort函数可以用于排序。所以在这里我选择这个方法。在看了一些用map容器最后进行排序的相关代码之后，我发现这些代码最后大部分都是把map转化成vector之后再进行排序。但是对于这个知识点我之前也是没有接触过。所以再进行学习之后，模仿同样方法的排序代码尝试进行自己编写。代码如下：

 1     struct CmpByValue
 2 {
 3     bool operator()(const PAIR& lhs, const PAIR& rhs)
 4     {
 5         return lhs.second > rhs.second;
 6     }
 7 };
 8 ..................
 9     vector<PAIR> wmap_vec(wmap.begin(), wmap.end());
10     sort(wmap_vec.begin(), wmap_vec.end(), CmpByValue());

　　利用wmap_vec.size()可以直接输出总数。

　　这时候每个单词存放在对应的wmap_vec[i].first 中。而出现的次数存放在对应的wmap_vec[i].second中。再用一个for循环就可以输出。

 1     float sum=0;
 2     for (int i = 0; i != wmap_vec.size(); ++i)//利用map输出总字数
 3     {
 4         sum=sum+1;
 5     }
 6     cout<<"total    "<<sum<<"  words"<<endl<<endl<<endl;
 7     for (int i = 0; i != wmap_vec.size(); ++i)//利用map输出每个单词以及其出现次数
 8     {
 9         cout << left << setw(50) << wmap_vec[i].first << wmap_vec[i].second << endl;
10     }

四、功能测试

1.

2.

3.

　　这个部分支持命令行输入存储有英文作品文件的目录名，批量统计。这个功能花费了我很长的时间来做。但是还是没有做好。试了很多方法，但是都没有成功。上述代码有出现str = argv[i]；else  if(str=="floder")；判断参数成功的时候试过设置一个flag，当主函数运行到输出部分的时，如果flag正确则多次输出结果。但是没有成功。

五、总结

　　刚开始我看到这个题目的时候，第一感觉是挺简单的。逻辑不复杂，而且应该比较容易实现。所以一直没觉得会花费我太多时间。但当我真正开始着手写代码的时候发现，可以用更简单便捷的方法实现。所以我就开始研究这个新的方法。因为觉得代码量并不大，所以又一次估算时间应该没有多久。然而，写着写着我开始发现自己的知识掌握的太不牢固，同时也发现自己想要用的这个方法里面，有太多东西是我之前没有接触过的。但是既然选择了这个方法，况且这个方法看起来确实比较简洁，我就硬着头皮边写边学。

　　首先map容器和vector之前我并不知道。所以两个知识点我花了相当大的时间来处理。之后参数的相关知识也是一知半解，再查了很多资料之后才开始着手编写，这个环节花费的时间也不少。虽然知识点不多，但是由于没有实际编写过，所以在调试，测试的过程中出现了很多很多的问题。同时，char*的拼装，也是在查阅资料之后在知乎看到一个回答，才让我很好的解决。这些只是花费时间比较多的环节，实际上每个步骤我都花费了相当长的时间。总结来看，预估的时间远远小于我真实花费的时间。

　　通过这次编写程序，让我最感触的就是预估的时间可能会远远低于花费的时间。一个看上去不难的程序，在编写的过程中也会遇到很多难题。同时，这次编写程序让我开始知道自己掌握的知识点，远远不够，需要不断的学习同时不断地练习才能保证熟练的掌握一门语言。

PSP表格