第四周作业wcPro

1、github地址

https://github.com/ChAnYaNG97/wcPro.git

小组贡献率 0.3

2、psp表格

3、接口设计

3.1 输入输出

提供的接口：

IOController(String fileName)
IOController类的自定义构造函数，需要传入String类型的fileName参数

String readLine()
即每次调用都会返回文件的一行

void writeFile(HashMap<String, Integer> wordMap)
传入一个HashMap,将结果按照要求写入到文件中

3.2 词频统计

提供的接口：

void countWord(String input)
传入String类型的参数input,统计input中单词的数量，并存入HashMap中

4、测试设计

4.1 白盒测试

因为是使用正则表达式来对单词进行匹配，没有使用词法分析，所以程序结构简单，没有太多分支。

4.2 黑盒测试

4.2.1 首先是对WordCounter类的测试

public class WordCounterTest
{
    WordCounter wc;
    HashMap<String, Integer> expected;
    @Before
    public void before()
    {
        wc = new WordCounter();
        expected = new HashMap<>();
    }

    //test1:无连字符，无常见字符和数字
    @Test
    public void testCountWord1()
    {
        wc.countWord("this is a test a a a ");
        expected.put("this",1);
        expected.put("is",1);
        expected.put("a",4);
        expected.put("test",1);
        assertEquals(expected, wc.countList);
    }

    //test2：无连字符，带常见字符和数字
    @Test
    public void testCountWord2()
    {
        wc.countWord("this]]‘$‘is‘a123test");
        expected.put("this",1);
        expected.put("is",1);
        expected.put("a",1);
        expected.put("test",1);
        assertEquals(expected, wc.countList);
    }

    //test3：带连字符，无常见字符和数字
    @Test
    public void testCountWord3()
    {
        wc.countWord("this-is-a-test is is");
        expected.put("this-is-a-test",1);
        expected.put("is",2);
        assertEquals(expected, wc.countList);
    }

    //test4：带连字符且位于单词间，无常见字符和数字
    @Test
    public void testCountWord4()
    {
        wc.countWord("this is a test this-is-a-test");
        expected.put("this",1);
        expected.put("is",1);
        expected.put("a",1);
        expected.put("test",1);
        expected.put("this-is-a-test",1);
        assertEquals(expected, wc.countList);
    }

    //test5：带连字符且位于单词后，无常见字符和数字
    @Test
    public void testCountWord5()
    {
        wc.countWord("this-  is a-test");
        expected.put("this",1);
        expected.put("is",1);
        expected.put("a-test",1);
        assertEquals(expected, wc.countList);
    }

    //test6：带连字符且位于数字间，无常见字符
    @Test
    public void testCountWord6()
    {
        wc.countWord("this  is1-2 a-test");
        expected.put("this",1);
        expected.put("is",1);
        expected.put("a-test",1);
        assertEquals(expected, wc.countList);
    }

    //test7：带连字符,带常见字符和数字
    @Test
    public void testCountWord7()
    {
        wc.countWord("(see Box 3–2).8885d_c01_016");
        expected.put("see",1);
        expected.put("box",1);
        expected.put("d",1);
        expected.put("c",1);
        assertEquals(expected, wc.countList);
    }

    //test8：输入为空
    @Test
    public void testCountWord8()
    {
        wc.countWord("");
        assertEquals(expected, wc.countList);
    }

    //test9：带两个连字符的单词
    @Test
    public void testCountWord9()
    {
        wc.countWord("this is a--simple-test.");
        expected.put("this",1);
        expected.put("is",1);
        expected.put("a",1);
        expected.put("simple-test",1);
        assertEquals(expected, wc.countList);
    }
}

4.2.2 对IOControllerTest的测试类

public class IOControllerTest {
    @Test
    public void testReadLine()
    {
        IOController input = new IOController("case2.txt");
        String line = input.readLine();
        String expected = "a-b-c f s d d";
        assertEquals(expected, line);
    }

    @Test
    public void testWriteFile()
    {
        HashMap<String, Integer> map = new HashMap<>();
        IOController input = new IOController("result.txt");

        map.put("k",1);
        input.writeFile(map);
        String result = input.readLine();
        String expected = "k 1";
        assertEquals(expected, result);
    }
} 

5、测试运行

6、开发规范说明（扩展任务）

选定的开发规范是阿里巴巴的Java开发规范，参考资料为《阿里巴巴Java开发手册》，具体可见第8部分的说明。

7、交叉代码评审（扩展任务）

说明代码评审对象，分析结论清晰，有理有据。

8、静态代码扫描（扩展任务）

使用的扫描工具是Alibaba Java Coding Guidelines，下载地址https://github.com/alibaba/p3c

运行截图

分析扫描结果

1.正则表达式的预编译问题

改进前的写法：

void countWord(String input)
{
    ...
    Pattern wordPattern = Pattern.compile("[a-zA-Z]+(-[a-zA-Z]+)*-?");
    Matcher m = wordPattern.matcher(input);
    ...
}

这种写法存在的问题是：每调用一次countWord()函数，都会编译一次正则表达式，产生了很多不必要的开销。而且通过查阅资料，还了解到正则表达式需要使用预编译来提高效率。

改进后的写法：

public Class WordCounter
{
    ...
    private static Pattern WORD_PATTERN = Pattern.compile("[a-zA-Z]+(-[a-zA-Z]+)*-?");
    void countWord(String input)
    {
        ...
        Matcher m = WORD_PATTERN.matcher(input);
        ...
    }
    ...
}

2.if/else/while/do一行语句的大括号问题

大括号这种东西，从代码易读性，出bug的可能性，调试难易度上来说，都是需要加的。

不加大括号，代码修改的时候，如果需要在if语句中插入若干代码，则必须记着加上括号，忘掉则是bug;不加括号的话，设置断点比较麻烦，单步执行也不太容易看到是否执行到了if语句内部；加上绝对没有任何坏处，但是不加，就有可能造成问题（转载自知乎https://www.zhihu.com/question/37578053/answer/72753923来源：知乎著作权归作者所有）

所以我就直接按照规范进行了修改

3.所有的类都要添加创建者信息：也是话不多说，直接加上了。创建者信息无论是对于代码审查还是代码重构，都更容易将功能和开发者对应起来。

修改之后的运行截图

9.性能测试与优化（高级任务）

我们小组使用了big_case.txt文件进行性能测试，文件大小为24.8M，行数为8246行

以下是运行结果:

我们分析了之后觉得主要开销应该在两个方面

1.I/O时间

2.词频统计时间

对于这两个时间的权衡问题，我们进行了以下分析：

因为输出的文本量并不大，输出时间耗时影响很小，瓶颈应该是输入时间。我们采用了两种方法：第一种是将输入文本全部读入内存的字符数组中，并直接在字符数组中进行词频统计，这样的优点是I/O次数较少，缺点是内存占用量太大，而且在词频分析时开销也因数组规模太大而增大。第二种是每次只读一行，并对这一行进行词频统计，循环该步骤，直到读到文本的末尾，这种方法的优点是内存占用少，每次统计的开销较小，缺点是I/O次数较多，更新数据的次数也更多。我们尝试了两种方法并编码进行了对比，最终选择执行时间较少的第二种方法。

原文地址：https://www.cnblogs.com/larisyang/p/8747997.html