软件工程 week 02

一、地址链接

　　1、作业地址：https://edu.cnblogs.com/campus/nenu/2016CS/homework/2110

　　2、git仓库地址：https://git.coding.net/kefei101/wf.git 

---

二、需求分析

　　通过对题目要求的分析，我共看到了以下需求：

　　！判断输入格式，共有6种输入格式，分别进入4种不同的处理方法，得到不同的排序输出。其中(3)(4)可算作一种，(5)(6)可算作一种。

　　　　（1）wf -c 文件名        进入直接读取txt方法，并顺序输出词频；

　　　　（2）wf -f 文件路径      进入读取文件夹的方法，再读取按照字典排序最靠前的txt文件，并按照字典排序输出单词词频；

　　　　（3）wf -c 文件名 -n 数量      进入直接读取txt方法，并按照词频和字典排序输出；

    　　（4）wf -n 数量 -c 文件名      进入直接读取txt方法，并按照词频和字典排序输出；

    　　（5）wf -f 文件路径 -n 数量    进入读取文件夹的方法，再读取按照字典排序最靠前的txt文件，并按照词频和字典排序输出；

　　　　（6）wf -n 数量 -f 文件路径    进入读取文件夹的方法，再读取按照字典排序最靠前的txt文件，并按照词频和字典排序输出.

---

三、功能设计

　　1、根据用户输入的参数格式，读取指向的文件或文件路径，统计得到txt文本文件的单词词频结果。

　　2、此处实现附加功能：在小程序中，可以任意输入多次，永久判断；输入格式中的首位单词 wf 即是保存该小程序的文件夹名，若将其放入不同的文件夹，只需将 wf 变为文件夹名即可。

　　注：为了避免中文乱码问题，我将注释及程序提示都改成英文显示。

---

四、设计实现

　　我共设计6个类，如图：

　　Test类：主类，负责接收输入格式的参数启动程序；

　　Jagger类：负责根据输入格式的参数不同，分别进入不同的处理方法；

　　ReadTxt类：负责读取txt文本文件，以及读取文件路径；

　　SortMap类：负责根据需求的跟能不同，进入不同的排序方法；

　　Compare类：实现Comparator接口，实现功能(3)--(6)的排序方式（先按照词频排序，再按照字典排序）；

　　MyMap类：是SortMap类中功能三所需要用到的类，用自定义Map类实现list与Map转换的简单性。

　　5个类的相互关系为：

　　

　　比较重要的函数有：

　　　　Jagger类 ：JaggerFormat()：判断输入格式，主要是逻辑

　　　　ReadTxt类：txtToString()：读取txt文件，一行一行读取处理

　　　　　　       directoryToTxt()：读取文件路径，选择按字典排序最靠前的txt文件，进而调用txtToString()读取txt文件内容

　　　　SortMap类：orderPrint()：顺序输出txt文件单词词频

　　　　　　　　　 sortMap(Map map)：按字典顺序输出txt文件单词词频

　　　　　　　　　 sortMap(Map map,int num)：先按词频排序，再按字典顺序排序

　　　　Compare类: compare()：实现Comparator接口，重写Compare方法，指定排序方法

　　函数间的逻辑关系：JaggerFormat()----[directoryToTxt()]----txtToString()----orderPrint()/sortMap(Map map)/[sortMap(Map map,int num)----compare()]

---

五、测试运行

　　1、输入正确的格式，即可运行功能一二三

 

 

  

　　2、测试测试txt

---

六、重要代码展示

　　1、主方法main()测试：

 import java.io.IOException;
 import java.util.*;
 
 /**
  * Class main
  * Author: houst
  * Date: 2018/9/17
  * Time: 15:50
  */
 public class Test {
 
     /**
      * Main Method
      * @param args args
      * @throws IOException
      */
     public static void main(String args[]) throws IOException {
 
         while (true) {
             Scanner scanner = new Scanner(System.in);
             String  order= scanner.nextLine();//Input format
             //Judging the input format,entering different processing methods.
             Jagger jagger = new Jagger();
             jagger.JaggerFormat(order);
 
         }
 
     }
 
 }

Test

　　2、Jagger 类中 JaggerFormat()方法：判断输入格式

 import java.io.File;
 import java.util.ArrayList;
 import java.util.LinkedHashMap;
 import java.util.StringTokenizer;
 
 /**
  * Jagger Class
  * Author: houst
  * Date: 2018/9/20
  * Time: 20:15
  * Judging input
  */
 public class Jagger {
 
     /**
      * Judging the input format, entering different processing methods.
      * @param order order
      */
     public void JaggerFormat(String order){
 
         //Use stringTokenizer split input format string,deposit in list.
         StringTokenizer stringTokenizer = new StringTokenizer(order, " \n");
         ArrayList<String> list = new ArrayList<String>();
         while (stringTokenizer.hasMoreElements()) {
             list.add(stringTokenizer.nextToken());
         }
 
         //Judging whether the first word in the input format is the same as the item name.
         String project = System.getProperty("user.dir");
         project = project.substring(project.lastIndexOf('\\') + 1, project.length());
         if (!list.get(0).equals(project)) {
             System.out.println("Input format error, please input again!");
         } else {
 
             LinkedHashMap<String, Integer> map = new LinkedHashMap<String, Integer>();
             SortMap sortMap = new SortMap();
 
             //Function one or two
             if (list.size() == 3) {
 
                 String fileName = list.get(2);
                 File file = new File(fileName);//File name or folder name
                 String suffix = fileName.substring(fileName.lastIndexOf(".") + 1);//Suffix name
 
                 //Function one: number of non repeated words in statistical documents
                 // Judging input format  -c  File name.txt
                 if (list.get(1).equals("-c") && suffix.equals("txt")) {
                     //Determine whether text files exist.
                     if (file.isFile() && file.exists()) {
                         //Read text file (.txt), statistics all word frequency, sequential output.
                         ReadTxt readTxt = new ReadTxt();
                         map = readTxt.txtToString(file);//Read txt and return to LinkedHashMap type.
                         sortMap.orderPrint(map);//order output
                     } else{
                         System.out.println("There is no such file!");
                     }
 
                     //Function two: Specify the file directory, count the number of words
                     //        that are not duplicated in the most advanced text file in the dictionary order.
                     // Judging input format   -f  file path
                 } else if (list.get(1).equals("-f") && !fileName.contains(".")) {
                     //Determine whether a folder exists.
                     if (file.isDirectory() && file.exists()) {
                         //Read the most prioritized text file (.txt) sorted by dictionary in the folder
                         // and count all word frequencies.
                         ReadTxt readTxt = new ReadTxt();
                         map = readTxt.directoryToTxt(file);
                         if(!map.isEmpty()){
                             sortMap.sortMap(map);//Word frequency sorting
                         }
                     } else System.out.println("No folder exists!");
                 } else {
                     System.out.println("Input format error, please input again!");
                 }
 
              //Function three or four
             } else if (list.size() == 5) {
 
                 String fileName = null;//File name or folder name
                 String num = null;//input n
                 String type = null;//input  -c or -f symbol
 
                 //Judging input format type：（-c file name.txt -n number） 或 （-f folder name -n number）
                 if ((list.get(1).equals("-c") && list.get(3).equals("-n")) || (list.get(1).equals("-f") && list.get(3).equals("-n") )) {
                     type = list.get(1);
                     fileName = list.get(2);
                     num = list.get(4);
                     //Judging input format type：（-n number -c file name.txt） 或 （ -n number -f folder name）
                 } else if ( (list.get(1).equals("-n")) && (list.get(3).equals("-c"))|| list.get(1).equals("-n") && (list.get(3).equals("-f") )) {
                     type = list.get(3);
                     fileName = list.get(4);
                     num = list.get(2);
                 }
 
                 int no = Integer.parseInt(num);//input num = no
 
                 String suffix = fileName.substring(fileName.lastIndexOf(".") + 1);//get suffix name
 
                 File file = new File(fileName);
                 //Function three: the most frequent occurrences of the first N words in statistical documents.
                 //Judging input format   -c  file name.txt -n number
                 if (type.equals("-c") && suffix.equals("txt") && num.matches("^[0-9]*$")) {
                     //Judging whether text files exist.
                     if (file.isFile() && file.exists()) {
                         //Read txt and count the top n high-frequency words.
                         ReadTxt readTxt = new ReadTxt();
                         map = readTxt.txtToString(file);//Read txt and return to LinkedHashMap type.
                         sortMap.sortMap(map,no);//Word frequency sorting with numbers.
                     } else System.out.println("不存在此文件！");
                     //Function 3: Specify the file catalog, count the first N words in the text file
                     //      with the highest number of non-repetitions in the dictionary order.
                     //  Judging input format  -f  File path  -n number
                 } else if (type.equals("-f") && !fileName.contains(".") && num.matches("^[0-9]*$")) {
                     //Judging whether a folder exists.
                     if (file.isDirectory() && file.exists()) {
                         //Read the file name in the folder sorted by dictionary first file (. txt),
                         // and statistics the first n high-frequency words, sorting output
                         ReadTxt readTxt = new ReadTxt();
                         map = readTxt.directoryToTxt(file);//read folder
                         if(!map.isEmpty()){
                             sortMap.sortMap(map,no);//word frequency sorting with numbers
                         }
                     } else System.out.println("No folder exists!");
                 } else {
                     System.out.println("Input format error, please input again!");
                 }
 
             }
         }
     }
 }

JaggerFormat

　　这个方法逻辑需要很清晰，每一步怎么走，会有什么结果，想了很久，也是在这里比较多bug，调试的时间大概是4小时。

　　3、ReadTxt类中 txtToString()：读取txt文件，一行一行读取处理

  /**
      * Read (.Txt) files with behavior units
      * @param file file
      * @return return
      * Return type：LinkedHashMap
      */
     public LinkedHashMap<String,Integer> txtToString(File file) {
 
         BufferedReader reader = null;
         LinkedHashMap<String, Integer> map = new LinkedHashMap<String, Integer>();
 
         try {
 
             String string = null;
             reader = new BufferedReader(new FileReader(file));
 
             //Read txt files from line to line
             while ((string = reader.readLine()) != null) {
 
                 //Convert non alphanumeric symbols into spaces, case sensitive,
                 // and intercept words by spaces.
                 string = string.replaceAll("[^a-zA-Z0-9]", " ");
                 string = string.toLowerCase();
                 StringTokenizer stringTokenizer = new StringTokenizer(string, " ");
 
                 //Then use the LinkedHashMap to store words and word frequency.
                 while (stringTokenizer.hasMoreTokens()) {
 
                     String word = stringTokenizer.nextToken();
                     //Intercept the first letter of a word. Does a regular expression determine whether it is a number
                     String first = word.substring(0, 1);
                     if (!first.matches("[0-9]{1,}")) {
                         //Statistical word frequency
                         if (!map.containsKey(word)) {
                             map.put(word, new Integer(1));
                         } else {
                             int newNum = map.get(word).intValue() + 1;
                             map.put(word, new Integer(newNum));
                         }
                     }
                 }
             }
             if(map.isEmpty()){
                 System.out.println("The content of the text file (.txt) is empty.");
             }
         } catch (IOException e) {
             e.printStackTrace();
         }
         return map;
     }

txtToString

　　功能一的难点，也是后续功能二、功能三、功能四的重中之重，在这里大概花了2小时。

　　4、ReadTxt类中 directoryToTxt()：读取文件路径，选择按字典排序最靠前的txt文件，进而调用txtToString()读取txt文件内容

  /**
      * Find the most advanced text file in the folder according to the dictionary order (.txt).
      * @param file file
      * @return return
      */
     public LinkedHashMap<String,Integer> directoryToTxt(File file){
 
         ArrayList<String> list = new ArrayList<String>();
 //        //方法一  file.list()
 //        String[] fileList = file.list();
 //        for(int i=0;i<fileList.length;i++){
 //            String fileName = file.getPath()+"\\"+fileList[i];
 //            System.out.println("111"+fileName);
 //            File mFile = new File(fileName);
 //            String suffix = fileList[i].substring(fileList[i].lastIndexOf(".") + 1);
 //            System.out.println("222"+suffix);
 //            if(!mFile.isDirectory()&&suffix.equals("txt")){
 //                System.out.println("333"+mFile.getPath());
 //                list.add(mFile.getPath());
 //            }
 //        }
         //方法二  file.listFiles()
         //list folder
         File[] fileList = file.listFiles();
         for(int i=0;i<fileList.length;i++){
             String fileName = fileList[i].getName();
             String suffix = fileName.substring(fileName.lastIndexOf(".") + 1);
             //Is it a  .txt file to add txt files to list?
             if(!fileList[i].isDirectory()&&suffix.equals("txt")){
                 list.add(fileList[i].getAbsolutePath());
             }
         }
         LinkedHashMap<String,Integer> map = new LinkedHashMap<String,Integer>();
         if(!list.isEmpty()){
             Collections.sort(list);
             File finallyFile = new File(list.get(0));
             map = txtToString(finallyFile);
             return map;
         }
         else {
             System.out.println("There is no txt file in this folder!");
             return map;
         }
 
     }

directoryToTxt

　　功能二功能四的难点，要先读取文件路径，再进行后续操作，在这里大概花了1小时。

　　5、SortMap类中 orderPrint() : 顺序输出txt文件单词词频

 /**
      * Function one :output
      * txt file order
      * @param map map
      */
     public void orderPrint(HashMap map){
 
         //HashMap type data is converted to collection type, and map iterator is obtained.
         Iterator iterator = map.entrySet().iterator();
         System.out.println("total    " + map.size());
         System.out.println();
         while(iterator.hasNext()){
             //Instantiate the Map.Entry object, and then output the word frequency.
             Map.Entry word = (Map.Entry) iterator.next();
             System.out.printf("%-12s",word.getKey());
             System.out.printf("%5d\n",word.getValue());
 
         }
         System.out.println();
     }

orderPrint

　　6、SortMap类中 sortMap(Map map)：按字典顺序输出txt文件单词词频

  /**
      * Function two : output
      * txt files are sorted in dictionaries.
      * @param map map
      */
     public void sortMap(Map map){
 
         //Remove the words from map and put them in list.
         Collection<String> keys = map.keySet();
         List<String> list = new ArrayList<String>(keys);
         Collections.sort(list);
 
         //sort out output frequency by dictionaries
         System.out.println("total " + list.size() + " words");
         for(int i=0;i<list.size();i++){
             System.out.printf("%-12s",list.get(i));
             System.out.printf("%5d\n",map.get(list.get(i)));
         }
         System.out.println();
     }

sortMap(Map map)

　　7、SortMap类中  sortMap(Map map,int num)：先按词频排序，再按字典顺序排序

     /**
      * Function three
      * txt file sorting
      * @param map map
      * @param num num
      */
     public void sortMap(Map map,int num){
 
         List<MyMap<String,Integer>> list = new ArrayList<MyMap<String,Integer>>();
         //HashMap type data is converted to collection type, and map iterator is obtained.
         Iterator iterator = map.keySet().iterator();
         while (iterator.hasNext()){
             //The words in the Map iterator are stored in list by using MyMap class.
             MyMap<String,Integer> word = new MyMap<String,Integer>();
             String key = (String) iterator.next();
             word.setKey(key);
             word.setValue((Integer) map.get(key));
             list.add(word);
         }
         //sort
         Collections.sort(list,new Compare());
         //Output word frequency
         System.out.println("Total words is " + list.size());
         System.out.println("------------------");
         //Output the specified top n word frequency.
         for(int i=0;i<num;i++){
             MyMap<String,Integer> word = list.get(i);
             System.out.printf("%-12s",word.getKey());
             System.out.printf("%5d\n",word.getValue());
         }
         System.out.println();
     }

sortMap(Map map,int num)

　　这三类排序方法对应功能一、功能二、功能三四的排序方法，难点在sortMap(Map map,int num) 。共花了最多时间，一直再改改改，大概15个小时，因为是几天的时间。

　　8、Compare类中 compare()：实现Comparator接口，重写Compare方法，指定排序方法

  /**
      * override First compare word frequency, the same word frequency, and then follow the dictionary order.
      * @param o1 01
      * @param o2 02
      * @return return
      */
     public int compare(MyMap<String, Integer> o1, MyMap<String, Integer> o2) {
         if(o1.getValue().equals(o2.getValue())){
             return o1.getKey().compareTo(o2.getKey());
         }else{
             return o2.getValue()-o1.getValue();
         }
     }

compare

　　找资料，基本上我需要用什么就去查什么，学会百度关键词也是很重要的，这也是历届学长学姐教我的。在找资料的过程中，去搜寻别人写过的博客，看他们的代码，有涉及到的函数都要去搜索，看看它们的原理是什么，看懂以后，再自己敲一遍，印象深刻+。这也是我为什么写作业这么慢的一个原因吧......

---

七、PSP

sp2.1	任务内容	计划共完成需要时间（min）	实际完成需要的时间(min)
Planing	计划	2160	4080
Estimate	估计这个任务需要多少时间，并规划大致工作步骤	2160	3480
Development	开发	1860	3660
Analysis	需求分析	300	480
Design Spec	生成设计文档	0	0
Design Review	设计复审(和同事审核设计文档)	0	0
Coding Standard	代码规范()为目前的开发制定合适的规范	0	0
Design	具体设计	300	480
Coding	具体编码	900	1200
Code Review	代码复审	120	300
Test	测试(自我测试，修改代码，提交修改)	240	1200
Reporting	报告	300	420
Test Report	测试报告	180	300
Size Measurement Postmortem & Process Improvement Plan	计算工作量,事后总结，并提出过程改进计划	120	120

功能模块	具体阶段	预计时间(min)	实际时间(min)
功能一	具体设计 具体编码 测试完善	30 120 150	80 150 400
功能二	具体设计 具体编码 测试完善	120 200 300	180 450 500
功能三	具体设计 具体编码 测试完善	150 200 290	220 600 600

　　以上只是我大概估计，因为是好几天才做出来的，难免有些不准确，但通过上面两个表格对比，能够看出，我的写代码能力真的是...... 效率太低下啦！这样子的人，有哪个公司敢要呀？即使是期间夹杂着自学，理解函数的时间，也不应该花这么多时间做作业呀。再次证明，缺实践！！！

---

八、总结
　　这次项目说实在，说简单也不简单，说难也不难，原本以为一两天就可以搞定，实际上花了整整4天时间做这个小程序。其实做这个项目我并没有完整按照构造之法的软件开发步骤去做。但在看到这个作业的时候，我会先看有什么要求，想了很多怎么分类，怎么构造方法，怎么让它们联系起来。所以我是在前期花了快8个小时的构思。接着我便开始上手敲代码，先从本类开始，判断输入格式。根据输入格式的不同，我先写直接处理txt文件的方法，把第一个功能实现，慢慢的再把第二个功能实现，一步步做下去。期间因为看着作业的布置，有些细节的地方没有注意到，导致到后面代码是改了又改，写了又写，深刻体会到程序员的痛苦（一旦用户的需求改变，就会内心奔腾吧）。

　　通过做这次作业，我其实感触挺大的。在之前，我一直认为，啊，我待在工作室里做了几个小项目，挺厉害的，这次作业那么简单，我肯定一两天就写完了。但其实我在做作业写代码的时间要比其他人多得多。不得不说，在实力上，我受到了一定的打击。其实我不比别人好多少，甚至别人会比我更加努力，更加厉害。

　　在做这个作业的时候，我其实是想实现更多的功能的，以此证明自己，也就想着慢慢写，每天写一点，总能写完，一定要细心，把作业完美的展现出来。这种想法是不对的。看我在截至时间最后一秒交作业就知道了，效率会很低下，没有紧凑感，又怎么能锻炼自己写代码的能力呢？现在这种小程序还好说，不会有什么损失。如果是以后到了公司，让你写个app,写个系统啥的，你也能保证最后交给甲方的是最完美的？所以，我要改变我的看法了，写代码这种事，是不能拖拉的。我们应该在有限的时间内写出高效代码。

　　最后，我想说，虽然做作业拖拉了，但总体还是比较完美的，自己花了4天写完的统计词频小程序，也让我感受到投入做一件事，努力让它变得完美，专注，钻研，这种感觉很好。同时，也让我意识到自己的实力水平远比想象中的低。我也是时候好好提升自学、写代码的能力了，勿好高骛远，踏踏实实走好每一步，加油！