源代码下载:http://download.csdn.net/detail/nuptboyzhb/4987141

1.统计文本中汉字的频数,为后续的文本分类做基础。对于汉字的统计,需要判断读取的是否为汉字。源代码如下:

[C++ code]

  1. /*
  2. *@author:郑海波 http://blog.csdn.net/NUPTboyZHB
  3. *参考:实验室小熊
  4. *注:有删改
  5. */
  6. #pragma warning(disable:4786)
  7. #include <iostream>
  8. #include <vector>
  9. #include <fstream>
  10. #include <string>
  11. #include <map>
  12. #include <queue>
  13. #include <ctime>
  14. using namespace std;
  15. void topK(const int &K)
  16. {
  17. double t=clock();
  18. ifstream infile("test.txt");
  19. if (!infile)
  20. cout<<"can not open file"<<endl;
  21. string s="";
  22. map<string,int>wordcount;
  23. unsigned char temp[2];
  24. while(true)//国标2312
  25. {
  26. infile>>temp[0];
  27. if(infile.eof()) break;
  28. if (temp[0]>=0xB0)//GB2312下的汉字,最小是0XB0
  29. {
  30. s+=temp[0];
  31. infile>>temp[1];
  32. s+=temp[1];
  33. }
  34. else//非汉字字符不统计
  35. {
  36. s="";
  37. continue;
  38. }
  39. wordcount[s]++;
  40. s="";
  41. }
  42. cout<<"单词种类:"<<wordcount.size()<<endl;
  43. //优先队列使用小顶堆,排在前面的数量少,使用">";
  44. priority_queue< pair< int,string >,vector< pair< int,string > >,greater< pair< int,string> > > queueK;
  45. for (map<string,int>::iterator iter=wordcount.begin(); iter!=wordcount.end(); iter++)
  46. {
  47. queueK.push(make_pair(iter->second,iter->first));
  48. if(queueK.size()>K)
  49. queueK.pop();
  50. }
  51. pair<int,string>tmp;
  52. //将排在后面的数量少,排在前面的数量多
  53. priority_queue< pair< int,string >,vector< pair< int,string > >,less< pair< int,string> > > queueKless;
  54. while (!queueK.empty())
  55. {
  56. tmp=queueK.top();
  57. queueK.pop();
  58. queueKless.push(tmp);
  59. }
  60. while(!queueKless.empty())
  61. {
  62. tmp=queueKless.top();
  63. queueKless.pop();
  64. cout<<tmp.second<<"\t"<<tmp.first<<endl;
  65. }
  66. cout<<"< Elapsed Time: "<<(clock()-t)/CLOCKS_PER_SEC<<" s>"<<endl;
  67. }
  68. int main()
  69. {
  70. int k=0;
  71. cout<<"http://blog.csdn.net/NUPTboyZHB\n";
  72. while (true)
  73. {
  74. cout<<"查看前K个频率最高的汉字,K=";
  75. cin>>k;
  76. if(k<=0)break;
  77. topK(k);
  78. }
  79. return 0;
  80. }

[图1]

2.统计英文单词的出现频率。这比统计汉字更加的容易,因为单词和单词之间是用空格分开的,所以,直接将单词保存到string中即可。

[c++ code]

  1. /*
  2. *@author:郑海波 http://blog.csdn.net/NUPTboyZHB
  3. *参考:实验室小熊
  4. *注:有删改
  5. */
  6. #pragma warning(disable:4786)
  7. #include <iostream>
  8. #include <vector>
  9. #include <fstream>
  10. #include <string>
  11. #include <map>
  12. #include <queue>
  13. #include <ctime>
  14. using namespace std;
  15. void topK(const int &K)
  16. {
  17. double t=clock();
  18. ifstream infile;
  19. infile.open("test.txt");
  20. if (!infile)
  21. cout<<"can not open file"<<endl;
  22. string s;
  23. map<string,int>wordcount;
  24. while(true)
  25. {
  26. infile>>s;
  27. if(infile.eof()) break;
  28. wordcount[s]++;
  29. }
  30. cout<<"单词种类:"<<wordcount.size()<<endl;
  31. //优先队列使用小顶堆,排在前面的数量少,使用">";
  32. priority_queue< pair< int,string >,vector< pair< int,string > >,greater< pair< int,string> > > queueK;
  33. for (map<string,int>::iterator iter=wordcount.begin(); iter!=wordcount.end(); iter++)
  34. {
  35. queueK.push(make_pair(iter->second,iter->first));
  36. if(queueK.size()>K)
  37. queueK.pop();
  38. }
  39. pair<int,string>tmp;
  40. priority_queue< pair< int,string >,vector< pair< int,string > >,less< pair< int,string> > > queueKless;
  41. while (!queueK.empty())
  42. {
  43. tmp=queueK.top();
  44. queueK.pop();
  45. queueKless.push(tmp);
  46. }
  47. while(!queueKless.empty())
  48. {
  49. tmp=queueKless.top();
  50. queueKless.pop();
  51. cout<<tmp.second<<"\t"<<tmp.first<<endl;
  52. }
  53. cout<<"< Elapsed Time: "<<(clock()-t)/CLOCKS_PER_SEC<<" >"<<endl;
  54. }
  55. int main()
  56. {
  57. int k=0;
  58. cout<<"http://blog.csdn.net/NUPTboyZHB\n";
  59. while (true)
  60. {
  61. cout<<"PUT IN K: ";
  62. cin>>k;
  63. if(k<=0)break;
  64. topK(k);
  65. }
  66. return 0;
  67. }

[图2]

参考:实验室小熊

c++实现文本中英文单词和汉字字符的统计的更多相关文章

  1. 题目--统计一行文本的单词个数(PTA预习题)

    PTA预习题——统计一行文本的单词个数 7-1 统计一行文本的单词个数 (15 分) 本题目要求编写程序统计一行字符中单词的个数.所谓“单词”是指连续不含空格的字符串,各单词之间用空格分隔,空格数可以 ...

  2. 《c程序设计语言》读书笔记--统计 行数、单词数、字符数

    #include <stdio.h> int main() { int lin = 0,wor = 0,cha = 0; int flag = 0; int c; while((c = g ...

  3. C语言输出单个汉字字符

    #include "stdio.h" #include "windows.h" int main() { ] = { "多字节字符串!OK!" ...

  4. shell统计文本中单词的出现次数

    Ubuntu14.04 给定一个文本,统计其中单词出现的次数 方法1 # solution 1 grep与awk配合使用,写成一个sh脚本 fre.sh sh fre.sh wordfretest.t ...

  5. JS实现文本中查找并替换字符

    JS实现文本中查找并替换字符 效果图: 代码如下,复制即可使用: <!DOCTYPE html><html> <head> <style type=" ...

  6. java统计文本中单词出现的个数

    package com.java_Test; import java.io.File; import java.util.HashMap; import java.util.Iterator; imp ...

  7. C 循环统计输入的单词个数和字符长度

    C 循环统计输入的单词个数和字符长度 #include <stdio.h> #include <Windows.h> int main(void) { ]; ; ; print ...

  8. linux wc 的用法-linux 下统计行数、单词数、字符个数

    linux wc 的用法-linux 下统计行数.单词数.字符个数   wc : wc -l 统计有多少行 wc -w 统计有多少个单词 wc -c 统计有多少个字符

  9. 华为oj之字符个数统计

    题目:字符个数统计 热度指数:4720 时间限制:1秒 空间限制:32768K 本题知识点: 字符串 题目描述 编写一个函数,计算字符串中含有的不同字符的个数.字符在ACSII码范围内(0~127). ...

随机推荐

  1. oralce 10g(10.2.0.1) 冷备份从64位恢复到32位

    环境描述:windows 2003 企业版 64位 oracle版本:oracle 10g 10.2.0.1 64位 冷备恢复到 windows XP oracle 10g 10.2.0.1 32位( ...

  2. PHP学习笔记 - 入门篇(2)

    PHP入门篇(2) 什么是变量 变量是用于存储值的容器,如下 $var = @"6666" 如何定义变量 定义变量就是像服务器的内存申请空间,用来存储数据,eg: <?php ...

  3. VS2010

    1,vc++目录——>包含目录: Visual Studio will search for the include files referred to in your source code ...

  4. lex&yacc8--wehter use in C++

    bintree.h:12:1: error: unknown type name ‘using’ using namespace std; ============== bintree.h:28:1: ...

  5. Poj 3117 World Cup

    1.Link: http://poj.org/problem?id=3117 2.Content: World Cup Time Limit: 1000MS   Memory Limit: 65536 ...

  6. Mysql 作业(Scheduler)

    200 ? "200px" : this.width)!important;} --> 介绍 作业也叫做事件调度,其实它也就是一个时间触发器:它可以定义某个时间点执行指定的数 ...

  7. 什么是MBR?(含图解)

    Mbr位于磁盘的0柱面,0磁头,1扇区. MBR       有三部分构成,主引导程序,硬盘分区表DPT和,硬盘的有效标志55AA.在512个字节的主引导扇区里. 主引导程序占446个字节,dpt占6 ...

  8. EasyUI –tree、combotree学习总结

    EasyUI –tree.combotree学习总结 一.   tree总结 (一).tree基本使用 tree控件是web页面中将数据分层一树形结构显示的. 使用$.fn.tree.defaults ...

  9. asp.net runat="server" && hiddenfield

    runat="server", c#可以直接获得client控件,并且赋值 hiddenfield 可以作为传值,或者界面存值,后台每次读取,并且再赋值到前台,这样前台就可以把上一 ...

  10. 【转】分享10VPN

    以下介绍的vpn,都是有免费流量赠送的免费vpn,完全不免费的不在之列. 免费vpn因为用的人比较多,所以高峰时段可能会有点慢,但是人少时,还是比较顺畅的.对于偶尔浏览外网,看看新闻的同学来说,免费v ...