c++实现文本中英文单词和汉字字符的统计
源代码下载:http://download.csdn.net/detail/nuptboyzhb/4987141
1.统计文本中汉字的频数,为后续的文本分类做基础。对于汉字的统计,需要判断读取的是否为汉字。源代码如下:
[C++ code]
- /*
- *@author:郑海波 http://blog.csdn.net/NUPTboyZHB
- *参考:实验室小熊
- *注:有删改
- */
- #pragma warning(disable:4786)
- #include <iostream>
- #include <vector>
- #include <fstream>
- #include <string>
- #include <map>
- #include <queue>
- #include <ctime>
- using namespace std;
- void topK(const int &K)
- {
- double t=clock();
- ifstream infile("test.txt");
- if (!infile)
- cout<<"can not open file"<<endl;
- string s="";
- map<string,int>wordcount;
- unsigned char temp[2];
- while(true)//国标2312
- {
- infile>>temp[0];
- if(infile.eof()) break;
- if (temp[0]>=0xB0)//GB2312下的汉字,最小是0XB0
- {
- s+=temp[0];
- infile>>temp[1];
- s+=temp[1];
- }
- else//非汉字字符不统计
- {
- s="";
- continue;
- }
- wordcount[s]++;
- s="";
- }
- cout<<"单词种类:"<<wordcount.size()<<endl;
- //优先队列使用小顶堆,排在前面的数量少,使用">";
- priority_queue< pair< int,string >,vector< pair< int,string > >,greater< pair< int,string> > > queueK;
- for (map<string,int>::iterator iter=wordcount.begin(); iter!=wordcount.end(); iter++)
- {
- queueK.push(make_pair(iter->second,iter->first));
- if(queueK.size()>K)
- queueK.pop();
- }
- pair<int,string>tmp;
- //将排在后面的数量少,排在前面的数量多
- priority_queue< pair< int,string >,vector< pair< int,string > >,less< pair< int,string> > > queueKless;
- while (!queueK.empty())
- {
- tmp=queueK.top();
- queueK.pop();
- queueKless.push(tmp);
- }
- while(!queueKless.empty())
- {
- tmp=queueKless.top();
- queueKless.pop();
- cout<<tmp.second<<"\t"<<tmp.first<<endl;
- }
- cout<<"< Elapsed Time: "<<(clock()-t)/CLOCKS_PER_SEC<<" s>"<<endl;
- }
- int main()
- {
- int k=0;
- cout<<"http://blog.csdn.net/NUPTboyZHB\n";
- while (true)
- {
- cout<<"查看前K个频率最高的汉字,K=";
- cin>>k;
- if(k<=0)break;
- topK(k);
- }
- return 0;
- }
[图1]
2.统计英文单词的出现频率。这比统计汉字更加的容易,因为单词和单词之间是用空格分开的,所以,直接将单词保存到string中即可。
[c++ code]
- /*
- *@author:郑海波 http://blog.csdn.net/NUPTboyZHB
- *参考:实验室小熊
- *注:有删改
- */
- #pragma warning(disable:4786)
- #include <iostream>
- #include <vector>
- #include <fstream>
- #include <string>
- #include <map>
- #include <queue>
- #include <ctime>
- using namespace std;
- void topK(const int &K)
- {
- double t=clock();
- ifstream infile;
- infile.open("test.txt");
- if (!infile)
- cout<<"can not open file"<<endl;
- string s;
- map<string,int>wordcount;
- while(true)
- {
- infile>>s;
- if(infile.eof()) break;
- wordcount[s]++;
- }
- cout<<"单词种类:"<<wordcount.size()<<endl;
- //优先队列使用小顶堆,排在前面的数量少,使用">";
- priority_queue< pair< int,string >,vector< pair< int,string > >,greater< pair< int,string> > > queueK;
- for (map<string,int>::iterator iter=wordcount.begin(); iter!=wordcount.end(); iter++)
- {
- queueK.push(make_pair(iter->second,iter->first));
- if(queueK.size()>K)
- queueK.pop();
- }
- pair<int,string>tmp;
- priority_queue< pair< int,string >,vector< pair< int,string > >,less< pair< int,string> > > queueKless;
- while (!queueK.empty())
- {
- tmp=queueK.top();
- queueK.pop();
- queueKless.push(tmp);
- }
- while(!queueKless.empty())
- {
- tmp=queueKless.top();
- queueKless.pop();
- cout<<tmp.second<<"\t"<<tmp.first<<endl;
- }
- cout<<"< Elapsed Time: "<<(clock()-t)/CLOCKS_PER_SEC<<" >"<<endl;
- }
- int main()
- {
- int k=0;
- cout<<"http://blog.csdn.net/NUPTboyZHB\n";
- while (true)
- {
- cout<<"PUT IN K: ";
- cin>>k;
- if(k<=0)break;
- topK(k);
- }
- return 0;
- }
[图2]
参考:实验室小熊
c++实现文本中英文单词和汉字字符的统计的更多相关文章
- 题目--统计一行文本的单词个数(PTA预习题)
PTA预习题——统计一行文本的单词个数 7-1 统计一行文本的单词个数 (15 分) 本题目要求编写程序统计一行字符中单词的个数.所谓“单词”是指连续不含空格的字符串,各单词之间用空格分隔,空格数可以 ...
- 《c程序设计语言》读书笔记--统计 行数、单词数、字符数
#include <stdio.h> int main() { int lin = 0,wor = 0,cha = 0; int flag = 0; int c; while((c = g ...
- C语言输出单个汉字字符
#include "stdio.h" #include "windows.h" int main() { ] = { "多字节字符串!OK!" ...
- shell统计文本中单词的出现次数
Ubuntu14.04 给定一个文本,统计其中单词出现的次数 方法1 # solution 1 grep与awk配合使用,写成一个sh脚本 fre.sh sh fre.sh wordfretest.t ...
- JS实现文本中查找并替换字符
JS实现文本中查找并替换字符 效果图: 代码如下,复制即可使用: <!DOCTYPE html><html> <head> <style type=" ...
- java统计文本中单词出现的个数
package com.java_Test; import java.io.File; import java.util.HashMap; import java.util.Iterator; imp ...
- C 循环统计输入的单词个数和字符长度
C 循环统计输入的单词个数和字符长度 #include <stdio.h> #include <Windows.h> int main(void) { ]; ; ; print ...
- linux wc 的用法-linux 下统计行数、单词数、字符个数
linux wc 的用法-linux 下统计行数.单词数.字符个数 wc : wc -l 统计有多少行 wc -w 统计有多少个单词 wc -c 统计有多少个字符
- 华为oj之字符个数统计
题目:字符个数统计 热度指数:4720 时间限制:1秒 空间限制:32768K 本题知识点: 字符串 题目描述 编写一个函数,计算字符串中含有的不同字符的个数.字符在ACSII码范围内(0~127). ...
随机推荐
- oralce 10g(10.2.0.1) 冷备份从64位恢复到32位
环境描述:windows 2003 企业版 64位 oracle版本:oracle 10g 10.2.0.1 64位 冷备恢复到 windows XP oracle 10g 10.2.0.1 32位( ...
- PHP学习笔记 - 入门篇(2)
PHP入门篇(2) 什么是变量 变量是用于存储值的容器,如下 $var = @"6666" 如何定义变量 定义变量就是像服务器的内存申请空间,用来存储数据,eg: <?php ...
- VS2010
1,vc++目录——>包含目录: Visual Studio will search for the include files referred to in your source code ...
- lex&yacc8--wehter use in C++
bintree.h:12:1: error: unknown type name ‘using’ using namespace std; ============== bintree.h:28:1: ...
- Poj 3117 World Cup
1.Link: http://poj.org/problem?id=3117 2.Content: World Cup Time Limit: 1000MS Memory Limit: 65536 ...
- Mysql 作业(Scheduler)
200 ? "200px" : this.width)!important;} --> 介绍 作业也叫做事件调度,其实它也就是一个时间触发器:它可以定义某个时间点执行指定的数 ...
- 什么是MBR?(含图解)
Mbr位于磁盘的0柱面,0磁头,1扇区. MBR 有三部分构成,主引导程序,硬盘分区表DPT和,硬盘的有效标志55AA.在512个字节的主引导扇区里. 主引导程序占446个字节,dpt占6 ...
- EasyUI –tree、combotree学习总结
EasyUI –tree.combotree学习总结 一. tree总结 (一).tree基本使用 tree控件是web页面中将数据分层一树形结构显示的. 使用$.fn.tree.defaults ...
- asp.net runat="server" && hiddenfield
runat="server", c#可以直接获得client控件,并且赋值 hiddenfield 可以作为传值,或者界面存值,后台每次读取,并且再赋值到前台,这样前台就可以把上一 ...
- 【转】分享10VPN
以下介绍的vpn,都是有免费流量赠送的免费vpn,完全不免费的不在之列. 免费vpn因为用的人比较多,所以高峰时段可能会有点慢,但是人少时,还是比较顺畅的.对于偶尔浏览外网,看看新闻的同学来说,免费v ...