一.程序说明 本程序流程是读取红楼梦txt文件----使用jieba进行分词----借助Counter读取各人名出现次数并排序----使用matplotlib将结果可视化 这里的统计除了将“熙凤”出现的次数合并到“凤姐”中外并没有其他处理,但应该也大体能反映人物提及次数情况 二.执行结果展示 条形图: 饼状图: 三.程序源代码 import jieba from collections import Counter import matplotlib.pyplot as plt import n

  人物关系图: https://www.cnblogs.com/images/cnblogs_com/elesos/1120632/o_2033091006.jpg 红楼梦 (古典名著普及文库) (曹雪芹) - 您在位置 #125-125的标注 | 添加于 2018年8月2日星期四 下午2:01:25 觉其行止见识,皆出于我之上. ========== 红楼梦 (古典名著普及文库) (曹雪芹) - 您在位置 #166-166的标注 | 添加于 2018年8月2日星期四 下午2:16:32 消

Google BERT应用之<红楼梦>对话人物提取 https://www.jiqizhixin.com/articles/2019-01-24-19

一.写在前面的话~ 刚吃饭的时候同学问我,你为什么要用R做文本分析,你不是应该用R建模么,在我和她解释了一会儿后,她嘱咐我好好写这篇博文,嗯为了娟儿同学,细细说一会儿文本分析. 文本数据挖掘(Text Mining)是指从文本数据中抽取有价值的信息和知识的计算机处理技术.顾名思义,文本数据挖掘是从文本中进行数据挖掘(Data Mining).从这个意义上讲,文本数据挖掘是数据挖掘的一个分支. 文本分析是指对文本的表示及其特征项的选取:文本分析是文本挖掘.信息检索的一个基本问题,它把从文本中抽取出

朴素贝叶斯算法简单.高效.接下来我们来介绍其如何应用在<红楼梦>作者的鉴别上. 第一步,当然是先得有文本数据,我在网上随便下载了一个txt(当时急着交初稿...).分类肯定是要一个回合一个回合的分,所以我们拿到文本数据后,先进行回合划分.然后就是去标点符号.分词,做词频统计. # -*- coding: utf- -*- import re import jieba import string import collections as coll jieba.load_userdict('E:

分析: 1. 读取小说,以读的形式打开 with open('文件名.txt','r',encoding='utf8') as f: str = f.read() 2. 切割小说 ret = jieba.lcut(str) 3. 统计所有词语出现次数 --> 准备一个字典 dic = {} for word in ret: if len(word) == 1: # 去掉名字为一个字的 continue dic[word] = dic.get(word, 0) + 1 准备一个多余称呼的列表 ex

py库: jieba (中文词频统计) .collections (字频统计).WordCloud (词云) 先来个最简单的: # 查找列表中出现次数最多的值 ls = [1, 2, 3, 4, 5, 6, 1, 2, 1, 2, 1, 1] ls = ["呵呵", "呵呵", "呵呵", "哈哈", "哈哈", "拉拉"] y = max(set(ls), key=ls.count)

一.环境以及注意事项 1.windows10家庭版 python 3.7.1 2.需要使用到的库 wordcloud(词云),jieba(中文分词库),安装过程不展示 3.注意事项:由于wordcloud默认是英文不支持中文,所以需要一个特殊字体 simsum.tff.下载地址: https://s3-us-west-2.amazonaws.com/notion-static/b869cb0c7f4e4c909a069eaebbd2b7ad/simsun.ttf 请安装到C:\Windows\F

1. 红楼梦大观园2d图 2. 红楼梦3d图 潇湘馆 注册机:根据电脑名和时间生成一个id,然后根据注册机生成注册码.

终于效果图: Girl.h // // Girl.h // 12_tableView的增删改 // // Created by beyond on 14-7-27. // Copyright (c) 2014年 com.beyond. All rights reserved. // #import <Foundation/Foundation.h> @interface Girl : NSObject // UI控件用weak,字符串用copy,其它对象用strong // 头像图片名 @pr

Dedecms织梦后台登陆验证码不显示几种解决方法,服务器所造成的验证码不显示问题看这里: 方法一:查看服务器的php版本是否与程序版本兼容(织梦程序PHP版本查看方法:打开www.96net.com.cn/include/common.inc.php文件找到如下代码 ,服务器PHP版本查看方法:直接打开浏览器查看),如果版本不一样那么就需要用到与服务器PHP相同版本的vdimgck.php文件来进行覆盖. 方法二:找到织梦程序data\safe\inc_safe_config.php文件,然后

问题 从键盘输入一个字符串(长度不超过30),统计字符串中非数字的个数,并将统计的结果显示在屏幕上,用EXE格式实现. 源程序 data segment hintinput db "please input a string:$";输入提示语 hintoutput db "non-number:$";输出提示语 str db 30,?,30 dup(?);将输入的字符串保存在str中 crlf db 0ah,0dh,'$';回车换行符 data ends code

本实例主要用到python的jieba库 首先当然是安装pip install jieba 这里比较关键的是如下几个步骤: 加载文本,分析文本 txt=open("C:\\Users\\Beckham\\Desktop\\python\\倚天屠龙记.txt","r", encoding='utf-8').read() #打开倚天屠龙记文本 words=jieba.lcut(txt) #jieba库分析文本 对数据进行筛选和处理 for word in words:

先来个最简单的: # 查找列表中出现次数最多的值 ls = [1, 2, 3, 4, 5, 6, 1, 2, 1, 2, 1, 1] ls = ["呵呵", "呵呵", "呵呵", "哈哈", "哈哈", "拉拉"] y = max(set(ls), key=ls.count) print(y) 一.字频统计: ( collections 库) 2017-10-27 这个库是python

代码已发至github上的python文件 词频统计结果如下(词频为1的词组数量已省略): {'是': 5, '风格': 4, '擅长': 4, '的': 4, '兴趣': 4, '宣言': 4, '有': 3, 'python': 3, '代码': 2, '员': 2, 'helloworld': 2, '哲学': 2, '当': 2, '对': 2, '很': 2, 'matlab': 2, '平凡': 2} 用词特点: 柱形图和饼图的创建通过代码实现图画中只显示频数2以上的词频重复的词频较

import jieba txt = open("C:\\Users\\Administrator\\Desktop\\流浪地球.txt", "r", encoding='utf-8').read() words = jieba.lcut(txt) counts = {} for word in words: if len(word) == 1: #排除单个字符的分词结果 continue else: counts[word] = counts.get(word,0

---恢复内容开始--- 一.结巴中文分词涉及到的算法包括: (1) 基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG): (2) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合: (3) 对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法. 结巴中文分词支持的三种分词模式包括: (1) 精确模式:试图将句子最精确地切开,适合文本分析: (2) 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不

import pandas as pd import jieba import jieba.analyse from collections import Counter,OrderedDict jieba.load_userdict('./userdict.txt') # 加载外部 用户词典 def stopwordslist(filepath): stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8

终于效果图 BeyondViewController.h // // BeyondViewController.h // 6_ToolBar // // Created by beyond on 14-7-24. // Copyright (c) 2014年 com.beyond. All rights reserved. // #import <UIKit/UIKit.h> @interface BeyondViewController : UIViewController - (IBAct

import requests import re import pymysql from bs4 import BeautifulSoup conn = pymysql.Connect(host='127.0.0.1', user='root', password='123123', database='hlm') cursor = conn.cursor() url = 'http://www.purepen.com/hlm/' headers={ 'user-agent': 'Mozill