1.项目背景: 原本计划着爬某房产网站的数据做点分析, 结果数据太烂了,链家网的数据干净点, 但都是新开楼盘,没有时间维度,分析意义不大. 学习的步伐不能ting,自然语言处理还的go on 2.分析步骤: (1)停用词,1028个,哪都搜得到 (2)from collections import Counter (3)from wordcloud import WordCloud (4)找一个txt文档玩一下呗,红楼梦不大不小,秒杀! 3.分析结果: 4.源码: 上面已经Import了, 注意…

这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753. 1.列表,元组,字典,集合分别如何增删改查及遍历. 列表操作如下所示: #列表 string = 'list' #字符串->列表 list1 = list(string) # ['l', 'i', 's', 't'] #列表->字符串 string1 = ''.join(list1) #list #列表的增删改查 list1 = list('this…

#瓦登尔湖词频统计: import string path = 'D:/python3/Walden.txt' with open(path,'r',encoding= 'utf-8') as text: words = [raw_word.strip(string.punctuation).lower() for raw_word in text.read().split()] words_index = set(words) counts_dict = {index:words.count(…

需求: 某某金融大亨想涉足金融网贷,想给网贷平台取一个名字,那么取什么名字,名字里面包含哪些关键字,在行业内的曝光率会相比较高一些呢? 可以理解为: 你负责某某网贷平台的网络推广工作,如何进一步优化各广告推广平台上的搜索关键词,这些网贷平台的名称都有啥共同点? 其实就是: 想看看各网贷平台名称的高频词汇,给各平台的名称划下重点   找数据: 获取所有网贷平台的平台基本名称数据,这样子才能进行下一步工作 把网贷之家上所有平台的数据找出来,这样就可以了 读取数据: import pymysql im…

1.统计英文单词, # 1.准备utf-8编码的文本文件file(已在文件夹中定义了 一个名叫“head.txt.rtf”文本文件,详情请见截图) def getTxt(): #3对文本预处理(包括) txt = open('head.txt.rtf').read() #2.通过文件读取字符串 str txt = txt.lower()#将所有的单词全部转化成小写 for ch in ",.!.!@#$%^'": #将所有除了单词以外的符号换成空格 txt.replace(ch, '…

1.知识点 """ 1)cut() a) codecs.open() 解决编码问题 b) f.readline() 读取一行,也可以使用f.readlines()读取多行 c) words =" ".join(jieba.cut(line))分词,每个词用空格分隔 2)lcut() 返回一个list列表 """ 2.标点符号处理,并分词,存储到文件中 def fenCi(): """ 标点符号处理…

Step1:基础数据准备(通过爬虫获取到),以下是从第一期03年双色球开奖号到今天的所有数据整理,截止目前一共2549期,balls.txt 文件内容如下 : 备注:想要现成数据的可以给我发邮件哟~ Step2: 分析数据特征和数据处理方式选择,直接上代码如下: #导入Counterfrom collections import Counter​def readfile(): red_lists=[] blue_lists=[] #打开文件并获取文件句柄 with open("./balls.t…

利用python来操作spark的词频统计,现将过程分享如下: 1.新建项目:(这里是在已有的项目中创建的,可单独创建wordcount项目) ①新建txt文件: wordcount.txt (文件内容: 跟词频统计(一)中文件一致) ②创建py文件: word.py from pyspark import SparkContext from pyspark import SparkConf conf = SparkConf().setAppName('word').setMaster('loc…

# 使用Python进行词频统计 mytext = """Background Industrial Light & Magic (ILM) was started by filmmaker George Lucas, . ILM has won numerous Academy Awards for Best Visual Effects, not to mention a string of Clio awards for its work on televisi…

以下是关于小说的中文词频统计 这里有三个文件,分别为novel.txt.punctuation.txt.meaningless.txt. 这三个是小说文本.特殊符号和无意义词 Python代码统计词频如下: import jieba # jieba中文分词库 # 从文件读入小说 with open('novel.txt', 'r', encoding='UTF-8') as novelFile: novel = novelFile.read() # 将小说中的特殊符号过滤 with open('…