基础语法 搜索文本----词语索引使我们看到词的上下 text1.concordance("monstrous") 词出现在相似的上下文中 text1.similar("monstrous") 函数common_contexts允许我们研究两个或两个以上的词共同的上下文 text2.common_contexts(["monstrous", "very"]) 以判断词在文本中的位置,用离散图表示  ,每一个竖线代表一个单词,每

一． NLTK的几个常用函数 1. Concordance 实例如下: >>> text1.concordance("monstrous") Displaying of matches: ong the former , one was of a most monstrous size . ... This came towards us , ON OF THE PSALMS . " Touching that monstrous bulk of the w

一.选择正确的特征 1.建立分类器的工作中如何选择相关特征,并且为其编码来表示这些特征是首要问题. 2.特征提取,要避免过拟合或者欠拟合 过拟合,是提供的特征太多,使得算法高度依赖训练数据的特性,而对于一般化的新例子不起作用,在小型训练集上通常会出现这种问题. 欠拟合,是特征太少,算法不能很好地反映实例的特性 3.用错误分析的方法来完善特征集,首先选择开发集,其中包含用于创建模型的语料数据.然后开发集分为训练集和开发测试集. >>> train_names = names[1500:]

一.分类问题 分类是为了给那些已经给定的输入选择正确的标签. 在基本的分类任务中,每个输入都被认为与其他的输入是隔离的.每个类别的标签集是预先定义好的(只有把类别划分好了,才能给输入划分类别). 分类任务举例: 判断电子是否是垃圾邮件 从一个固定的主题领域列表里,比如有‘体育’.‘技术’.‘政治’等,来判断新闻报道的主题 判断给定词‘bank’的意思是指河的坡岸.金融机构.还是金融机构里的存储行为 基本分类任务: 多样分类:每个实例可以分配多个标签 开放性分类:标签集没有事先定义 序列分类:输入

1.搭建环境 下载anaconda并安装,(其自带python2.7和一些常用包,NumPy,Matplotlib),第一次启动使用spyder 2.下载nltk import nltk nltk.download() 在打开的界面上选择book并下载(注意存储路径,我设的   C:\nltk_data   )我下载的大概370M 3.测试 from nltk.book import * text1 出现text1的文本即表示成功 4.现在可以开始学习python自然语言处理了

Python自然语言处理工具小结 作者:白宁超 2016年11月21日21:45:26 目录 [Python NLP]干货!详述Python NLTK下如何使用stanford NLP工具包(1) [Python NLP]Python 自然语言处理工具小结(2) [Python NLP]Python NLTK 走进大秦帝国(3) [Python NLP]Python NLTK获取文本语料和词汇资源(4) [Python NLP]Python NLTK处理原始文本(5) 1 Python 的几个自

周末的任务是更新Learning Spark系列第三篇,以为自己写不完了,但为了改正拖延症,还是得完成给自己定的任务啊 = =.这三章主要讲Spark的运行过程(本地+集群),性能调优以及Spark SQL相关的知识,如果对Spark不熟的同学可以先看看之前总结的两篇文章: [原]Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令 [原]Learning Spark (Python版) 学习笔记(二)----键值对.数据读取与保存.共享特性 #####

读<简明Python教程>笔记: 本书的官方网站是www.byteofpython.info  安装就不说了,网上很多,这里就记录下我在安装时的问题,首先到python官网下载,选好安装路径安装好后,一定要配置环境变量,详细呢可以看武老师的博客(我的python编程入门老师虽然他不认识我,我也不认识他). 重要   在你的程序中合理地使用注释以解释一些重要的细节--这将有助于你的程序的读者轻松地理解程序在干什么.记住,这个读者可能就是6个月以后的你! 可执行的python程序(linux下):

python正则使用笔记 def remove_br(content): """去除两边换行符""" content = content.replace("<br>", "<br />").replace("<br >", "<br />") while re.findall("^<br />|&l

最近在看<Python自然语言处理>中文版这本书,可能由于是从py2.x到py3.x,加上nltk的更新的原因,或者作者的一些笔误,在书中很多代码都运行不能通过,下面我就整理一下一点有问题的代码. 第一章: p3.该处为小建议,书中没有错误:关于nltk.book的下载,最好下载到'/nltk_data'文件夹下,如'D:/nltk_data' p7.text3.generate(). generate()函数用法已经过时,正在查找最新的方法. p18.关于FreqDist()函数发生了更新,

python核心编程--笔记 的解释器options: 1.1 –d   提供调试输出 1.2 –O   生成优化的字节码(生成.pyo文件) 1.3 –S   不导入site模块以在启动时查找python路径 1.4 –v   冗余输出(导入语句详细追踪) 1.5 –m mod 将一个模块以脚本形式运行 1.6 –Q opt 除法选项(参阅文档) 1.7 –c cmd 运行以命令行字符串心事提交的python脚本 1.8 file   以给定的文件运行python脚本 2 _在解释器中表示最后

python 库安装笔记 zoerywzhou@163.com http://www.cnblogs.com/swje/ 作者:Zhouwan 2017-2-22 友情提示 安装python库的过程中,最重要的地方就是版本需要兼容.其中操作系统为64位,Python为2.X 64位,下载安装文件的时候也要注意版本匹配.其中文件名中包含的cp27表示CPython 2.7版本,cp34表示CPython 3.4,win_arm64指的是64位版本. 直奔主题 安装pip.setuptools 和

原文链接:Python Click 学习笔记 Click 是 Flask 的团队 pallets 开发的优秀开源项目,它为命令行工具的开发封装了大量方法,使开发者只需要专注于功能实现.恰好我最近在开发的一个小工具需要在命令行环境下操作,就写个学习笔记. 国际惯例,先来一段 "Hello World" 程序(假定已经安装了 Click 包). # hello.py import click @click.command() @click.option('--count', default

Python源代码剖析笔记3-Python执行原理初探 本文简书地址:http://www.jianshu.com/p/03af86845c95 之前写了几篇源代码剖析笔记,然而慢慢觉得没有从一个宏观的角度理解python执行原理的话,从底向上分析未免太easy让人疑惑.不如先从宏观上对python执行原理有了一个基本了解,再慢慢探究细节.这样或许会好非常多. 这也是近期这么久没有更新了笔记了,一直在看源代码剖析书籍和源代码.希望能够从一个宏观层面理清python执行原理.人说读书从薄读厚,再从

(一)  分析网页 下载下面这个链接的销售数据 https://item.jd.com/6733026.html#comment 1.      翻页的时候,谷歌F12的Network页签可以看到下面的请求. 从Preview页签可以看出,这个请求是获取评论信息的 2.      对比第一页.第二页.第三页-请求URL的区别 可以发现 page=0.page=1,0和1指的应该是页数. 第一页的 request url:没有这个rid=0& . 第二.三页-的request url:多了这个ri

换博客了,还是csdn好一些. Python学习基础笔记 1.Python学习-linux下Python3的安装 2.Python学习-数据类型.运算符.条件语句 3.Python学习-循环语句 4.Python学习-字符串 5.Python学习-列表 6.Python学习-字典 7.Python学习-元组与集合 8.Python学习-函数 9.Python学习-装饰器 10.Python学习-模块与包 11.Python学习-文件操作 12.Python学习-面向对象学习上 13.Python

Python教程 Python 教程 Python 简介 Python 环境搭建 Python 中文编码 Python 基础语法 Python 变量类型 Python 运算符 Python 条件语句 Python 循环语句 Python 数字 Python 列表(List) Python 字符串 Python 元组 Python 字典(Dictionary) Python 日期和时间 Python 函数 Python 模块 Python File及os模块 Python文件IO Python 异

0003.5-20180422-自动化第四章-python基础学习笔记--脚本 1-shopping """ v = [ {"name": "电脑","price":"1999"}, {"name": "鼠标", "price": "10"}, {"name": "游艇", &q

Python Flask学习笔记之模板 Jinja2模板引擎 默认情况下,Flask在程序文件夹中的templates子文件夹中寻找模板.Flask提供的render_template函数把Jinja2模板引擎集成到了程序中. 渲染模板 创建文件夹 mkdir app/templates 改写代码 # routes.py from flask import render_template from app import app @app.route('/') @app.route('/index

Python Flask学习笔记之Hello World 安装virtualenv,配置Flask开发环境 virtualenv 虚拟环境是Python解释器的一个私有副本,在这个环境中可以安装私有包,而且不会影响系统中安装到全局Python解释器.虚拟环境非常有用,可以在系统的Python解释器中避免包的混乱和版本的冲突,为每个程序单独创建虚拟环境,可以保证程序只能访问虚拟环境中的包从而保持全局解释器的干净整洁. 安装 sudo apt-get install python-virtualen

生成器(yield)作为协程 yield实际上是生成器,在python 2.5中,为生成器增加了.send(value)方法.这样调用者可以使用send方法对生成器发送数据,发送的数据在生成器中会赋值给yield左侧的变量(如果有的话),可以生成器可以作为协程使用. 下面是一个使用生成器实现的,求平均值的函数 def averager1(): """ 使用yield接收数值,并求平均值 :return: """ count = 0 total =