Scikit-learn之特征抽取
一.安装包
pip install Scikit-learn
二.字典特征抽取
1.字典特征抽取
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#author tom from sklearn.feature_extraction import DictVectorizer l=[
{'city':'北京','temparatue':20},
{'city':'深圳','temparatue':40},
{'city':'广州','temparatue':60},
] def dictvec():
"""
字典数据抽取
:return:
"""
#实例化对象
dic=DictVectorizer()
#调用feature,参数是字典,或者把字典放置于可迭代对象中,比如说列表
data=dic.fit_transform(l)
print(dic.get_feature_names())
print(data) if __name__ == '__main__':
dictvec()
结果:(sparse矩阵,这样边读边处理,有助于节约内存)
['city=北京', 'city=广州', 'city=深圳', 'temparatue']
(0, 0) 1.0
(0, 3) 20.0
(1, 2) 1.0
(1, 3) 40.0
(2, 1) 1.0
(2, 3) 60.0
改变一下实话对象的参数(sparse默认为True,我们把他改为False)
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#author tom from sklearn.feature_extraction import DictVectorizer l=[
{'city':'北京','temparatue':20},
{'city':'深圳','temparatue':40},
{'city':'广州','temparatue':60},
] def dictvec():
"""
字典数据抽取
:return:
"""
#实例化对象
dic=DictVectorizer(sparse=False)
#调用feature,参数是字典,或者把字典放置于可迭代对象中,比如说列表
data=dic.fit_transform(l)
print(dic.get_feature_names())
print(data) if __name__ == '__main__':
dictvec()
结果:(ndaarray或者数组) 这个我们成为one-hot编码
['city=北京', 'city=广州', 'city=深圳', 'temparatue']
[[ 1. 0. 0. 20.]
[ 0. 0. 1. 40.]
[ 0. 1. 0. 60.]]
2.关于字典特征抽取总结
DictVectorizer.fit_transform(x)
- x:字典或者包含字典的迭代器
- 返回值:sparse矩阵
- DictVectorizer.inverse_transform(X)
- X:array数组或者sparse矩阵
返回值:转换之前的数据格式
- DictVectorizer.get_feature_names()
- 返回类别特征
- DictVectorizer.transform(X)
- 按照原先的标准转换
- 按照原先的标准转换
3.作用
把关于分类的特征值进行特征化以区分
三.文本特征抽取
1.文本特征抽取
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#author tom from sklearn.feature_extraction.text import CountVectorizer
l=['life is short ,i like python','life is long,i dislike python'] def countvec():
"""
对文本数据进行特征值化
:return:
"""
count=CountVectorizer()
data=count.fit_transform(l)
print(count.get_feature_names())
print(data)
print('-----分割线-----------')
#文本没有sparse参数,只能调用toarray()方法转换成array
print(data.toarray()) if __name__ == '__main__':
countvec()
结果:
['dislike', 'is', 'life', 'like', 'long', 'python', 'short']
(0, 2) 1
(0, 1) 1
(0, 6) 1
(0, 3) 1
(0, 5) 1
(1, 2) 1
(1, 1) 1
(1, 5) 1
(1, 4) 1
(1, 0) 1
-----分割线-----------
[[0 1 1 1 0 1 1]
[1 1 1 0 1 1 0]]
再来看一下中文的特征抽取
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#author tom from sklearn.feature_extraction.text import CountVectorizer
l=['life is short ,i like python','life is long,i dislike python']
l1=['人生苦短,我喜欢python','人生漫长,我不用python']
def countvec():
"""
对文本数据进行特征值化
:return:
"""
count=CountVectorizer()
data=count.fit_transform(l1)
print(count.get_feature_names())
# print(data)
print('-----分割线-----------')
#文本没有sparse参数,只能调用toarray()方法转换成array
print(data.toarray()) if __name__ == '__main__':
countvec()
结果:
['人生漫长', '人生苦短', '我不用python', '我喜欢python']
-----分割线-----------
[[0 1 0 1]
[1 0 1 0]]
并没有太大的实际意义,所以我们手动对中文分词看看
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#author tom from sklearn.feature_extraction.text import CountVectorizer
l=['life is short ,i like python','life is long,i dislike python']
l1=['人生 苦短,我 喜欢 python','人生 漫长,我 不用 python']
def countvec():
"""
对文本数据进行特征值化
:return:
"""
count=CountVectorizer()
data=count.fit_transform(l1)
print(count.get_feature_names())
# print(data)
print('-----分割线-----------')
#文本没有sparse参数,只能调用toarray()方法转换成array
print(data.toarray()) if __name__ == '__main__':
countvec()
结果:
['python', '不用', '人生', '喜欢', '漫长', '苦短']
-----分割线-----------
[[1 0 1 1 0 1]
[1 1 1 0 1 0]]
所以,我们需要借助分词工具,这边推荐结巴
pip install jieba
实例:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#author tom
import jieba
from sklearn.feature_extraction.text import CountVectorizer def cutWord():
"""
利用结巴分词
:return: 分词后的字符串
"""
#切词
con1=jieba.cut('拥有万卷书的穷书生,并不想去和百万富翁交换钻石或股票。满足于田园生活的人也并不艳羡任何学者的荣誉头衔,或高官厚禄。')
con2=jieba.cut('苦乐全凭自已判断,这和客观环境并不一定有直接关系,正如一个不爱珠宝的女人,即使置身在极其重视虚荣的环境,也无伤她的自尊。')
con3=jieba.cut('人的一生常处于抉择之中,如:念哪一间大学?选哪一种职业?娶哪一种女子?……等等伤脑筋的事情。一个人抉择力的有无,可以显示其人格成熟与否。')
print(con1)
print(con2)
print(con3)
#转换成列表
content1=list(con1)
content2=list(con2)
content3=list(con3)
print(content1)
print(content2)
print(content3)
#把列表拼接成字符串(分词后的)
c1=' '.join(content1)
c2=' '.join(content2)
c3=' '.join(content3)
print(c1)
print(c2)
print(c3)
return c1,c2,c3 def chines_vec():
c1,c2,c3=cutWord()
count=CountVectorizer()
data=count.fit_transform([c1,c2,c3])
print(count.get_feature_names())
print(data.toarray())
if __name__ == '__main__':
chines_vec()
结果:
['一个', '一生', '一种', '一间', '万卷书', '不想', '不爱', '与否', '之中', '事情', '交换', '人格', '任何', '伤脑筋', '关系', '判断', '即使', '可以', '处于', '大学', '头衔', '女人', '女子', '学者', '客观', '并不一定', '成熟', '抉择', '拥有', '无伤', '显示', '有无', '极其', '正如', '满足', '环境', '珠宝', '田园生活', '百万富翁', '直接', '穷书生', '等等', '置身', '职业', '股票', '自尊', '自已', '艳羡', '苦乐', '荣誉', '虚荣', '重视', '钻石', '高官厚禄']
[[0 0 0 0 1 1 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 0 0 1 0
0 1 1 0 1 0 0 0 1 0 0 1 0 1 0 0 1 1]
[1 0 0 0 0 0 1 0 0 0 0 0 0 0 1 1 1 0 0 0 0 1 0 0 1 1 0 0 0 1 0 0 1 1 0 2
1 0 0 1 0 0 1 0 0 1 1 0 1 0 1 1 0 0]
[1 1 2 1 0 0 0 1 1 1 0 1 0 1 0 0 0 1 1 1 0 0 1 0 0 0 1 2 0 0 1 1 0 0 0 0
0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0]]
2.文本特征抽取的另一种方法TfidfVectorizer
把上面的列子改一下
#!/usr/bin/env python
# -*- coding: utf-8 -*-
#author tom
import jieba
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer def cutWord():
"""
利用结巴分词
:return: 分词后的字符串
"""
#切词
con1=jieba.cut('拥有万卷书的穷书生,并不想去和百万富翁交换钻石或股票。满足于田园生活的人也并不艳羡任何学者的荣誉头衔,或高官厚禄。')
con2=jieba.cut('苦乐全凭自已判断,这和客观环境并不一定有直接关系,正如一个不爱珠宝的女人,即使置身在极其重视虚荣的环境,也无伤她的自尊。')
con3=jieba.cut('人的一生常处于抉择之中,如:念哪一间大学?选哪一种职业?娶哪一种女子?……等等伤脑筋的事情。一个人抉择力的有无,可以显示其人格成熟与否。')
print(con1)
print(con2)
print(con3)
#转换成列表
content1=list(con1)
content2=list(con2)
content3=list(con3)
print(content1)
print(content2)
print(content3)
#把列表拼接成字符串(分词后的)
c1=' '.join(content1)
c2=' '.join(content2)
c3=' '.join(content3)
print(c1)
print(c2)
print(c3)
return c1,c2,c3 def chines_vec():
c1,c2,c3=cutWord()
# count=CountVectorizer()
tf=TfidfVectorizer()
data=tf.fit_transform([c1,c2,c3])
print(tf.get_feature_names())
print(data.toarray())
if __name__ == '__main__':
chines_vec()
结果:(值越高越重要,可以作为分类的依据)
['一个', '一生', '一种', '一间', '万卷书', '不想', '不爱', '与否', '之中', '事情', '交换', '人格', '任何', '伤脑筋', '关系', '判断', '即使', '可以', '处于', '大学', '头衔', '女人', '女子', '学者', '客观', '并不一定', '成熟', '抉择', '拥有', '无伤', '显示', '有无', '极其', '正如', '满足', '环境', '珠宝', '田园生活', '百万富翁', '直接', '穷书生', '等等', '置身', '职业', '股票', '自尊', '自已', '艳羡', '苦乐', '荣誉', '虚荣', '重视', '钻石', '高官厚禄']
[[0. 0. 0. 0. 0.25 0.25
0. 0. 0. 0. 0.25 0.
0.25 0. 0. 0. 0. 0.
0. 0. 0.25 0. 0. 0.25
0. 0. 0. 0. 0.25 0.
0. 0. 0. 0. 0.25 0.
0. 0.25 0.25 0. 0.25 0.
0. 0. 0.25 0. 0. 0.25
0. 0.25 0. 0. 0.25 0.25 ]
[0.16005431 0. 0. 0. 0. 0.
0.21045218 0. 0. 0. 0. 0.
0. 0. 0.21045218 0.21045218 0.21045218 0.
0. 0. 0. 0.21045218 0. 0.
0.21045218 0.21045218 0. 0. 0. 0.21045218
0. 0. 0.21045218 0.21045218 0. 0.42090436
0.21045218 0. 0. 0.21045218 0. 0.
0.21045218 0. 0. 0.21045218 0.21045218 0.
0.21045218 0. 0.21045218 0.21045218 0. 0. ]
[0.15340416 0.20170804 0.40341607 0.20170804 0. 0.
0. 0.20170804 0.20170804 0.20170804 0. 0.20170804
0. 0.20170804 0. 0. 0. 0.20170804
0.20170804 0.20170804 0. 0. 0.20170804 0.
0. 0. 0.20170804 0.40341607 0. 0.
0.20170804 0.20170804 0. 0. 0. 0.
0. 0. 0. 0. 0. 0.20170804
0. 0.20170804 0. 0. 0. 0.
0. 0. 0. 0. 0. 0. ]]
解读:TfidfVectorizer
3.文本特征的作用
- 文本分类
- 情感分析
- 单个英文字母,单个汉字不纳入统计,没有意义
Scikit-learn之特征抽取的更多相关文章
- scikit learn 模块 调参 pipeline+girdsearch 数据举例:文档分类 (python代码)
scikit learn 模块 调参 pipeline+girdsearch 数据举例:文档分类数据集 fetch_20newsgroups #-*- coding: UTF-8 -*- import ...
- (原创)(三)机器学习笔记之Scikit Learn的线性回归模型初探
一.Scikit Learn中使用estimator三部曲 1. 构造estimator 2. 训练模型:fit 3. 利用模型进行预测:predict 二.模型评价 模型训练好后,度量模型拟合效果的 ...
- (原创)(四)机器学习笔记之Scikit Learn的Logistic回归初探
目录 5.3 使用LogisticRegressionCV进行正则化的 Logistic Regression 参数调优 一.Scikit Learn中有关logistics回归函数的介绍 1. 交叉 ...
- Scikit Learn: 在python中机器学习
转自:http://my.oschina.net/u/175377/blog/84420#OSC_h2_23 Scikit Learn: 在python中机器学习 Warning 警告:有些没能理解的 ...
- Scikit Learn
Scikit Learn Scikit-Learn简称sklearn,基于 Python 语言的,简单高效的数据挖掘和数据分析工具,建立在 NumPy,SciPy 和 matplotlib 上.
- Linear Regression with Scikit Learn
Before you read This is a demo or practice about how to use Simple-Linear-Regression in scikit-lear ...
- 如何使用scikit—learn处理文本数据
答案在这里:http://www.tuicool.com/articles/U3uiiu http://scikit-learn.org/stable/modules/feature_extracti ...
- Query意图分析:记一次完整的机器学习过程(scikit learn library学习笔记)
所谓学习问题,是指观察由n个样本组成的集合,并根据这些数据来预测未知数据的性质. 学习任务(一个二分类问题): 区分一个普通的互联网检索Query是否具有某个垂直领域的意图.假设现在有一个O2O领域的 ...
- 机器学习框架Scikit Learn的学习
一 安装 安装pip 代码如下:# wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=83 ...
- Python第三方库(模块)"scikit learn"以及其他库的安装
scikit-learn是一个用于机器学习的 Python 模块. 其主页:http://scikit-learn.org/stable/. GitHub地址: https://github.com/ ...
随机推荐
- Spring+Mybais整合
简单的来说,Spring主要用于在业务层(当然spring也有数据库交互的模块,个人觉得spring在这方面有一点不如mybatis),而mybatis主要用于数据持久化,在一个完整的项目中无论是业务 ...
- 化学键|甘氨酸|谷氨酸|半胱胺酸|motif|domain|疏水相互作用|序列相似性|clustering analysis|Chou and Fasman|GOR|PHD|穿线法|first-principle ab initio folding|
化学键|甘氨酸|谷氨酸|半胱胺酸|motif|domain|疏水相互作用|序列相似性|clustering analysis|Chou and Fasman|GOR|PHD|穿线法|first-pri ...
- C#获取代码执行时间(精确到毫秒)
private void Time(int i) { Stopwatch sw = new Stopwatch(); sw.Start(); Thread.Sleep(i); sw.Stop(); C ...
- POJ 1815 网络流之拆点(这个题还需要枚举)
传送门:http://poj.org/problem?id=1815 题意:给N个点,已知S与T,和邻接矩阵,求拆掉那些点会减小最大流. 思路:点之间有线连接的在网络中的权值为inf,没有的就不用管, ...
- ZOJ 2532 网络流最小割
求最小割的问题. 题意:已知网络中有n个源点,m的中转站(也就是节点),一个汇点(编号为0).给出网络,求一些边(增大这个边就可以增大汇点流量的边). 思路:一开始代码只找了有流=0就加入输出数组的情 ...
- JDK1.8新特性Lambda表达式
/** * Lambda * @date 2019/8/2 10:03 */ public class Lamda { public static void main(String[] args){ ...
- Java 笔试面试(6)异常处理
Java 笔试面试(6)异常处理 1. finally的代码何时执行? 问题描述:try{}里有一个return语句,那么在这个try后面的finally{}中的代码是否为执行?如果会,是在retur ...
- 错综复杂!“两桶油”与多个APP上演暧昧秀
O2O的浪潮席卷了一个又一个行业,即使在资本寒冬下一批批O2O企业倒下,却总有另一批毫不犹豫地站起来.其中,汽车后服务市场就是被O2O台风重点扫过.洗车.保养.维修.美容.改装等相关O2O企业层出不穷 ...
- 斑马难题Step by Step
问题描述 分析 代码 在exercism.io被这个 Zebra Puzzle 难住了.这里一步一步的解决... 1.There are five houses. 2.The Englishman l ...
- Zookeeper的核心概念以及java客户端使用
一.Zookeeper的核心概念 分布式配置中心(存储):disconf(zk).diamond(mysql+http) 1)znode ZooKeeper操作和维护的是一个个数据节点,称为 znod ...