python调用R语言,关联规则可视化
首先当然要配置r语言环境变量什么的
D:\R-3.5.1\bin\x64;
D:\R-3.5.1\bin\x64\R.dll;
D:\R-3.5.1;
D:\ProgramData\Anaconda3\Lib\site-packages\rpy2;
本来用python也可以实现关联规则,虽然没包,但是可视化挺麻烦的
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
from pandas import read_csv def loadDataSet():
dataset = read_csv("F:/goverment/Aprior/No Number.csv")
data = dataset.values[:,:]
Data=[]
for line in data:
ls=[]
for i in line:
ls.append(i)
Data.append(ls)
#print(Data)
return Data '''
return [['a', 'c', 'e'], ['b', 'd'], ['b', 'c'], ['a', 'b', 'c', 'd'], ['a', 'b'], ['b', 'c'], ['a', 'b'],
['a', 'b', 'c', 'e'], ['a', 'b', 'c'], ['a', 'c', 'e']]''' def createC1(dataSet):
C1 = []
for transaction in dataSet:
for item in transaction:
if not [item] in C1:
C1.append([item])
C1.sort()
'''??????????????????????????????????????????????????????'''
# 映射为frozenset唯一性的,可使用其构造字典
return list(map(frozenset, C1)) # 从候选K项集到频繁K项集(支持度计算)
def scanD(D, Ck, minSupport):
ssCnt = {}
for tid in D:
for can in Ck:
if can.issubset(tid):
if not can in ssCnt:
ssCnt[can] = 1
else:
ssCnt[can] += 1
numItems = float(len(D))
retList = []
supportData = {}
for key in ssCnt:
support = ssCnt[key] / numItems
if support >= minSupport:
retList.insert(0, key)
supportData[key] = support
return retList, supportData def calSupport(D, Ck, min_support):
dict_sup = {}
for i in D:
for j in Ck:
if j.issubset(i):
if not j in dict_sup:
dict_sup[j] = 1
else:
dict_sup[j] += 1
sumCount = float(len(D))
supportData = {}
relist = []
for i in dict_sup:
temp_sup = dict_sup[i] / sumCount
if temp_sup >= min_support:
relist.append(i)
supportData[i] = temp_sup # 此处可设置返回全部的支持度数据(或者频繁项集的支持度数据)
return relist, supportData # 改进剪枝算法
def aprioriGen(Lk, k): # 创建候选K项集 ##LK为频繁K项集
retList = []
lenLk = len(Lk)
for i in range(lenLk):
for j in range(i + 1, lenLk):
L1 = list(Lk[i])[:k - 2]
L2 = list(Lk[j])[:k - 2]
L1.sort()
L2.sort()
if L1 == L2: # 前k-1项相等,则可相乘,这样可防止重复项出现
# 进行剪枝(a1为k项集中的一个元素,b为它的所有k-1项子集)
a = Lk[i] | Lk[j] # a为frozenset()集合
a1 = list(a)
b = []
# 遍历取出每一个元素,转换为set,依次从a1中剔除该元素,并加入到b中
for q in range(len(a1)):
t = [a1[q]]
tt = frozenset(set(a1) - set(t))
b.append(tt)
t = 0
for w in b:
# 当b(即所有k-1项子集)都是Lk(频繁的)的子集,则保留,否则删除。
if w in Lk:
t += 1
if t == len(b):
retList.append(b[0] | b[1])
return retList def apriori(dataSet, minSupport=0.2):
C1 = createC1(dataSet)
D = list(map(set, dataSet)) # 使用list()转换为列表
L1, supportData = calSupport(D, C1, minSupport)
L = [L1] # 加列表框,使得1项集为一个单独元素
k = 2
while (len(L[k - 2]) > 0):
Ck = aprioriGen(L[k - 2], k)
Lk, supK = scanD(D, Ck, minSupport) # scan DB to get Lk
supportData.update(supK)
L.append(Lk) # L最后一个值为空集
k += 1
del L[-1] # 删除最后一个空集
return L, supportData # L为频繁项集,为一个列表,1,2,3项集分别为一个元素。 # 生成集合的所有子集
def getSubset(fromList, toList):
for i in range(len(fromList)):
t = [fromList[i]]
tt = frozenset(set(fromList) - set(t))
if not tt in toList:
toList.append(tt)
tt = list(tt)
if len(tt) > 1:
getSubset(tt, toList) #def calcConf(freqSet, H, supportData, ruleList, minConf=0.7):
def calcConf(freqSet, H, supportData, Rule, minConf=0.7):
for conseq in H:
conf = supportData[freqSet] / supportData[freqSet - conseq] # 计算置信度
# 提升度lift计算lift = p(a & b) / p(a)*p(b)
lift = supportData[freqSet] / (supportData[conseq] * supportData[freqSet - conseq]) ls=[]
if conf >= minConf and lift > 3:
for i in freqSet - conseq:
#print(i," ",end="")
ls.append(i)
ls.append(" ")
#print('-->',end="")
ls.append('-->')
for i in conseq:
#print(i," ",end="")
ls.append(i)
ls.append(" ")
#print('支持度:', round(supportData[freqSet - conseq]*100, 1), "%",' 置信度:', round(conf*100,1),"%",' lift值为', round(lift, 2))
#ls.append(' 支持度:')
#ls.append(round(supportData[freqSet - conseq]*100, 1))
#ls.append("% ")
#ls.append(' 置信度:')
ls.append( round(conf*100,1))
ls.append("% ")
#ls.append( round(lift, 2))
#ls.append(round(lift, 2)) #ruleList.append((freqSet - conseq, conseq, conf))
if ls!=[]:
#print(len(ls))
Rule.append(ls)
# =============================================================================
# for line in Rule:
# for i in line:
# print(i,end="")
# print("")
# =============================================================================
return Rule
# =============================================================================
# print(freqSet - conseq, '-->', conseq, '支持度', round(supportData[freqSet - conseq], 2), '置信度:', round(conf,3),
# 'lift值为:', round(lift, 2))
# ============================================================================= # 生成规则
def gen_rule(L, supportData, minConf=0.7):
bigRuleList = []
for i in range(1, len(L)): # 从二项集开始计算
for freqSet in L[i]: # freqSet为所有的k项集
# 求该三项集的所有非空子集,1项集,2项集,直到k-1项集,用H1表示,为list类型,里面为frozenset类型,
H1 = list(freqSet)
all_subset = []
getSubset(H1, all_subset) # 生成所有的子集
calcConf(freqSet, all_subset, supportData, bigRuleList, minConf)
return bigRuleList if __name__ == '__main__': dataSet = loadDataSet()
#print(dataSet)
L, supportData = apriori(dataSet, minSupport=0.05)
rule = gen_rule(L, supportData, minConf=0.5)
for i in rule:
for j in i:
if j==',':
continue
else:
print(j,end="")
print("") '''
具体公式: P(B|A)/P(B) 称为A条件对于B事件的提升度,如果该值=1,说明两个条件没有任何关联,
如果<1,说明A条件(或者说A事件的发生)与B事件是相斥的,
一般在数据挖掘中当提升度大于3时,我们才承认挖掘出的关联规则是有价值的。
'''
之后还是用r吧,要下载rpy2,见https://www.cnblogs.com/caiyishuai/p/9520214.html
还要下载两个R的包
import rpy2.robjects as robjects
b=('''
install.packages("arules")
install.packages("arulesViz")
''')
robjects.r(b)
然后就是主代码了
import rpy2.robjects as robjects a=('''Encoding("UTF-8")
setwd("F:/goverment/Aprior") all_data<-read.csv("F:/goverment/Aprior/NewData.csv",header = T,#将数据转化为因子型
colClasses=c("factor","factor","factor","factor","factor","factor","factor","factor","factor","factor","factor","factor"))
library(arules)
rule=apriori(data=all_data[,c(1,4,5,6,7,8,9,10,12)], parameter = list(support=0.05,confidence=0.7,minlen=2,maxlen=10))
''')
robjects.r(a) robjects.r('''
rule.subset<-subset(rule,lift>1)
#inspect(rule.subset)
rules.sorted<-sort(rule.subset,by="lift")
subset.matrix<-is.subset(rules.sorted,rules.sorted)
lower.tri(subset.matrix,diag=T)
subset.matrix[lower.tri(subset.matrix,diag = T)]<-NA
redundant<-colSums(subset.matrix,na.rm = T)>=1 #这五条就是去冗余(感兴趣可以去网上搜),我虽然这里写了,但我没有去冗余,我的去了以后一个规则都没了
which(redundant)
rules.pruned<-rules.sorted[!redundant]
#inspect(rules.pruned) #输出去冗余后的规则
''') c=(''' library(arulesViz)#掉包 jpeg(file="plot1.jpg")
#inspect(rule.subset)
plt<-plot(rule.subset,shading = "lift")#画散点图
dev.off() subrules<-head(sort(rule.subset,by="lift"),50)
#jpeg(file="plot2.jpg")
plot(subrules,method = "graph")#画图
#dev.off() rule.sorted <- sort(rule.subset, decreasing=TRUE, by="lift") #按提升度排序
rules.write<-as(rule.sorted,"data.frame") #将规则转化为data类型
write.csv(rules.write,"F:/goverment/Aprior/NewRules.csv",fileEncoding="UTF-8")
''')
robjects.r(c) #取出保存的规则,放到一个列表中
from pandas import read_csv
data_set = read_csv("F:/goverment/Aprior/NewRules.csv")
data = data_set.values[:, :]
rul = []
for line in data:
ls = []
for j in line:
try :
j=float(j)
if j>0 and j<=1:
j=str(round(j*100,2))+"%"
ls.append(j)
else:
ls.append(round(j,2))
except:
ls.append(j)
rul.append(ls) for line in rul:
print(line)
python调用R语言,关联规则可视化的更多相关文章
- Python调用R语言
网络上经常看到有人问数据分析是学习Python好还是R语言好,还有一些争论Python好还是R好的文章.每次看到这样的文章我都会想到李舰和肖凯的<数据科学中的R语言>,书中一直强调,工具不 ...
- (转)python中调用R语言通过rpy2 进行交互安装配置详解
python中调用R语言通过rpy2 进行交互安装配置详解(R_USER.R_HOME配置) 2018年11月08日 10:00:11 luqin_ 阅读数:753 python中调用R语言通过r ...
- python 调用 R,使用rpy2
python 与 R 是当今数据分析的两大主流语言.作为一个统计系的学生,我最早接触的是R,后来才接触的python.python是通用编程语言,科学计算.数据分析是其重要的组成部分,但并非全部:而R ...
- 比较分析C++、Java、Python、R语言的面向对象特征,这些特征如何实现的?有什么相同点?
一门课的课后题答案,在这里备份一下: 面向对象程序设计语言 – 比较分析C++.Java.Python.R语言的面向对象特征,这些特征如何实现的?有什么相同点? C++ 语言的面向对象特征: 对象模 ...
- python调用C语言接口
python调用C语言接口 注:本文所有示例介绍基于linux平台 在底层开发中,一般是使用C或者C++,但是有时候为了开发效率或者在写测试脚本的时候,会经常使用到python,所以这就涉及到一个问题 ...
- Python调用R编程——rpy2
在Python调用R,最常见的方式是使用rpy2模块. 简介 模块 The package is made of several sub-packages or modules: rpy2.rinte ...
- .Net调用R语言
///加载自己写的R语言算法库 public List<double> GetZTFB(double[] data) { List<double> par = new List ...
- .net 调用R语言的函数(计算统计值pvalue 对应excel :ttest)
Pvalue 计算 项目设计pvalue计算,但是由于.net 没有类似的公式或者函数,最终决定使用.net 调用R语言 采用.net 调用r语言的公用函数 需要安装 r语言环境 https://mi ...
- shell中调用R语言并传入参数的两种步骤
shell中调用R语言并传入参数的两种方法 第一种: Rscript myscript.R R脚本的输出 第二种: R CMD BATCH myscript.R # Check the output ...
随机推荐
- 通过FISH和下一代测序检测肺腺癌ALK基因融合比较
ALK FISH探针是FDA批准的用于检测肺癌患者中ALK重排的方法,这些患者可能受益于ALK激酶抑制剂.FISH测定在技术上可能具有挑战性并且难以解释.已经有研究者提出以ALK免疫组织化学和下一代测 ...
- c++ 交换两个容器(swap)
#include <iostream> #include <vector> using namespace std; int main () { vector<,); / ...
- django 常用字段类型
<> CharField #字符串字段, 用于较短的字符串. #CharField 要求必须有一个参数 maxlength, 用于从数据库层和Django校验层限制该字段所允许的最大字符数 ...
- UVA-1601 The Morning after Halloween(BFS或双向BFS)
题目大意:在一张图中,以最少的步数将a,b,c移到对应的A,B,C上去.其中,每个2x2的方格都有障碍并且不能两个小写字母同时占据一个格子. 题目分析:为避免超时,先将图中所有能联通的空格建起一张图, ...
- Xcode6中手动添加Precompile Prefix Header
Xcode5中创建一个工程的时候,系统会自动创建一个以以工程名为名字的pch(Precompile Prefix Header)文件,开发的过程中可以将广泛使用的头文件以及宏包含在该文件下,编译器就会 ...
- 【Matplotlib】概要总览第一讲
之前一直使用 matplotlib, 但都是随用随查,现在特开此系列帖子已记录其学习过程. Matplotlib可能是Python 扩展包中仅有的最流行的 2D 绘图库.她不仅提供了快速的方式可视化P ...
- Java中如何读写cookie (二)
Java中删除cookie Cookie[] cookies=request.getCookies(); //cookies不为空,则清除 if(cookies!=null ...
- JS类型转换之valueOf和toString详解
最近群里有人发了下面这题: 实现一个函数,运算结果可以满足如下预期结果: add(1)(2)// 3 add(1,2,3)(10)// 16 add(1)(2)(3)(4)(5)// 15 对于一个好 ...
- 在jenkins和sonar中集成jacoco(四)--在sonar中集成jacoco
首先要得到之前的单元测试和集成测试的覆盖率文件,还有对应的class文件以及单元测试的覆盖率报告,材料准备齐全之后,使用如下命令: build.xml 1 2 3 4 5 6 7 8 9 10 11 ...
- Redis入门简单操作
一.下载安装 Linux下载服务器版本地址:https://redis.io/download Windows下载客户端Redis Desktop Manager:https://redisdeskt ...