方差分析的主要功能就是验证两组样本,或者两组以上的样本均值是否有显著性差异,即均值是否一样. 这里有两个大点需要注意:①方差分析的原假设是:样本不存在显著性差异(即,均值完全相等):②两样本数据无交互作用(即,样本数据独立)这一点在双因素方差分析中判断两因素是否独立时用. 原理: 方差分析的原理就一个方程:SST=SS组间+SSR组内  (全部平方和=组间平方和+组内平方和) 说明:方差分析本质上对总变异的解释. 组间平方和=每一组的均值减去样本均值 组内平方和=个体减去每组平方和 方差分析看的…

单因素方差分析(One-Way Analysis of Variance) 判断控制变量是否对观测变量产生了显著影响 分析步骤 1. 建立检验假设 - H0:不同因子水平间的均值无差异 - H1:不同因子水平间的均值有显著差异 - [注意]有差异,有可能是所有因子水平间都存在差异,也有可能只有两个因子水平间的均值存在差异 2. 计算检验统计量F值 F = MSA / MSE MSA = SSA / ( k - 1 )    MSA:组间均方, 对总体方差的一个估计 MSE = SSE / ( n…

爬取过程在这里: Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图 本文基于前文爬取生成的douban.txt,基于SnowNLP做情感分析. 依赖库: 豆瓣镜像比较快: pip install snownlp -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple 初识SnowNLP: SnowNLP是一个常用的Python文本分析库,是受到TextBlob启发而发明的.由于当…

导引 在计算密集型计算或一些Web应用中,我们常常需要对代码做性能分析.在Python中,最原始的方法即是使用time包中的time函数(该函数以秒为计时单位): from time import sleep, time def func1(): sleep(0.001) def func2(): sleep(2) begin1 = time() func1() end1 = time() begin2 = time() func2() end2 = time() print("func1 co…

百度到<金庸小说全集 14部>全(TXT)作者:金庸 下载下来,然后读取内容with open('names.txt') as f: data = [line.strip() for line in f.readlines()] novels = data[::2] names = data[1::2] novel_names = {k: v.split() for k, v in zip(novels, names)} //可以在这里打印下看是不是都读取过 //开始分词并加载 for _,…

由于需要在半结构化的文本数据中提取一些特定格式的字段.数据辅助挖掘分析工作,以往都是使用Matlab工具进行结构化数据处理的建模,matlab擅长矩阵处理.结构化数据的计算,Python具有与matlab共同的特点:语法简洁.库丰富,对算法仿真来说都是一门简洁易用的语言. Python做字符串匹配相对来说上手比较容易,且具有成熟的字符串处理库re供我们使用: 在re库的帮助下,只需简单的两步就可完成匹配工作,对做数据分析/算法的工作者来说,轻松了许多: step1:构建正则表达式模式,并使用co…

前言 在大数据时代,你竟然会在网上看到的词云,例如这样的. 看到之后你是什么感觉?想不想自己做一个? 如果你的答案是正确的,那就不要拖延了,现在我们就开始,做一个词云分析图,Python是一个当下很流行的编程语言,你不仅可以用它做数据分析和可视化,还能用来做网站.爬取数据.做数学题.写脚本替你偷懒…… 如果你之前没有编程基础,没关系.希望你不要限于浏览,而是亲自动手尝试一番.到完成的那一步,你不仅可以做出第一张词云图,而且这还将是你的第一个有用的编程作品. 安装wordcloud库 请确保你的p…

Edited by Markdown Refered from: John Ladd, Jessica Otis, Christopher N. Warren, and Scott Weingart, "Exploring and Analyzing Network Data with Python," The Programming Historian 6 (2017), https://programminghistorian.org/en/lessons/exploring-an…

原文链接 Github地址 一.陈述 1,我到底能用Python做什么? 我观察注意到Python三个主要流行的应用: 网站开发: 数据科学——包括机器学习,数据分析和数据可视化: 做脚本语言. 二.网站开发 网站框架将帮助你创建基于Python的服务器端代码(后端代码),这些代码将在你的服务器上运行,与用户的设备和浏览器截然相反(前端代码).像Django和Flask这样基于Python网站框架最近在网页开发中变得流行起来. 1,为什么我需要一个网站框架? 因为网站框架将会更容易的建立后端的共…

使用 mitmproxy + python 做拦截代理   本文是一个较为完整的 mitmproxy 教程,侧重于介绍如何开发拦截脚本,帮助读者能够快速得到一个自定义的代理工具. 本文假设读者有基本的 python 知识,且已经安装好了一个 python 3 开发环境.如果你对 nodejs 的熟悉程度大于对 python,可移步到 anyproxy,anyproxy 的功能与 mitmproxy 基本一致,但使用 js 编写定制脚本.除此之外我就不知道有什么其他类似的工具了,如果你知道,欢迎评…