之前的主成分分析和因子分析中,收集的变量数据都是连续型数值,但有时会碰到分类数据的情况,我们知道最优尺度变换可以对分类变量进行量化处理,如果将这一方法和主成分分析相结合,就称为了基于最优尺度变换的主成分分析法(CATPCA),在市场研究中,又称为多维偏好分析(MPA),该方法由于引入了最优尺度变换,使其对数据的适应能力大大加强,不仅可以分析连续型数据,还可以分析有序.无序分类数据,并且图形展示的能力也得到加强,这非常适合市场研究使用. 多维偏好分析主要用于分析消费者对商品的偏好倾向,并通过感知图

在之前介绍的线性回归模型中,有一个隐含的假设是自变量均为连续变量,但实际上自变量有时候是分类变量,类似于方差分析中的因素,这种分类自变量在回归分析中,也默认作为连续变量使用,这就会产生一个问题,如果是无序分类变量,那么各类别间没有高低之分,每变化一个单位,对于因变量的影响是相同的,无法分析当中的趋势,虽然可以使用哑变量,但是当分类变量过多或每个变量的类别水平过多时,这种方法非常繁琐,此外,当类别较多时,可能会存在某几个类别对因变量的作用相似,这是可分析的点,但是传统线性模型却将此信息忽略,造成信

传统的典型相关分析只能考虑变量之间的线性相关情况,且必须为连续变量,而我们依然可以使用最优尺度变换来拓展其应用范围,使其可以分析非线性相关.数据为分类数据等情况,并且不再仅限于两个变量间的分析, 虽然具体算法非常复杂,但是过程却只要两步,首先对变量进行最优尺度变换,然后对其进行典型相关分析. 我们还是以之前的多重对应分析的案例数据进行分析 过程还是在分析—降维—最佳尺度

在市场研究中,有一种分析是研究消费者态度或偏好,收集的数据是某些对象的评分数据,这些评分数据可以看做是对象间相似性或差异性的表现,也就是一种距离,距离近的差异性小,距离远的差异性大.而我们的分析目的也是想查看这些对象间的差异性或相似性情况,此时由于数据的组成形式不一样,因此不能使用对应分析,而需要使用一种专门分析此问题的方法——多维尺度分析(MDS模型).多维尺度分析和对应分析类似,也是通过可视化的图形阐述结果,并且也是一种描述性.探索性数据分析方法. 基于以上,我们可以得知,多维尺度分析经常使

最近在学习JVM和GC调优,今天总结下CMS的一些特点和要点,让我们先简单的看下整个堆年轻代和年老代的垃圾收集器组合(以下配合java8完美支持,其他版本可能稍有不同),其中标红线的则是我们今天要着重讲的内容: 垃圾回收器的可用组合: ParNew and CMS "Concurrent Mark and Sweep" 是CMS的全称,官方给予的名称是:“Mostly Concurrent Mark and Sweep Garbage Collector”; 年轻代:采用 stop-t

 一.Redis介绍 Redis是一个开源的,基于内存的结构化数据存储媒介,可以作为数据库.缓存服务或消息服务使用.Redis支持多种数据结构,包括字符串.哈希表.链表.集合.有序集合.位图.Hyperloglogs等.Redis具备LRU淘汰.事务实现.以及不同级别的硬盘持久化等能力,并且支持副本集和通过Redis Sentinel(哨兵)实现的高可用方案,同时还支持通过Redis Cluster(集群)实现的数据自动分片能力. Redis的主要功能都基于单线程模型实现,也就是说Redis使用

首先查看服务器版本默认信息: 修改tomcat/bin/catalina.sh,在最顶端加入JAVA_OPTS="$JAVA_OPTS -XX:+PrintGCDetails -Xloggc:/usr/local/java/apache-tomcat-7.0.78/bin/gc.log" 随后在 -Xloggc指定路径下,打开gc.log,部分信息如下: Java HotSpot(TM) 64-Bit Server VM (25.144-b01) for linux-amd64 JRE

本文源码:GitHub·点这里 || GitEE·点这里 一.服务器性能简介 1.性能定义 服务器性能优化是一项非常艰巨的任务,当然也是很难处理的问题,在写这篇文章的时候,特意请教下运维大佬,硬件工程师,数据库管理,单从自己的实际开发经验来看,看待这个问题的角度起码是不全面的. 补刀一句:在公司靠谱少撕逼,工程师这个群体是很好交朋友的,互相学习一起进步,升职加薪他不好吗? 服务性能定义:完成一个任务或者处理一次接口请求所需要的时间,这个时间是指响应完成时间,即请求发出,到页面响应回显结束,这是看

根据CPU架构oprofile采样的触发有两种模式:1) NMI模式: 利用处理器的performance counter功能, 指定counter的类型type和累进数量count. 比如 type=DTLB_MISS, count=500, 代表"Data TLB miss"每发生500次, 会触发一次中断. Oprofile.ko模块会相应这个中断, 然后看当前正在执行的是什么指令,那个函数, 那个模块(或者app, lib), 并进行计数. 不同的处理器支持的counter类型

一. 概述 在生产数据库运行期间,有时我们需要查看当前用户会话状态或者是说数据库当前是否运行良好, 应用的场景比如:当运行的应用系统响应突然变慢时需要分析数据库的.或想分析当前的数据库是否繁忙,是否有长时间的等待, 又或者执行一个sql的回滚状态查看,想手动kill掉一个会话时 等等.都需要从当前的会话状态去分析. 这篇主要介绍sys.sysprocesses 函数,这里面包含了当前用户大量的信息,如会话进程有多少,等待时间,open_tran有多少事务,阻塞会话是多少等  整体内容更为详细是一

前言 最近在学习ConcurrentHashMap的源码,发现它采用了一种比较独特的方式对map中的元素数量进行统计,自然是要好好研究一下其原理思想,同时也能更好地理解ConcurrentHashMap本身. 本文主要思路分为以下4个部分 1.计数的使用效果 2.原理的直观图解 3.源码的细节分析 4.思想的抽象 学习的入口自然是map的put方法 public V put(K key, V value) { return putVal(key, value, false); } 查看putVa

卡方检验只能对两个分类变量之间是否存在联系进行检验,如果分类变量有多个水平的话,则无法衡量每个水平间的联系.对此,虽然可以使用逻辑回归进行建模,但是如果分类变量的水平非常多,就需要分别设定哑变量,这样对于操作和解释都非常繁琐.而对应分析则是专门解决上述问题的方法,它特别擅长对两个分类变量的多个水平之间的对应性进行分析.常用于市场细分.产品定位.品牌形象及满意度研究. 对应分析最大的特点是通过直观的图形方式,展现分类变量不同水平之间的联系,水平越多,效果越好. 对应分析是一种多元统计分析方法,由于

首先说一下什么是离散化以及连续变量离散化的必要性. 离散化是把无限空间中无限的个体映射到有限的空间中去,通俗点讲就是把连续型数据切分为若干“段”,也称bin,离散化在数据分析中特别是数据挖掘中被普遍采用,主要原因有: 1.算法需要.有些数据挖掘算法不能直接使用连续变量,必须要离散化之后才能纳入计算,在数据挖掘软件中,表面上看可以直接使用连续变量进行计算,实际上在软件后台已经对其进行了离散化预处理. 2.降低异常数据的敏感度,使模型更加稳定.我们知道极端值和异常值会使模型参数拟合的不准确,误差过大

编辑 SPSS(Statistical Product and Service Solutions),“统计产品与服务解决方案”软件.最初软件全称为“社会科学统计软件包” (SolutionsStatistical Package for the Social Sciences),但是随着SPSS产品服务领域的扩大和服务深度的增加,SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方 案”,这标志着SPSS的战略方向正在做出重大调整.SPSS为IBM公司推出的一系列用于统计学分析

PCA(principle component analysis)主成分分析 理论依据 最大方差理论 最小平方误差理论 一.最大方差理论(白面机器学习) 对一个矩阵进行降维,我们希望降维之后的每一维数据能够有大的方差. 为什么呢? 因为每一维的方差越大,说明数据之间区分度高,想象一个极端的情况,降维之后的数据集所有维度 都是一样的值,方差为0,那么数据就没什么意义了,因为退化成了一条数据. 二维图生动形象 推导过程    对于n个样本,m维特征 (v1, v2, v3 ... vn), vi是m

一步步教你轻松学主成分分析PCA降维算法 (白宁超 2018年10月22日10:14:18) 摘要:主成分分析(英语:Principal components analysis,PCA)是一种分析.简化数据集的技术.主成分分析经常用于减少数据集的维数,同时保持数据集中的对方差贡献最大的特征.常常应用在文本处理.人脸识别.图片识别.自然语言处理等领域.可以做在数据预处理阶段非常重要的一环,本文首先对基本概念进行介绍,然后给出PCA算法思想.流程.优缺点等等.最后通过一个综合案例去实现应用.(本文原

机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达, y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的).f可能是显式的或隐式的.线性的或非线性的.使用降维的原因: 压缩数据以减少存储量. 去除噪声的影响 从数据中提取特征以便于进行分类 将数据投影到低维可视空间,以便于看清数据的分布 变量(特征)数量相对数据条数有可能过大,从而不符合某些模型的需求.打

众所周知软件执行效率受制于硬件性能,市面上的APS产品多为单机版本,企业要应用好APS,保证紧急插单.计划下发全程无忧,用户电脑硬件性能是不容忽视的一大瓶颈.APS的直接用户是车间管理人员.计划员,而这些用户的办公电脑计算能力一般只能满足日常办公需求,在享受APS带来灵活调整计划的满满幸福感同时排计划的漫长等待时间也令计划员痛苦不堪. 传统APS提供的解决方案有两种:一是更新办公电脑,换上主流PC.二是在远程服务器上使用APS系统.两者各有弊端.前者更新PC需要消耗企业经费,若多车间多工厂多部门

众所周知软件执行效率受制于硬件性能,市面上的APS产品多为单机版本,企业要应用好APS,保证紧急插单.计划下发全程无忧,用户电脑硬件性能是不容忽视的一大瓶颈.APS的直接用户是车间管理人员.计划员,而这些用户的办公电脑计算能力一般只能满足日常办公需求,在享受APS带来灵活调整计划的满满幸福感同时排计划的漫长等待时间也令计划员痛苦不堪. 传统APS提供的解决方案有两种:一是更新办公电脑,换上主流PC.二是在远程服务器上使用APS系统.两者各有弊端.前者更新PC需要消耗企业经费,若多车间多工厂多部门

PCA(主成分分析法) 1. PCA(最大化方差定义或者最小化投影误差定义)是一种无监督算法,也就是我们不需要标签也能对数据做降维,这就使得其应用范围更加广泛了.那么PCA的核心思想是什么呢? 例如D维变量构成的数据集,PCA的目标是将数据投影到维度为K的子空间中,要求K<D且最大化投影数据的方差.这里的K值既可以指定,也可以利用主成分的信息来确定. PCA其实就是方差与协方差的运用. 降维的优化目标:将一组 N 维向量降为 K 维,其目标是选择 K 个单位正交基,使得原始数据变换到这组基上后,