第一个: 数据类型. 对象的不同属性会用不同的数据类型来描述,如  年龄-->int; 生日 -->date;数据挖掘时也要对不同的类型有不同的对待. 第二个: 数据质量. 数据质量直接影响挖掘结果的质量.一般必须解决数据中的 噪点,离群点,数据遗漏,重复. 第三个: 数据挖掘的预处理步骤. 数据挖掘前要对数据进行处理,一来使得数据适应挖掘技术,二来提高数据的质量,如把连续值转变成 离散值(把年龄 变成中年,老年,青年,少年)以适应挖掘技术,又如要减少对象属性的数目. 第四个: 根据数据之间的…

机器学习 Machine Learning:提供数据分析的能力,机器学习是大数据时代必不可少的核心技术,道理很简单:收集.存储.传输.管理大数据的目的,是为了“利用”大数据,而如果没有机器学习技术分析数据,则“利用”就无从谈起. 数据挖掘 Data mining:数据挖掘是从海量数据中发掘只是,这就比然涉及对海量数据的管理和分析.大体来说,数据库领域的研究为数据挖掘提供数据管理技术,而机器学习和统计学的研究为数据挖掘提供数据分析技术. 统计学:由于统计学的研究成果通常需要经由机器学习研究来形成有…

SPSS Clementine是Spss公司收购ISL获得的数据挖掘工具.在Gartner的客户数据挖掘工具评估中,仅有两家厂商被列为领导者:SAS和SPSS.SAS获得了最高ability to execute评分,代表着SAS在市场执行.推广.认知方面有最佳表现:而SPSS获得了最高的completeness of vision,表明SPSS在技术创新方面遥遥领先. 客户端基本界面 SPSS Clementine(在此简称clementine)在安装好后会自动启用服务,服务端的管理需要使用S…

主要内容来自于<微信公众号:程SIR说> 1 数据挖掘 数据挖掘(Data Mining,简称DM),是指从大量的数据中,挖掘出未知的且有价值的信息和知识的过程. 数据挖掘是一门交叉学科,覆盖了统计学.计算机程序设计.数学与算法.数据库.机器学习.市场营销.数据可视化等领域的理论和实践成果. 2 - 数据挖掘的基本思想 数据挖掘的别名机器学习和统计学习一样,数据挖掘的实质是通过计算机的计算能力在一堆数据中发掘出规律并加以利用的过程. 因此对数据挖掘而言,就需要经历规则学习.规则验证和规则使用的…

谈起商业智能BI,也许大家并不陌生,但你是否了解国内的各类BI系统架构? 自国内商业智能发展以来,就系统结构方面已经历了多次优化性的变革.目前国内商业智能BI系统的经典架构的模式包括数据层.业务层和应用层三部分.数据层基本上就是ETL过程,即数据仓库技术,是将数据从来源端经过抽取.转换.加载至目标端的过程.业务层主要是OLAP(联机分析处理)和Data Mining(数据挖掘)的过程.在应用层里主要包括数据的展示,结果分析和性能分析等过程. 国内大多BI产品的系统架构都是经典架构的衍生,但表现形…

作为一名程序员,对于SQL的使用算是基础中的基础,虽然也写了很多年的SQL,但常常还是记不清一些常见的命令,故而通过一篇博文巩固相关的记忆,并把T-SQL本身的一些新特性再进行一次学习. 首先回顾基础的概念,这部分可以跳过哈,比较枯燥.结构化查询语言SQL是基于集合理论和谓词逻辑的,大学课程中数字逻辑和离散数学主要会涉及这部分的内容. 集合理论是数学家Georg Cantor创建,是基于关系模型的数学分支.集合的定义为,任意集合体是我们感知或者想到的,能够确定的.互异对象m的整体. 谓词逻辑的渊…

1.概述 今天老同事发了一张图片, 结果后面有几个家伙回了“中毒了...”“这是挖墙脚的节奏么”(对了,这个老同事也离职了). 本来也想说上几句的,发现激情难在. 不过,最近了解到DIP.DM.ML.NPL方面的知识.让大脑跑一遍吧. 主题:如何过滤图片? 首先,要做基础的技术点了解. 2.DIP Dip,Digital Image Processing,数字图像处理. 其能够做什么? 图像灰度处理,二值化,反色,分割,投影,识别. 典型应用:验证码识别,车牌号码识别,借助ML可以实现人脸识别库…

学习hadoop,首先我们要知道hadoop是什么? 说到底Hadoop只是一项分布式系统的工具,我们在学习的时候要理解分布式系统设计中的原则以及方法,只有这样才能以不变应万变.再一个就是一定要动手,有什么案例,有什么项目一定要亲自动手去敲. 学习的时候不要害怕遇到问题,问题是最好的老师.其实学习的过程就是逐渐解决问题的过程,当你遇到的问题越来越少的时候,就说明已经学的差不多了. 下面说一下hadoop的学习路线. 1.我们要掌握Linux的安装及基本操作.Python安装及编程基础.java基…

学习hadoop,首先我们要知道hadoop是什么? 说到底Hadoop只是一项分布式系统的工具,我们在学习的时候要理解分布式系统设计中的原则以及方法,只有这样才能以不变应万变.再一个就是一定要动手,有什么案例,有什么项目一定要亲自动手去敲. 学习的时候不要害怕遇到问题,问题是最好的老师.其实学习的过程就是逐渐解决问题的过程,当你遇到的问题越来越少的时候,就说明已经学的差不多了. 下面说一下hadoop的学习路线. 1.我们要掌握Linux的安装及基本操作.Python安装及编程基础.java基…

企业级BI是自研还是采购? 上一篇<企业级BI为什么这么难做?>,谈到了企业级BI项目所具有的特殊背景,以及在"破局"方面的一点思考,其中谈论的焦点主要是在IT开发项目组外部.本篇会再谈一谈在开发项目组内部,应该如何选择企业级BI的实施方案:是自主研发还是采购商业BI产品? (写在前面的话:如果你所在的企业预算非常充足,并且处于BI项目的初创期,那么这个问题不存在,后文可以直接略过,以节省大家宝贵的时间.) 接下来会分别从商业BI产品的系统架构和自研技术方案进行介绍与对比.…