用SQL玩转数据挖掘之MADlib（一）——安装

一.MADlib简介 MADlib是Pivotal公司与伯克利大学合作的一个开源机器学习库,提供了精确的数据并行实现.统计和机器学习方法对结构化和非结构化数据进行分析,主要目的是扩展数据库的分析能力,可以非常方便的加载到数据库中, 扩展数据库的分析功能,2015年7月MADlib成为Apache软件基金会的孵化项目,其最新版本为MADlib1.11,可以用在Greenplum.PostgreSQL和HAWQ等数据库系统中. 1. 设计思想驱动MADlib架构的主要思想与Hadoop是一致的,主…

HAWQ + MADlib 玩转数据挖掘之（五）——奇异值分解实现推荐算法

一.奇异值分解简介奇异值分解简称SVD(singular value decomposition),可以理解为:将一个比较复杂的矩阵用更小更简单的三个子矩阵的相乘来表示,这三个小矩阵描述了大矩阵重要的特性.SVD的用处有很多,比如:LSA(隐性语义分析).推荐系统.数据降维.信号处理与统计等. 任何矩阵都可以使用SVD进行分解,对于一个MxN(M>=N)的矩阵M,存在以下的SVD分解: ∑是一个对角矩阵,其中的元素值就是奇异值,并且按照从大到小的顺序排列. 在很多情…

HAWQ + MADlib 玩转数据挖掘之（四）——低秩矩阵分解实现推荐算法

一.潜在因子(Latent Factor)推荐算法本算法整理自知乎上的回答@nick lee.应用领域:"网易云音乐歌单个性化推荐"."豆瓣电台音乐推荐"等. 这种算法是在NetFlix(没错,就是用大数据捧火<纸牌屋>的那家公司)的推荐算法竞赛中获奖的算法,最早被应用于电影推荐中,在实际应用中比现在排名第一的 @邰原朗所介绍的算法误差(RMSE)会小不少,效率更高.下面仅利用基础的矩阵知识来介绍下这种算法. 该算法的思想是…

HAWQ + MADlib 玩转数据挖掘之（一）——安装

安装了SQL2005再安装SQL 2008R2，提示此计算机上安装了 Microsoft Visual Studio 2008 的早期版本和检查是否安装了 SQL Server 2005 Express 工具的解决方案

工作电脑上安装了SQL 2005, 但是客户电脑上安装的是SQL 2008R2,有时候连接他们的库调试没法连接,很不方便.然后又安装了个SQL2008 R2,期间遇到这两个问题,网上搜索了一下收到了解决方案,不用安装VS 2008 SP1,不用卸载SQL Server 2005 Express 工具,只需要修改注册表即可. 提示错误:此计算机上安装了 Microsoft Visual Studio 2008 的早期版本.请在安装 SQL Server 2008 前将 VS2008 升级到 SP1…

拇指玩」制作的「谷歌安装器」app

作者:匿名用户链接:https://www.zhihu.com/question/57468448/answer/153000587来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 先说Google 服务框架Google 服务框架全称 Google Mobile Service,其中包括了应用包,也就是我们希望用到的各种 Google 应用.Android 虽然开源且自由,但 Google 的应用程序并不包含其中,它们都属于 Google 的知识产权.所以厂家们预装…

windows下mongodb基础玩法系列一介绍与安装

windows下mongodb基础玩法系列 windows下mongodb基础玩法系列一介绍与安装 windows下mongodb基础玩法系列二CURD操作(创建.更新.读取和删除) windows下mongodb基础玩法系列二CURD附加一为什么是mongodb? 昨天开始涉及到一个比较陌生的领域,搜了一下相关的学习资料,不能找到很好的解决方案,昨晚回去恶补了一些官网文档(最好的资料莫过于该知识的官方文档).至于具体为什么对于我来说还没有发言权,知识借用一个话来描述一下.Welcome to…

sql server 2008R2无人值守批处理脚本自动化安装

▲版权声明:本文为博主原创文章,未经博主允许不得转载. Microsoft SQL Server 2008 R2是一款软件,提供完整的企业级技术与工具,帮助您以最低的总拥有成本获得最有价值的信息.您可以充分享受高性能,高可用性,高安全性,使用更多的高效管理与开发工具,利用自服务的商业智能实现更为广泛深入的商业洞察. 1.所需工具需要7Z解压工具,SQLserver2008R2光盘镜像文件,sql 2008密钥,sxs(.net3.5相关组件包) 2.准备工作需要通过sqlserver导出一份…

sql server2014企业版无人值守批处理脚本自动化安装

▲版权声明:本文为博主原创文章,未经博主允许不得转载. SQL Server系列软件是Microsoft 公司推出的关系型数据库管理系统.2014年4月16日于旧金山召开的一场发布会上,微软CEO萨蒂亚·纳德拉宣布正式推出“SQL Server 2014”. SQL Server 2014版本提供了企业驾驭海量资料的关键技术in-memory增强技术,内建的In-Memory技术能够整合云端各种资料结构,其快速运算效能及高度资料压缩技术,可以帮助客户加速业务和向全新的应用环境进行切换. 同时提供…

sql sever和mysql 卸载及oracle安装

sql sever和mysql的卸载及Oracle安装目的:本人健忘,以后难免会重装系统啥的,软件卸了装是常有的事,特此写此详细教程,一是方便自己以后重装的时候可以看看:二是如果有某位初学者有幸光临,也可以给一点参照. sql sever版本:2016 1.sql sever 的卸载下面是删除c盘中的sql相关文件然后打开注册表(开始键+R打开下面界面,然后输入regedit 找到 HKEY_CURRENT_USER---Software----Microsoft下的Microsoft S…

HAWQ + MADlib 玩转数据挖掘之（七）——关联规则方法之Apriori算法

一.关联规则简介关联规则挖掘的目标是发现数据项集之间的关联关系,是数据挖据中一个重要的课题.关联规则最初是针对购物篮分析(Market Basket Analysis)问题提出的.假设超市经理想更多地了解顾客的购物习惯,特别是想知道,哪些商品顾客可能会在一次购物时同时购买?为回答该问题,可以对商店的顾客购买记录进行购物篮分析.该过程通过发现顾客放入"购物篮"中的不同商品之间的关联,分析顾客的购物习惯.这种关联的发现可以帮助零售商了解哪些商品频繁地被顾客同时购买,从而帮助他们开发更好的…

HAWQ + MADlib 玩转数据挖掘之（六）——主成分分析与主成分投影

一.主成分分析(Principal Component Analysis,PCA)简介在数据挖掘中经常会遇到多个变量的问题,而且在多数情况下,多个变量之间常常存在一定的相关性.例如,网站的"浏览量"和"访客数"往往具有较强的相关关系,而电商应用中的"下单数"和"成交数"也具有较强的相关关系.这里的相关关系可以直观理解为当浏览量较高(或较低)时,应该很大程度上认为访客数也较高(或较低).这个简单的例子中只有两个变量,当变量个数…

HAWQ + MADlib 玩转数据挖掘之（二）——矩阵

矩阵是Madlib中数据的基本格式,通常是二维的.在Madlib中,数组的概念与向量类似,数组通常是一维的,是矩阵的一种特殊形式. 一.矩阵表示 MADlib为矩阵提供了两种表示形式:稠密和稀疏. 1. 稠密矩阵被表示为一维数组的分布式集合,例如3x10的矩阵如下表: row_id | row_vec --------+------------------------- 1 | {9,6,5,8,5,6,6,3,10,8} 2 | {8,2,2,6,6,10,2,1,9,9} 3 | {3,9…

HAWQ + MADlib 玩转数据挖掘之（三）——向量

一.定义这里不讨论向量严格的数学定义.在Madlib中,可以把向量简单理解为矩阵.矩阵是Madlib中数据的基本格式,当矩阵只有一维时,就是向量,1行n列的矩阵称为行向量,m行1列的矩阵称为列向量,1行1列的矩阵称为标量. 二.线性代数函数 Madlib的线性代数模块(linalg module)包括基本的线性代数操作的实用函数.利用线性代数函数可以很方便地实现新算法.这些函数操作向量(1维FLOAT8数组)和矩阵(2维FLOAT8数组).注意,这类函数只接受FLOAT8数组参数,因此在调用函…

数据挖掘算法Analysis Services-基于SQL Server的数据挖掘

数据挖掘算法(Analysis Services – 数据挖掘) data mining algorithm is a set of heuristics and calculations that creates a data mining model from data.” xml:space=”preserve”>“数据挖掘算法”是根据数据创建数据挖掘模型的一组试探法和计算. 为了创建模型,算法将首先分析您提供的数据,并查找特定类型的模式和趋势. 算法使用此分析的结果来定义用于创建挖掘模型…

在 SQL Server 中从完整路径提取文件名(sql 玩转文件路径)

四个函数: --1.根据路径获取文件名 -- ============================================= -- Author: Paul Griffin -- Create date: 18 January 2015 -- Description: Returns a filename with extension -- from a full path: -- D:\Temp\Resources\Images\My.Picture.jpg -- ==> My.P…

PL/SQL远程连接Oracle的方式,无需安装客户端

第一次用PL/SQL Developer这个非官方的软件,遇到了种种困难,幸好通过万能的Google已经全部解决,记录下来备察．前提是保证你的远程oracle服务器一切正常．微软客户端设置使用oracle免费发放的instant client来代替oracle client,免去了安装的麻烦,下载instantclient-basiclite-nt-11.2.0.2.0.zip解压到你想要放到的任何目录,如:D:\oracle\instantclient_11_2,创建一个名叫tnsn…

【SQL】SQL2012离线帮助文档安装不上的处理手记

注:解决方法在最后,心急的童鞋可以直接往下滚动. 我SQL实例装的是2008 R2版,由于该版自带的SSMS(Microsoft SQL Server Management Studio 管理工具)存在一些操蛋问题,例如: - 文本编辑器中对矩形文本块(alt+鼠标左键选取)的操作支持不好,例如不能多行批量键入,块粘贴之类 - 复制结果集时,cell中的回车换行会变为两个空格,不能准确得到cell的值,这点尤为操蛋于是我安装了独立版的SSMS 2014(https://www.microsof…

安装SQL SERVER2005时，需要win7下安装IIS，记录下

安装SQL server2005 时,需要先安装IIS,这里描述win7系统下配置IIS的方法. 虽然很多文章都有写过,这里只是重复一下关键是IIS组件全都勾选上,如果没有全部勾选上,IIS组件没有安装成功的…

SQL Sever 2012版本数据库的完全安装流程

首先安装SQL Sever 2012数据库,我们要下载好安装包.将安装包存储在磁盘中. 安装前将杀毒软件和相关安全的软件等退出,以免造成安装中的错误. 安装环境:Win7 64位操作系统注:SQL Server 2012安装的硬件和软件的环境. 软件环境:SQL Server 2012支持包括,Windows 7.Windows Server 2008 R2.Windows Server 2008 Service Pack 2和Windows Vista Service Pack 2. 硬件环…

安装SQL Server时，提示VS Shell 安装失败，退出代码为 1638。

在安装SQL Server时,提示“安装 Microsoft Visual C++ 2015 Redistributable 时出错VS Shell 安装失败,退出代码为 1638”. 原因:是由于你系统里已经安装了高于Microsoft Visual C++ 2015 Redistributable的版本,比如,在安装VS2017时,会默认安装Microsoft Visual C++ 2017 Redistributable,版本不兼容,造成错误. 解决办法:在控制面板->程序->卸载程序(…

Sql Server Compact 4.0数据库部署安装

Sql Server Compact 4.0相比3.5版本增强了很多,支持Entity Framework 4.1,对于轻量级应用来讲,使用Sql Server Compact 4.0是个很好的选择,而且部署相当方便,不需要 Sql Server Compact 4.0的安装包,仅需要发布相关的dll以及web.config配置即可. 开发环境下,需要安装 vs2010 sp1 Microsoft SQL Server Compact 4.0 Visual Studio 2010 SP1 Too…