出于安全稳定考虑很多业务都需要服务器服务器Hadoop+Hive搭建,但经常有人问我,怎么去选择自己的配置最好,今天天气不错,我们一起来聊一下这个话题. Hadoop+Hive环境搭建 1虚拟机和系统安装+JDK环境 JDK安装采用二进制包压缩方式(解压之后就是直接可用了,但需要修改环境变量,使其任何路径下都可行) 修改/etc/profile,~/.bashrc 配置文件,修改环境变量. 2 Hadoop安装 Hadoop安装采用二进制文件压缩方式 三种方式 1 单机:修改 环境变量使得Had…

最近有个需求,需要整合所有店铺的数据做一个离线式分析系统,曾经都是按照店铺分库分表来给各自商家通过highchart多维度展示自家的店铺经营 数据,我们知道这是一个以店铺为维度的切分数据,非常适合目前的在线业务,这回老板提需求了,曾经也是一位数据分析师,sql自然就溜溜的,所以就 来了一个以买家维度展示用户画像,从而更好的做数据推送和用户行为分析,因为是离线式分析,目前还没研究spark,impala,drill了. 一:搭建hadoop集群     hadoop的搭建是一个比较繁琐的过程,采用…

微软的Windows Server 2012发布后,第一时间进行了简单的试用,非常不错,特写了个简易的PHP环境搭建教程.先来欣赏下Win2012的登录界面吧第一步我们需要安装IIS81.点击任务栏最左边第一个图标,打开任务管理器,会看到一个"添加角色和功能"的入口,点开2.选择"基于角色或基于功能的安装",然后点击下一步3.在服务器选择界面选择当前服务器,并点击下一步4.服务器角色选择界面我们选择IIS,并点击下一步5.接下来需要连续多点两次下一步,然后来到&qu…

前言: OnlineJudge(OJ)是一种代码在线判定平台,这里有许多的编程题目供你选择,你可以选择题目提交代码,OJ会自动返回你的代码的判定结果.是一种很方便的编程.算法练习平台.详情可见:百度百科 - OJ 自己搭建OJ往往很困难,购买服务器,域名,OJ配置…… 这些资金和技术壁垒无不让很多有志之士望洋兴叹.现在提供一种方便.低成本的OJ搭建方法,可以亲自体验一把自己搭建OJ.加题.设置比赛.提交代码.AC从头到尾的搭建快感.新浪云平台支持HUSTOJ,下面就给出本人在新浪云上搭建HUST…

最近搞了个阿里云服务器 想着需要用这个服务器学点东西,故而想着把自己之前写的网站能部署上去,虽然自己是做前端移动开发,但是对这个服务器的东西也很感兴趣 第一步 配置阿里云入口规则 如图开放81 80 8000-9999端口 剩下的1701和1723端口是VPN开放的端口 可以忽略 第二步 如图服务器需要配置IIS服务,左边右键点击添加角色,之后选择web服务器(IIS),把这安装上.这个我就不给教程了,网上有很多 第三步 在磁盘新建一个文件夹,然后将你的网站放进去 如图 第四步 打开IIS管理器…

最近接了个人脸识别相关的项目,是基于某个非常简单易懂的人脸识别 API:face_recognition 做的.这个库接口非常傻瓜,很适合新手上手,而且可以研究其源码来学习 dlib 这个拥有更加灵活.强大的人脸识别功能的库.本文介绍了该 API 的环境配置和一个简单例程. 从源代码编译安装 Cmake 准备工作 访问 Cmake官网下载页面,下载最新的发布版本. 例如,当前最新版本为 cmake-3.14.1,则我们可以直接下载.解压或用命令行: wget https://github.com…

一.前言 Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.接下来我们使用的是Hive Hive简介 Hive 是一个基于 Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.    它把海量数据存储于 hadoop 文件系统,而不是数据库…

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以…

前言 在搭建大数据Hadoop相关的环境时候,遇到很多了很多错误.我是个喜欢做笔记的人,这些错误基本都记载,并且将解决办法也写上了.因此写成博客,希望能够帮助那些搭建大数据环境的人解决问题. 说明: 遇到的问题以及相应的解决办法是对于个人当时的环境,具体因人而异.如果碰到同样的问题,本博客的方法无法解决您的问题,请先检查环境配置问题. Hadoop伪分布式相关的问题 1,FATAL conf.Configuration: error parsing conf hdfs-site.xml 原因:…

目录: 准备工作 Centos安装 mysql Centos安装Hadoop Centos安装hive JDBC远程连接Hive Hbase和hive整合 Centos安装Hbase 准备工作: 配置/etc/hosts 127.0.0.1 localhost localhost.localdomain 192.168.0.120 centos 集中修改/etc/profile export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/ export JRE_HOME=…