前言 hadoop除了社区版之外,还有两个主流的分支,一个是cdh版本,一个是hdp版本,其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonworks.com/ ambari版块,找到installation ip role os java 10.110.92.148 ambari-master centos-7.2 1.8 10.110.92.161 ambari-agent centos-7.2 1.8 10.110.92.162 amb

前置准备:虚拟机安装以及配置相关 包含安装 centos7.8 虚拟机.设置静态 ip 等 https://www.cnblogs.com/poloyy/category/1703784.html 注意:我用的是 centos 7 官方安装教程 https://about.gitlab.com/install/ 安装 Gitlab 前系统预配置准备工作 关闭 firewalld 防火墙 # 看防火墙状态 systemctl status firewalld # 暂停运行防火墙 systemctl

一.概述 Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是Mysql.Oracle等RDBMS. Sqoop底层用MapReduce程序实现抽取.转换.加载,MapReduce天生的特性保证了并行化和高容错率,而且 相比Kettle等传统ETL工具,任务跑在Hadoop集群上,减少了ETL服务器资源的使用情况.在特定场景下,抽取过程会有很大的性能提升.    如果要用Sqoop,必须正确安装并配置Hadoop,因依赖于本地的hadoop环境启动MR程序:my

先yum install安装如下包: container-selinux-2.21-1.el7.noarch libcgroup-0.41-13.el7.x86_64 libtool-ltdl-2.4.2-22.el7_3.x86_64 libseccomp-2.3.1-3.el7.x86_64 然后rpm -ivh docker-ce-17.06.1-*.el7.centos.x86_64.rpm

1.打开http访问和ssh访问 sudo yum install -y curl policycoreutils-python openssh-server cronie sudo lokkit -s http -s ssh 执行效果: 2.安装Postfix以发送通知电子邮件 sudo yum install postfix sudo service postfix start sudo chkconfig postfix on 3.第三部开始我就没有按照官网的命令去安装了,因为后面安装会出

MongoDB下载地址:https://www.mongodb.com/download-center?_ga=2.98072543.1777419256.1515472368-391344272.1515472368#community 1.解压 tar -zxvf mongodb-osx-ssl-x86_64-3.6.1.tgz 2.创建MongoDB程序目录 mkdir -p /workspace/mongodb cp -R -n mongodb-osx-ssl-x86_64-3.6.1 

1,总结一下docker的安装,其实官网有很全面的资料了,可以自己上面去看,但都是英文的. https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-using-the-repository 2,不知从今年什么时候起,就开始分为社区版和商业版:社区版是用于开发学习的,商业不说你们也懂的. 商业分为三个子版本,都是收费的,widows版本的商业基础版是不收费的,但是在window上很少用docker的,没

使用了大半年的 mongodb ,最近在公司的新项目中应用,在 mac 上安装 mongodb 时发现始终安装不了,一直在报下面这样的错误: brew install mongodb 升级 brew 也不行,这个 mac 机上从未安装过 mongodb,但从错误信息中提示却是要卸载它,真是醉了. 从2019年9月2日开始 ,HomeBrew 也从核心仓库 (#43770) 当中移除了mongodb 模块 不过,幸运的是 mongodb 团队还在维护社区版的 Homebrew,最后还是从Stack

之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,但是cdh使用难度太大了,和开源版本的差距比较大,api不会使用,需要学它的cdk.hdp和开源版差不多,也是经过了优化了的,也是开源的,有一个管理界面,比社区版要好,这个安装过程废了很大的劲儿才搞成功的,发出来跟大家分享一下. hdp的安装折腾了好久,它的下载地址网址不像CDH那么难找,不过它的设置相对CDH简单很多,一键式安装,而且都是免费的软件. 1.首先要下载它们的安装包

转载:http://www.cnblogs.com/cenyuhai/p/3295635.html 整个过程走完,问题不大,不过有一个事情要注意的是就算创建数据库的,使用localhost会报错,要使用集群所在的域名,局部DNS所指定的域名,比如master.example.com 这个问题要注意一下,不过遇到问题了,看日志文件就可以,从日志文件中可以看出大概问题出在什么地方. 之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,

社区版(Visual Studio Community 2015)可供非企业或开源开发者们免费访问: 在线安装exe:http://download.microsoft.com/download/B/4/8/B4870509-05CB-447C-878F-2F80E4CB464C/vs_community.exe离线iso地址:http://download.microsoft.com/download/B/4/8/B4870509-05CB-447C-878F-2F80E4CB464C/vs2

SequoaiDB是一款新型企业级分布式非关系型数据库,提供了基于PC服务器的大规模集群数据平台.作为全球第一家企业级文档式 NoSQL分布式数据库,为用户提供了一个高扩展性.高可用性.高性能.易维护的分布式数据平台,来满足用户对大数据实时分析.降低成本的需求.产品使用 C++开发.官方网站地址是:http://www.sequoiadb.com/,用户可以在此获得更详细的信息. (一)下载安装包: 官方提供的最新版本是:1.3,本文所用的版本就是这个版本(操作系统Ubuntu12.04). 官

 Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapReduce而开发的一系列上层应用软件. hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统.目前支持的超大文件的范围为从MB级至PB级. MapReduce是一种可用于数据处理的编程模型,基于MapReduce模型的程序本质上都是并行运行的.基于MapReduce

Visual Studio 2013 免费了,我收到邮件后,立即从邮件的下载连接安装了 Visual Studio Community 2013 with Update 4 . 安装后几天没打开,今天打开看了一下,是英文版...心想可能要删除重新安装中文版了,到了 Visual Studio 下载页面一看 ,喜出望外!只要再安装一个中文包就可以了. Visual Studio 下载页面是: http://www.visualstudio.com/zh-cn/downloads/download-

Apache Ambari是对Hadoop进行监控.管理和生命周期管理的基于网页的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari支持管理的服务有: Apache HBaseApache HCatalogApache Hadoop HDFSApache HiveApache Hadoop MapReduceApache OozieApache PigApache SqoopApache TempletonApache Zookeeper ambari可以使安装

参考自 https://yeasy.gitbooks.io/docker_practice/install/ubuntu.html#ubuntu-1604- docker-io 是以前早期的版本,版本号是 1.*,最新版是 1.13,而 docker-ce 是新的版本,分为社区版 docker-ce 和企业版 docker-ee 准备工作 系统要求 Docker CE 支持以下版本的 Ubuntu 操作系统: Bionic 18.04 (LTS) Xenial 16.04 (LTS) Trust

0. 环境描述 需求:用VS2017做C++简易开发. 操作系统:Windows 8.1. 1. 下载 MSDN下载VS2017社区版. https://msdn.itellyou.cn/ 下载后: 这是一个在线安装器,将来也可以用来启动或修改VS. 2. 安装 确保网络连通,打开安装器. 进入安装界面,在"工作负载"处可以选择不同的需要灵活安装不同的组件.选错不要紧,将来可以修改. 我的做法:红框必须打勾.如果操作系统低于Win8,绿框不用打勾.Win8/8.1第一个绿框打勾.Win

本文针对redhat或者centos 对于测试集群,如果通过ambari安装Hadoop集群后,想重新再来一次的话,需要清理集群. 对于安装了很多hadoop组件的话,这个工作很繁琐.接下来是我整理的清理过程. 1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX 2,关闭ambari-server,ambari-agent ambari-server stop ambari-agent stop 3,卸载安装的软件 yum remove hadoop_2* h

通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai/p/3295644.html 批量设置ssh无密码登陆脚本 http://www.cnblogs.com/cenyuhai/p/3280668.html 使用Ambari快速部署Hadoop大数据环境 http://www.cnblogs.com/scotoma/archive/2012/09/1

GitLab简介 GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务 GitLab系统架构 当~git在图片中引用时,它表示git用户的主目录,通常是/ home / git. GitLab主要以/home/git用户身份安装在用户主目录中git.在主目录中是gitlabhq服务器软件所在的位置以及存储库(尽管存储库位置是可配置的). 裸存储库位于/home/git/repositories.GitLab是一个ruby on rails应