build hadoop, spark, hbase cluster
1,something:
1,arc land
506 git branch
507 git status
508 git reset multicloud/qcloud/cluster_management/spark_cluster/dependent_file/spark-1.6.2-bin-hadoop2.6.tgz
509 git status
510 git add multicloud/qcloud/tools/ssh.py
511 git status
512 git log
513 git commit -a
514 git status
515 git log
516 git pull --rebase origin master
517 git log
518 arc diff
519 arc diff
520 history
git checkout -b test1
432 git status
433 git branch
434 ls
435 cd core/
436 ls
437 cd ..
438 cd multicloud/
439 ls
440 cd qcloud/
441 ls
442 cd ..
443 cd ..
444 ls
445 ls multicloud/qcloud/spark_cluster/README.md
446 vim multicloud/qcloud/spark_cluster/README.md
447 git branch
448 git status
449 git commit -a 'test1'
450 git commit -a
451 git log
452 clear
453 git pull --rebase origin master
454 arc diff
455 pwd
456 arc help
457 source ~/.bashrc
458 arc
459 arc help
460 ls ~/.bashrc
461 arc diff
462 arc diff
463 arc land
2,ssh aliyun
ssh -i aliyun.pem root@101.201.233.28
chmod 600 aliyun.pem
3,ssh免密码登录
(1)
ssh-keygen -t rsa
scp -i ~/aliyun.pem id_rsa.pub root@172.17.148.92:~/.ssh
(2)in 172.17.148.92
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys
http://blog.csdn.net/m15851813962/article/details/53150967
4,docker
docker exec -it ssss /bin/bash
5, scp:
scp -i ~/work/keys/alicloud.pem * hadoopmaster:/root
6, firewall
systemctl stop firewalld
7,auto build command
spark:
python auto_build_spark.py -f /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/dev_conf/alicloud_dev_spark_cluster_conf.json -k /Users/chunyueli/work/keys/alicloud.pem -F /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/restart_qcloud_cluster.py -i 114.240.80.157 -a restart
hadoop
python auto_build_hadoop.py -f /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/dev_conf/alicloud_dev_hadoop_cluster_conf.json -k /Users/chunyueli/work/keys/alicloud.pem -F /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/restart_qcloud_cluster.py -i 114.240.85.26
8, docker command
build hadoop, spark, hbase cluster的更多相关文章
- java+hadoop+spark+hbase+scala+kafka+zookeeper配置环境变量记录备忘
java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102 expor ...
- 基本环境安装: Centos7+Java+Hadoop+Spark+HBase+ES+Azkaban
1. 安装VM14的方法在 人工智能标签中的<跨平台踩的大坑有提到> 2. CentOS分区设置: /boot:1024M,标准分区格式创建. swap:4096M,标准分区格式创建. ...
- Hadoop+Spark+Hbase部署整合篇
之前的几篇博客中记录的Hadoop.Spark和Hbase部署过程虽然看起来是没多大问题,但是之后在上面跑任务的时候出现了各种各样的配置问题.庆幸有将问题记录下来,可以整理出这篇部署整合篇. 确保集群 ...
- Docker搭建大数据集群 Hadoop Spark HBase Hive Zookeeper Scala
Docker搭建大数据集群 给出一个完全分布式hadoop+spark集群搭建完整文档,从环境准备(包括机器名,ip映射步骤,ssh免密,Java等)开始,包括zookeeper,hadoop,hiv ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- 大数据学习系列之六 ----- Hadoop+Spark环境搭建
引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...
- hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置
配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 ...
- HADOOP+SPARK+ZOOKEEPER+HBASE+HIVE集群搭建(转)
原文地址:https://www.cnblogs.com/hanzhi/articles/8794984.html 目录 引言 目录 一环境选择 1集群机器安装图 2配置说明 3下载地址 二集群的相关 ...
- Hadoop zookeeper hbase spark phoenix (HA)搭建过程
环境介绍: 系统:centos7 软件包: apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz 下载链接:http://mirror.bit.edu.cn/apac ...
随机推荐
- python-线程池的两种实现方式 【转载】
#!/usr/bin/env python # -*- coding:utf-8 -*- import queue import threading import contextlib import ...
- opencv:Mat对象
Mat对象:图像文件的内存数据对象 读取为 Mat 对象 读取图像位Mat对象,获取图像的相关信息 #include <opencv2/opencv.hpp> #include <i ...
- bugku 过狗一句话
题目描述: 题目描述: 上面的php进行格式化之后: <?php $poc="a#s#s#e#r#t"; ...
- 控制反转(IOC)和依赖注入(DI)
控制反转(IOC)和依赖注入(DI)IoC(Inversion of Control,控制反转) 是Spring 中一个非常非常重要的概念,它不是什么技术,而是一种解耦的设计思想.它的主要目的是借助于 ...
- netty(二)---客户端连接
概述 先了解一下 netty 大概框架图 ,可以看到客户端的创建和服务端最大的区别 - 服务端传入两个 EventLoopGroup,客户端传入一个 EventLoopGroup - channel ...
- Arrays.asList() 踩坑
该方法是将 数组转化为list,但转换后的list集合,不支持add 和 remove 代码如下: 阅读相关: 本类演示了Arrays类中的asList方法 (1) 该方法对于基本数据类型的数组支持 ...
- 【PAT甲级】1077 Kuchiguse (20 分)(cin.ignore()吃掉输入n以后的回车接着用getine(cin,s[i])输入N行字符串)
题意: 输入一个正整数N(<=100),接着输入N行字符串.输出N行字符串的最长公共后缀,否则输出nai. AAAAAccepted code: #include<bits/stdc++. ...
- 提高Scrapy爬取效率
1.增加并发: 默认scrapy开启的并发线程为32个,可以适当进行增加.在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100. 2.降低 ...
- 获取 python linux Home目录
#! /usr/bin/python # -*- coding: utf-8 -*- import os print os.environ['HOME'] print os.path.expandva ...
- 《JavaScript高级程序设计》读书笔记(三)基本概念第二小节 Number类型
内容---语法 上一小节---数据类型 本小节 number类型---流程控制语句---理解函数 number类型--使用IEEE754格式来表示整数和浮点数值(双精度数值)--规定了数值字面量格式, ...