启动hadoop
cd /usr/local/hadoop/hadoop
$hadoop namenode -format # 启动前格式化namenode
$./sbin/start-all.sh
检查是否启动成功
[hadoop@hadoop1 hadoop]$ jps
16855 NodeManager
16999 Jps
16090 NameNode
16570 ResourceManager
16396 SecondaryNameNode
[hadoop@hadoop1 hadoop]$
/usr/local/hadoop/hadoop
[hadoop@hadoop2 hadoop]$ jps
1378 NodeManager
1239 DataNode
1528 Jps
[hadoop@hadoop2 hadoop]$ 停止
$./sbin/stop-all.sh 启动spark
cd /usr/local/hadoop/spark/
./sbin/start-all.sh 检查是否启动成功
[hadoop@hadoop1 spark]$ jps
16855 NodeManager
17223 Master
17447 Jps
17369 Worker
16090 NameNode
16570 ResourceManager
16396 SecondaryNameNode
[hadoop@hadoop1 spark]$
[hadoop@hadoop2 spark]$ jps
1378 NodeManager
1239 DataNode
2280 Worker
2382 Jps
[hadoop@hadoop2 spark]$ 停止
$./sbin/stop-all.sh

  

pyspark_mongo复制集_hdfs_hbase

启动mongo复制集
[
/usr/local/mongodb/安装后,初始化
mkdir -p /mnt/mongodb_data/{data,log};
mkdir conf/;
vim /usr/local/mongodb/conf/mongod.conf; [
mv /mnt/mongodb_data/data /mnt/mongodb_data/data$(date +"%Y%m%d_%H%I%S"); mkdir /mnt/mongodb_data/data;
]
``
bind_ip=0.0.0.0
port=
dbpath=/mnt/mongodb_data/data
logpath=/mnt/mongodb_data/log/mongod.log
pidfilepath=/usr/local/mongodb/mongo.pid
fork=true
logappend=true scp /usr/local/mongodb/conf/mongod.conf root@hadoop2:/usr/local/mongodb/conf/; 启动服务
/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/mongod.conf
进入读写窗设置admin账号
/usr/local/mongodb/bin/mongo
use admin;
db.createUser(
{
user: "admin",
pwd: "admin123",
roles: [ { role: "userAdminAnyDatabase", db: "admin" } ,"clusterAdmin"]
}
); 检验是否添加成功
db.getUsers()
关闭服务mongod
db.shutdownServer()
退出mongo
exit 对配置文件加入ip限制和复制集配置
vim /usr/local/mongodb/conf/mongod.conf;
replSet=repl_test
keyFile=/usr/local/mongodb/conf/keyFile
shardsvr=true
directoryperdb=true /usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/mongod.conf
进入任一节点mongo窗,进入读写
/usr/local/mongodb/bin/mongo
use admin;
db.auth("admin","admin123");
设置复制集
rs.status();
rs.();
rs.status();
rs.add("hadoop2:27017");
rs.status();
复制集无误后,库表、角色、用户设计; use pyspark;
db.createUser(
{
user: "pyspark_admin",
pwd: "admin123",
roles: [ "readWrite", "dbAdmin" ]
}
);
db.getRoles();
db.getUsers(); db.auth("pyspark_admin","admin123");
show collections;
db.createCollection('direct_ad_consume');
db.createCollection('sem_z_cashier');
show collections; db.createCollection('testpy');
db.createCollection('departuredelays');
db.createCollection('airport-codes-na'); db.createCollection('ccFraud'); db.sem_z_cashier.drop();
] spark数据源;
单个大文件hdfs、hbase
序列化文件mongo复制集,可以考虑spark-mongo组件 执行spark
cd /usr/local/hadoop/ 启动hadoop
cd /usr/local/hadoop/hadoop
$hadoop namenode -format # 启动前格式化namenode
$./sbin/start-all.sh
检查是否启动成功
[hadoop@hadoop1 hadoop]$ jps
NodeManager
Jps
NameNode
ResourceManager
SecondaryNameNode
[hadoop@hadoop1 hadoop]$
/usr/local/hadoop/hadoop
[hadoop@hadoop2 hadoop]$ jps
NodeManager
DataNode
Jps
[hadoop@hadoop2 hadoop]$ 停止
$./sbin/stop-all.sh 启动spark
cd /usr/local/hadoop/spark/
./sbin/start-all.sh 检查是否启动成功
[hadoop@hadoop1 spark]$ jps
NodeManager
Master
Jps
Worker
NameNode
ResourceManager
SecondaryNameNode
[hadoop@hadoop1 spark]$
[hadoop@hadoop2 spark]$ jps
NodeManager
DataNode
Worker
Jps
[hadoop@hadoop2 spark]$ 停止
$./sbin/stop-all.sh

Hadoop spark mongo复制集的更多相关文章

  1. mongo复制集脑裂问题如何处理

    mongo replication 脑裂问题如何处理: 一.问题描述:一套mongo replication有4个节点.1个仲裁节点.在停止实例(或实例毁坏)的时候,导致所有节点都变为SECONDAR ...

  2. mongo 复制集命令

    1.登录primary2.use admin >rs.add("new_node:port") 或 rs.add({"_id":4,"host& ...

  3. mongo复制集、分片集(亲测)

    1.1 架构思路: 192.168.50.131              192.168.50.131             192.168.50.132 mongos mongos mongos ...

  4. 单机Mongo复制集安装配置(数据库版本:4.x)

      官方文档: https://docs.mongodb.com/manual/tutorial/deploy-replica-set-with-keyfile-access-control/#dep ...

  5. hadoop - spark on yarn 集群搭建

    一.环境准备 1. 机器: 3 台虚拟机 机器 角色  l-qta3.sp.beta.cn0 NameNode,ResourceManager,spark的master l-querydiff1.sp ...

  6. 工作中Hadoop,Spark,Phoenix,Impala 集群中遇到坑及解决方案

    1.HDFS 修复 问题描述:其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件,导致namenode压力过大,其中一个namenode宕机后,没有及时发现 使得edit ...

  7. MongoDB复制集搭建(3.4.17版)

    ==版本== mongodb-linux-x86_64-rhel70-3.4.17.tgz ==准备== 3个节点,我这里的IP及hostname分别是: 10.11.2.52 dscn49 10.1 ...

  8. docker添加mongo4.0.3并配置复制集

    1.创建docker 具体略过 自行百度 2.创建数据持久化目录文件(/data/mongo0是个例子 命名随意)  拉取mongo docker pull mongo:4.0.3 3.启动容器 do ...

  9. Hadoop+Spark:集群环境搭建

    环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...

随机推荐

  1. 九度oj 题目1398:移动次数

    题目描述: 众所周知JOBDU旗下的JOBBALA公司是一家以个性.亲民著称的IT公司.在JOBBALA公司成立50周年的日子里,公司CEO组织全体员工登山旅游.按照往常的习惯,导游通常要求游客按照身 ...

  2. MySQL binlog_rows_query_log_events在线设置无效

    binlog_rows_query_log_events 对binlog_format=row有效,设为true后可以在binary log中记录原始的语句 官方文档显示binlog_rows_que ...

  3. NYOJ——239月老的难题(二分图最大匹配)

    月老的难题 时间限制:1000 ms | 内存限制:65535 KB 难度:4 描述 月老准备给n个女孩与n个男孩牵红线,成就一对对美好的姻缘. 现在,由于一些原因,部分男孩与女孩可能结成幸福的一家, ...

  4. [LA3620]Manhattan Wiring

    [LA3620]Manhattan Wiring 试题描述 输入 输出 输入示例 输出示例 数据规模及约定 见“输入” 题解 我们把“连线”的过程改为“铺地砖”的过程,总共有 11 种地砖,每种地砖上 ...

  5. mysql/oracle 连接参数中文变问号

    jdbc:mysql://localhost/test?useUnicode=true&characterEncoding=utf8&useSSL=true

  6. UIApplicationDelegate详解

    
每 个iPhone应用程序都有一个UIApplication,UIApplication是iPhone应用程序的开始并且负责初始化并显示 UIWindow,并负责加载应用程序的第一个UIView到U ...

  7. 531. Lonely Pixel I

    Given a picture consisting of black and white pixels, find the number of black lonely pixels. The pi ...

  8. sgu 102模拟欧拉函数

    感觉自己弱爆了,做做SGU吧... #include<iostream> #include<cmath> //欧拉函数 using namespace std; int eul ...

  9. 简单div遮罩

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  10. android widgets控件

    1.TextView 类似,C#里的lable,显示一段文本 <TextView android:id="@+id/textView2" android:layout_wid ...