reference:http://dblab.xmu.edu.cn/blog/868-2/ root@iZuf68496ttdogcxs22w6sZ:~# mv mongodb-linux-x86_64-ubuntu1604-3.2.7.tgz /usr/local/root@iZuf68496ttdogcxs22w6sZ:~# su hadoop hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar zxf mongodb-linux-x86_…

reference: http://dblab.xmu.edu.cn/blog/131/    https://github.com/dmajkic/redis   https://blog.csdn.net/eroswang/article/details/7080412 hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar zvxf /home/hadoop/redis-3.2.7.tar.gz -C ./[sudo] password fo…

背景: 公司核心业务库现存在MongoDB中,分布在6台MongoDB节点.现面临如下问题: 1.最大的一张表有10多个G,MongoDB在查询方面尚能胜任,但是涉及到复杂计算时会比较吃力. 2.MongoDB中有三张表,分别记录了最终用户在三个不同系统(电话,游戏,桌牌等)的行为,需要按用户汇聚成一张表. 考虑到MongoDB集成Hadoop来获得计算能力,先要让hadoop能访问到MongoDB中数据,下面讨论各个方案: 一)一个不安全的方案--MongoDB-connector for h…

在用到mongodb时,首先要运行mongod.exe以启动mongo,这样就会出现命令框( command prompt),为了避免出现这种情况.要以服务的形式来启动mongo,这样就不会出现命令框了. 1.以管理员身份打开命令框 2.建立目录 mkdir c:\data\db mkdir c:\data\log 3.C:\mongodb 在目录下建立文件mongod.cfg 文件内容为:systemLog: destination: file path: c:\data\log\mongod…

下载地址1:https://www.mongodb.org/dl/linux下载地址2:https://www.mongodb.com/download-center/community关于MongoDB教程:https://docs.mongodb.com/manual/安装教程:https://docs.mongodb.com/manual/installation/ [root@node1 ~]# cat /etc/centos-release CentOS Linux release 7…

reference : http://dblab.xmu.edu.cn/blog/install-mysql/ http://wiki.ubuntu.org.cn/MySQL #install mysql package: hadoop@iZuf68496ttdogcxs22w6sZ:~$ sudo apt-get install mysql-server mysql-client #start mysql service root@iZuf68496ttdogcxs22w6sZ:/etc/my…

file down :http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz /usr/local/ tar zxvf mongodb-linux-x86_64-.tgz mv mongodb-linux-x86_64- mongodb cd mongodb mkdir db mkdir logs cd bin vim mongodb.conf conf: dbpath=/usr/local/mongodb/db logpat…

reference: http://kafka.apache.org/quickstart  http://dblab.xmu.edu.cn/blog/1096-2/ hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar zvxf /home/hadoop/kafka_2.10-0.10.1.0.tgz  -C  /usr/local/ hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo mv kafk…

reference : http://dblab.xmu.edu.cn/blog/install-hive/ http://dblab.xmu.edu.cn/blog/hive-in-practice/ hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar -zvxf /home/hadoop/apache-hive-1.2.1-bin.tar.gz -C /usr/local/ hadoop@iZuf68496ttdogcxs22w6sZ:/u…

reference: http://dblab.xmu.edu.cn/blog/install-hbase/ reference: http://dblab.xmu.edu.cn/blog/2139-2/ wget sudo wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gzsudo tar zvxf hbase-1.1.5-bin.tar.gzsudo mv hbase-1.1.5 hbasesudo c…