Causion: 只有一个raspberry pi3的就随便玩玩吧,瓶颈不在在cpu, 1 G的内存实在是太少了,跑个hadoop就很辛苦了 下面是瞎折腾的过程: oracle的arm jdk的安装过程这边就直接略过了 1. 下载hadoop的源代码, 因为raspberry 虽然是 64bit的cpu但是实际上跑的是32 位系统, 没有能够直接使用的二进制,这边下载和编译下源代码, 以便提高下运行的效率,减少下需要的内存的量. 这边下载的版本是2.7.2, 下载完成之后解压 2. 安装下必要的…

提前说明一下:由于环境的配置搞得我很头疼,所以记录下来.并不是零基础,像hadoop的由来.发展史.结构.各个组件,这里都没有介绍,只是为了自己能够在忘了的时候回忆起来,所以记录下来 如何在linux上安装hadoop 首先我这里使用的是Ubuntu18.04,64位系统 1.安装jdk 由于hadoop是由java编写的,所以需要安装jdk.我这里使用的是jdk1.8.0,安装路径为/usr/local/java/jdk1.8.0_191/ 配置环境变量,在 ~/.bashrc尾部添加如下内容…

RaspBerryPi3-内核编译 转载注明出处:http://www.cnblogs.com/einstein-2014731/p/5985128.html 在有道云笔记的同步分享:http://note.youdao.com/share/?id=0867c9cbe7b0167881656e3a86a98e20&type=note#/ 编译更新RaspberryPi3的内核有两种方式,第一种是在树莓派上编译新的内核,完成后重启,优点是简单方便,缺点是速度慢.另一种是在另一台电脑上使用交叉编译的…

raspberry pi3官方支持是32bit的系统,使用mongodb的时候有2G数据库大小的限制,32bit的系统上数据大点基本上就可以认为不能用了,所以要装64bit的opensuse. 安装了suse之后,发现没有mongodb的程序,于是安装了Factory_ARM database的rpm源, 但是发现这个源里面mongod是不能用的,原因是里面没有aarch64的配置,导致了没有可以用的store engine,会告诉你找不到wiredtiger或者mmapv1的engine,应为…

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔记系列>.其实,早在2014年Hadoop2.x版本就已经开始流行了起来,并且已经成为了现在的主流.当然,还有一些非离线计算的框架如实时计算框架Storm,近实时计算框架Spark等等.相信了解Hadoop2.x的童鞋都应该知道2.x相较于1.x版本的更新应该不是一丁半点,最显著的体现在两点: (1)H…

对解压过后的文件进行从命名 把"/usr/hadoop"读权限分配给hadoop用户(非常重要) 配置完之后我们要创建一个tmp文件供以后的使用 然后对我们的hadoop进行配置文件的配置 vim /etc/profile 最下边的两行就是我们的hadoop文件的配置内容 重新启动配置文件. 之后要配置hadoop的hadoop-env.sh文件 添加如下内容. 保存退出即可 我们接下来要配置core-site.xml.hdfs-site.xml.mapred-site.xml三个文件…

前言             首先hadoop是在linux系统上进行搭建的,我们首先要在自己电脑上装上虚拟机然后装linux系统,因为我们是测试:在本地虚拟机上装两个linux分别搭建好hadoop环境能实现简单的数据处理就可以了,最终的效果类似于我们c#中的hello world!能做到这里我们的搭建测试环境就算基本上完成了.虚拟机以及linux系统文件在公司的ftp服务器上都有,到时候直接拿来在本地安装就可以了.中间很多东西我都是借鉴的博客园中的一篇关于hadoop的博客,想深入了解的可以…

docker 1.下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注:此镜像为阿里云个人上传镜像,比较符合目前我的需求,镜像为搭建好的hadoop环境,见https://dev.aliyun.com/detail.html?spm=5176.1972343.2.14.Q2Swxa&repoId=4030 2.运行docker镜像 docker run -itd --name hadoop -…

实验条件:3台centos服务器,jdk版本1.8.0,Hadoop 版本2.8.0 注:hadoop安装和搭建过程中都是在用户lb的home目录下,master的主机名为host98,slave的主机名分别是host99和host101. 1. ssh远程连接服务器 ssh [username]@hostname 2. 创建新用户并创建用户的home主目录 useradd -d /home/lb lb -m 3. 将当前用户加入sudo用户组中,方便在不修改当前用户组权限的情况下,对某些文件和…

想要试试arm板上使用selenium是不是可能,发现Firefox什么的不顶用,网上有提供的chrome的安装手顺,但是没有arm版本的对应的chromedriver,只能自己搞了. 这边介绍的方法是直接在raspberry pi上编译,编译时间在36小时左右,编译24 小时,最后的链接时间12小时 前期准备: 1. 移动硬盘可用空间10G以上,swap和代码,以及编译目录都需要放在上面 2. 关闭sdcard上的swap,sdcard上的swap比较慢,会导致emmc hung 3. 在移动…