最近又需要要搭hadoop环境,所以开始学习,下面是我的笔记,仅供大家参考! Hadoop安装: JDK1.6+ 操作系统:Linux,Window和Unix也可以做Hadoop的开发,只有Linux支持生产. 去hadoop发布页面下载一个稳定的版本,然后解压到文件系统的某个地方:tar xzf hadoop-x.y.xz.tar.gz(本教程针对0.x和1.x,所以建议下载目前最新的稳定版本hadoop-1.2.1版本) 设置Java_HOME环境变量,如果没有设置过,可以在conf/had

问题: SharePoint 2013上传AI格式文件,再次下载后变成了PS格式文件 需要下载副本才能显示AI格式 解决办法有两个: 第一种,在客户端机器1. Click Start, click Run, type regedit, and then click OK.  2. Locate and then click the following registry subkey:  HKEY_CLASSES_ROOT\MIME\Database\Content Type\applicatio

HDFS原理 首先说明下,hadoop的各种搭建方式不再介绍,相信各位玩hadoop的同学随便都能搭出来. 楼主的环境: 操作系统:Ubuntu 15.10 hadoop版本:2.7.3 HA:否(随便搭了个伪分布式) 文件上传 下图描述了Client向HDFS上传一个200M大小的日志文件的大致过程: 首先,Client发起文件上传请求,即通过RPC与NameNode建立通讯. NameNode与各DataNode使用心跳机制来获取DataNode信息.NameNode收到Client请求后,

上篇Hadoop之HDFS原理及文件上传下载源码分析(上)楼主主要介绍了hdfs原理及FileSystem的初始化源码解析, Client如何与NameNode建立RPC通信.本篇将继续介绍hdfs文件上传.下载源解析. 文件上传 先上文件上传的方法调用过程时序图: 其主要执行过程: FileSystem初始化,Client拿到NameNodeRpcServer代理对象,建立与NameNode的RPC通信(楼主上篇已经介绍过了) 调用FileSystem的create()方法,由于实现类为Dis

解决Ubuntu“下载额外数据文件失败 ttf-mscorefonts-installer”的问题 发表于 2017-09-15 | 更新于 2018-04-29 | 分类于 Linux | 评论数: 0 | 阅读次数: 最近开机总是遇到一段提示,内容大概是这样: 下载额外数据文件失败以下软件包要求安装后下载附加数据,但其数据无法下载或无法处理.ttf-mscorefonts-installer稍后系统将自动重试下载,您也可以手工立即重试.执行此命令需要有活动的网络连接. 开始也挺烦恼,总是解决

red hat 系统用rpm格式的文件安装软件   Debian系列用deb格式的文件安装软件 ubuntu安装软件是用deb格式的文件安装,ubuntu对于rpm格式的文件安装软件是: 先将rmp格式的文件转换为deb格式的,再进行安装 Demo:  ubuntu安装sqldeveloper-3.0.04.34-1.noarch.rpm 1.ubuntu 安装alien转换软件 sudo     apt-get   install   alien 2.转换 sudo      alien   

使用XShell本地上传文件到Ubuntu上及从Ubuntu下载文件到本地. 1.第一种方法是最常用的 :如果下载了Xshell和Xftp,Ctrl+Alt+F就可以选择文件的互传了!(虚拟机/云服务器通用)--只要相互间能ping得通. 2.第二种方法 :ubuntu环境下安装lrzsz,具体命令是--->      sudo apt-get install lrzsz      (如果是root权限就不用加sudo) 安装完毕后,具体操作命令是:   sz [file] --->可将服务器

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"

安装完Linux后,我们继续(VMWare 安装 Linux  http://blog.csdn.net/hanjun0612/article/details/55095955) 这里我们开始学习安装  hadoop 如果你是 Ubuntu desktop版本, 那么直接在主界面 按下 Ctrl+alt+T  调出 终端界面,这样就和 server版一样可以使用命令安装了. 安装hadoop (参照如下链接,这两篇教程简单明了,推荐看一下, 当然楼主也拷贝过来方便大家查阅,并且根据自己的安装包修

最近准备接触分布式计算,学习分布式计算的技术栈和架构知识.目前的分布式计算方式大致分为两种:离线计算和实时计算.在大数据全家桶中,离线计算的优秀工具当属Hadoop和Spark,而实时计算的杰出代表非Flink莫属了.Hadoop算是分布式计算的鼻祖,又是用Java代码实现,我们就以Hadoop作为学习分布式计算的入门项目了. 目录 一.环境 二.创建Hadoop用户 1. 设置密码 2. 增加管理员权限 三.配置SSH免密登录 四.hosts配置主机名 五.安装JDK环境 六.安装Hadoop

一.软件准备 安装VMware 下载ubuntu镜像(阿里源ubuntu下载地址)选择自己适合的版本,以下我使用的是18.04-server版就是没有桌面的.安装桌面版如果自己电脑配置不行的话启动集群容易卡死. (说明一下哈就是桌面版和服务器版没什么太大的区别,桌面版为个人电脑所配置,预装了图形界面和一些其他软件,比如LibreOffice,音乐播放器,游戏等等,而服务器版没有这些东西,服务器版启动之后只有一个黑屏+光标,所有的操作都是命令形式的) 下载Hadoop和jdk(链接:https:/

Ubuntu系统 (我用到版本号是140.4) ubuntu系统是一个以桌面应用为主的Linux操作系统,Ubuntu基于Debian发行版和GNOME桌面环境.Ubuntu的目标在于为一般用户提供一个最新的.同时又相当稳定的主要由自由软件构建而成的操作系统,它可免费使用,并带有社团及专业的支持应. 作为Hadoop大数据开发测试环境, 建议大家不要在windows上安装CgyWin来学习或研究, 直接用Vmware+ubuntu来学习. 下载 www.vmware.com这里下载vmware,

http://www.linuxidc.com/Linux/2012-02/53106.htm 一.环境 Ubuntu 10.10+jdk1.6 二.下载&安装程序 1.1 Apache Hadoop: 下载Hadoop Relase:http://hadoop.apache.org/common/releases.html 解压:tar xzf hadoop-x.y.z.tar.gz 1.2 安装JDK1.6:sudo apt-get install sun-java6-jdk 三.配置环境变

开发中大家都是使用的utf8编码,昨天遇到一个奇坑,本是一件很小的问题,解决也浪费了个吧小时.废话不多说,植入正题: 文件下载方式:通过header二进制流文件下载需求: 文件上传保留文件名不变数据字段file_url值:/public/upload/files/2019/04-29/中文测试包.rar linux(Ubuntu 18.04.2 LTS )文件目录:/home/wwwroot/web/public/upload/files/2019/04-29 windows10文件目录:D:\

解决win7无法打开chm格式文件的问题. (一).简单方法(本人用的这个) 1.打开chm2.win7提示安全问题3.chm无法显示内容4.关闭chm5.右键点击chm,点击“解除锁定”,ok  没有“解除锁定”,晕...请往下6.右键点击chm,点击“压缩到*.rar”,压缩chm7.双击生成的压缩文件*.rar8.在rar中双击chm,文件打开,ok,什么都有了.9.解压出来,问题解决 (二).复杂方法 一.如果提示是:如果提示是Internet Explorer 不能链接到您请求的网页或

Ubuntu下hadoop环境的搭建(伪分布模式) 一.必要资源的下载 1.Java jdk(jdk-8u25-linux-x64.tar.gz)的下载 具体链接为: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2.Hadoop(我们在这里选用hadoop0.20.2.tar.gz)的下载 具体链接为: http://vdisk.weibo.com/s/zNZl3 二.软件

软件版本 Hadoop版本号:hadoop-2.6.0-cdh5.7.0: VMWare版本号:VMware 9或10 Linux系统:CentOS 6.4-6.5 或Ubuntu版本号:ubuntu-14.04.1-desktop-i386 Jdk版本号:Jdk1.7.0._79 后三项对版本要求不严格,如果使用Hbase1.0.0版本,需要JDK1.8以上版本 安装教程 1.VMWare安装教程 VMWare虚拟机是个软件,安装后可用来创建虚拟机,在虚拟机上再安装系统,在这个虚拟系统上再安装

安装环境: 1 linux系统 2 或(windows下)虚拟机 本文在linux系统ubuntu下尝试安装hadoop 安装前提 1 安装JDK(安装oracle公司的JDK ) (1)检查是否已安装JDK $ java -version (2)(本人采用手动安装)官网下载jdk,解压文件,放置在 /usr/目录下 如:/usr/local/jdk (3)配置环境变量,设置全局(也就是此系统下所有用户的)环境变量 命令:$ sudo vi ~/.bashrc (用vi编辑器)   文件末尾添加

Ubuntu中Hadoop环境搭建 JDK安装 方法一:通过命令行直接安装(不建议) 有两种java可以安装oracle-java8-installer以及openjdk (1)安装oracle-java8-installer apt install software-properties-common add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-ins

Hadoop集群支持三种运行模式:单机模式.伪分布式模式,全分布式模式,下面介绍下在Ubuntu下的部署 (1)单机模式 默认情况下,Hadoop被配置成一个以非分布式模式运行的独立JAVA进程,适合开始时的调试工作.在eclipse中开发用的就是单机模式,这时不用HDFS. 好的如果没有安装JDK,那么安装步骤如下: 先到官网下载JDK的linux版本,下载后直接加压到相应目录,这样JDk就安装好了.接下来配置环境变量 sudo gedit /etc/profile 加入下面代码 #set j

/** * 建立FTP链接,FTP服务器地址.端口.登陆用户信息都在配置里配置即可. * @throws IOException */ public boolean connectFtp(String ftpAddress, String ftpPort, String frpUserName, String frpPassword) throws IOException{ log.info("*****连接FTP服务器...*****"); try{ ftpClient.connec