在/home/yuanqin/下建立file文件夹,再在文件夹建立file1.txt.file2.txt.file3.txt file1内容:hello word file2内容:hello hadoop file3内容:你好 你是谁 你好 我是袁琴 在hadoop目录下输入: bin/hadoop fs -mkdir input bin/hadoop fs -put /home/yuanqin/file/file*.txt input bin/hadoop jar /home/yuanqin/…

本篇先介绍HBase在伪分布式环境下的安装方式,然后将MapReduce编程和HBase结合起来使用,完成WordCount这个例子. HBase在伪分布环境下安装 一.   前提条件 已经成功地安装了jdk1.6和hadoop1.2.1. Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方法见:Hadoop1.2.1安装——单节点方式和单机伪分布方式 二.   环境 VMware® Workstation 10.04 Ubuntu14.04 32位 Java JDK 1.6.0 h…

Mingw:在Linux系统下编译Windows的程序 Ubuntu下可以直接安装:sudo apt-get install mingw32 mingw32-binutils mingw32-runtime 安装后编译程序可以:i586-mingw32msvc-g++(编译C++程序)i586-mingw32msvc-gcc(编译C程序) 用法和gcc/g++非常类似.如hello.c程序:#include "windows.h"int WINAPI WinMain (HINSTANC…

紧接上篇,完成Hadoop的安装并跑起来之后,是该运行相关例子的时候了,而最简单最直接的例子就是HelloWorld式的WordCount例子.   参照博客进行运行:http://xiejianglei163.blog.163.com/blog/static/1247276201443152533684/   首先创建一个文件夹,并创建两个文件,目录随意,为以下文件结构: examples --file1.txt --file2.txt 文件内容随意填写,我是从新闻copy下来的一段英文: 执…

1.复制hadoop-eclipse-plugin-2.6.0.jar插件到eclipse的plugins目录下(hadoop2.6的插件,在hadoop自带上没有,要上网下载,多试几个 如果是从ubuntu自带的软件中心安装elcipse的话,则安装目录为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugins sudo cp hadoop-eclipse-plugin-.jar /usr/share/eclip…

Ubuntu下配置python完成爬虫任务(笔记一) 目标: 作为一个.NET汪,是时候去学习一下Linux下的操作了.为此选择了python来边学习Linux,边学python,熟能生巧嘛. 前期目标是完成环境配置,apt的简单操作. 之后按照网上的文档学习一下python的操作,顺便用python写爬虫功能.由于有用C#写爬虫的底子,应该能少走许多弯路. 再接下来,就安装配置一下redis,用python读写一下redis.最后小程序跑起来.这个初级学习过程就算结束了.[15Day] 正文:…

圣诞快乐!merry xmas! 身为程序猿和研究僧,英文文献是经常接触的,所以在ubuntu下当然需要一款英汉词典啦 查了下推荐stardict的比较多,于是学着安装了下,感觉还不错,但是只有词典功能(可以下载本地词库,后面将详细说明),全文翻译的功能必须要联网,而且可选的服务器都被墙了...所以如果要全文翻译的小伙伴可以选择其他方法,具体我也在找,实在不行就在线google翻译把-    . - 接下来继续讲stardict的安装 step1:在软件商店里搜stardict安装就行 step…

GLUT/freeglut 是什么? OpenGL 和它们有什么关系? OpenGL只是一个标准,它的实现一般自带在操作系统里,只要确保显卡驱动足够新就可以使用.如果需要在程序里直接使用OpenGL,会有很多非常恶心的预备工作要做,而且可能还要专门为平台的差异写一些代码.要跳过这些工作,可以用一个utility库,直接使用它提供的函数,就不用操心那些细节了.这样的库新一点的有GLEW,因为开源所以安装相对方便(大不了丢进去一起编译),但各种教程和书里常见的是闭源的GLUT.由于GLUT的作者已经…

Fedora下OpenGl开发环境配置 开发OpenGL工程需要3个库文件和对应的头文件: libglut.so,libGLU.so,libGL.so, gl.h ,glu.h, glut.h 这些库在linux系统中默认都有,使用locate命令验证都在标准库目录(/usr/lib)下: [root@localhost GL]# locate libglut.so /usr/lib/libglut.so.3 /usr/lib/libglut.so.3.9.0 [root@localhost G…

在Ubuntu下,通常用命令行打开文本文件,比如用命令gedit.more.cat.vim.less.但当需要打开其他格式文件时,比如pdf. jpg.mp3格式文件,咱们通常做法是进入到文件所在的目录,双击打开,很影响效率.事实上,可以通过命令xdg-open(opens a file or URL in the user's preferred application)打开这些格式文件,甚至是网页,像打开文件一样简单. 先举两个例子: jelline@jelline:~$ xdg-open…

在ubuntu下,使用wireshark也是很有必要的.虽然可以使用tcpdump等工具. ubuntu:11.10     1. sudo apt-get install wireshark     出于安全方面的考虑,普通用户不能够打开网卡设备进行抓包,wireshark不建议用户通过sudo在root权限下运行,wireshark为ubuntu(Debian)用户提供了一种在非root下的解决方法.(详细解释可以参考:/usr/share/doc/wireshark-common/READ…

ubuntu下安装subversion客户端: sudo apt-get install subversion subversion-tools 详细请看 http://www.subversion.org.cn/svnbook/1.1/index.html svn子命令 1.检出svn  co  http://路径(目录或文件的全路径) [本地目录全路径]  --username 用户名 --password 密码svn  co  svn://路径(目录或文件的全路径) [本地目录全路径]  …

安装好Ubuntu之后设置了静态IP地址,再重启后就无法解析域名.想重新设置一下DNS,打开/etc/resolv.conf cat /etc/resolv.conf# Dynamic resolv.conf(5) file for glibc resolver(3) generated by resolvconf(8)#     DO NOT EDIT THIS FILE BY HAND -- YOUR CHANGES WILL BE OVERWRITTEN 内容是一段警告:说这个文件是res…

尽管我们在大部分情况下用ssh登录Ubuntu服务器就好了,但是有时候我们的程序需要在图形界面下运行,这时我们就要用到vnc server这个软件了.在Ubuntu下安装vnc server很简单的,只要下面几步就可以了: 第一步,获取安装文件 sudo apt-get install vnc4server 第二步,修改VNC Password,不能太短 # vncpasswd Password: ****** Verify:***** 第三步,检查防火墙,这个就不详细说明了 第四步,启动VNC…

1.JDK安装 下载网址: http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html 如果本地有安装包,则用SecureCRT连接Linux机器,然后用rz指令进行上传文件: 下载后获得jdk-6u29-linux-i586-rpm.bin文件,使用sh jdk-6u29-linux-i586-rpm.bin进行安装, 等待安装完成即可:java默认会安装在/usr/java下: 在…

.简介: Tomcat在高并发环境下处理动态请求时性能很低,而在处理静态页面更加脆弱.虽然Tomcat的最新版本支持epoll,但是通过Nginx来处理静态页面要比通过Tomcat处理在性能方面好很多. 二.下载安装: 下载nginx http://nginx.org/en/download.html 下载解压后放到C:\nginx-1.0.4(官网这样要求的,不知道放其它盘有没有问题) 启动nginx.exe,然后在浏览器输入127.0.0.1即可 配置自己的项目测试 第二环节我们使用了默认的…

下面是我的遭遇:上午想批量改几个文件的名字,觉得mv在批量方面不够方便,百度到了rename这个命令,原谅我吧,我总是在百度不到结果时才去看google,以后还是少去百度的好国内很多贴子都在说linux下没有rename这个命令,扯淡,不过是平常改名字用mv罢了,rename经常用在批量改名方面.当然了, 也有不少贴子在说rename用法,可是我怎么看都是一模一样的文章被不断转载的.我没用过debian系之外的*nix的rename,但是起码 debian跟ubuntu的rename跟他们说的用…

网上资料太杂乱,搞了大半天都还是没搞懂怎么系统的调用NDK.最后干脆放弃了Win改用Ubuntu编译JNI,虽然编译环境简单了,但是资料却少了不少.几乎没有一篇完整的文章.我想或许是能在Ubuntu下写NDK的都是高手吧,不屑与写入门的文章. 废话少说 第一步:保证make 和 gcc可用 在shell中输入make -v,不报错就是对的.(可参考http://wenku.baidu.com/view/d87586c24028915f804dc24a.html.) 在shell中输入gcc -v…

下面是一个简单全面的使用NdisWrapper的指南.这是从Beginning Ubuntu Linux, Second Edition中提炼出来的. 这份指南是第8章的一部分.该章给出了在Ubuntu下配置硬件(包括网络设备,打印机,扫描仪,3D显卡等等)的详细说明. 除了详细介绍怎样安装/删除NdisWrapper驱动,这份3500多字的指南还包括了精确匹配正确的硬件驱动,从Windows驱动文件中提取必要的文件等关键步骤.这些步骤在其他的指南中往往被忽视了,但它们往往是许多用户难以逾越的障…

直接在终端里面输入“sudo apt-get install wine”不要引号,即可安装wine.至于使用它,终端命令就是“wine ....”举个例子,你现在要运行魔兽, 然后你的魔兽的文件夹的位置是/home/yourname/game/warcraft你首先“cd /home/yourname/game/warcraft”然后“ls”这个时候你注意到里面会有以前运行魔兽时候的点的那个文件 frozen throne.exe 所以你就继续在终端输入“wine frozen throne.e…

SHTOOLS是使用Fortran语言写的一个专门用于处理球谐函数的一个开源库,更多的介绍请猛戳这里,关于这个库的安装和使用,都在官网上有详细的说明,虽然很详细,但是编译的时候还是比较费劲,下面将我在Ubuntu下编译的步骤记录下. 首先SHTOOLS需要依赖三个库,分别是FFTW库,BLAS库和LAPACK库.FFTW库是傅立叶变换的库,只能用一句很好很强大来说明了,前段时间自己写了一个图像的傅立叶变换,处理一幅图像(12208×12208)的16bit但波段图像,进行MTF复原,整整需要5分…

1.定时任务的部署,最简单的方法是执行 crontab -e 然后在下面加上世间周期配置和要执行的命令,一般情况下,可以把要执行的任务用bash脚本封装一下,格式如下所示: minute   hour   day   month   week   command 举例如下: 1 * * * *  ~/start_run.sh 上面这个例子是指没到分钟到1的时候执行一次脚本,脚本的执行间隔就是1小时. 2.自启动任务的部署: Ubuntu下正规的自启动服务是用update-rc.d管理,但是这个命…

实习后面需要用到spark,虽然之前跟了edX的spark的课程以及用spark进行machine learning,但那个环境是官方已经搭建好的,但要在自己的系统里将PySpark导入shell(或在Python里可以import pyspark)还是需要做一些操作的.(下图,忘了先define一个sc,+.+|||)自己built的和官方pre-built的版本都可以使用 这个方法. 我们的目标是 任意目录下在shell里启动pyspark 在Python里import pyspark(包括…

1.搭建matplotlib环境 构建matplotlib运行环境,需要满足相关软件环境. numpy库提供大数据集的数据的数据结构和数学方法.诸如元组.列表或字典等python的默认数据结构同样可以很好的支持数据的插入.删除和谅解.NumPy的数据结构支持矢量操作,使用简便,同时具有很高的执行效率.矢量操作在实现时充分考虑了大数据的需要,基于C语言的方式也保证了执行效率. 基于Numpy的scipy库,是Python的标准科学计算和数学计算工具包,包含了大量的专用函数和算法.大部分函数和算法源…

Ubuntu下创建.重命名.删除文件及文件夹,强制清空回收站方法 mkdir 目录名 ——创建一个目录 rmdir 空目录名 ——删除一个空目录 rm 文件名 文件名 ——删除一个文件或多个文件 rm -rf 非空目录名 ——删除一个非空目录下的一切 touch 文件名 ——创建一个空文件 重命名文件(夹) / 移动文件(夹)到指定文件夹echWeb-技术社区5].O"?8H.I执行格式: mv source destination 举例: mv file1 file2 表示将文件 file1,…

最近用orbbec的深度摄像头采集RGBD图像,Windows下一切OK.但是Ubuntu下出现了不少问题.总结一下 1.将设备插到USB,先确定电脑能否正常识别设备 Ubuntu下是不需要安装驱动的(Windows下需要),因为Linux都有内置相应CMOS相机驱动.只需要设置一下udev进行相应的装载 2.orbbec官网下载OpenNI-Linux-x64-2.3 选择OpenNI-Linux-x64-2.3解压 $ unzip OpenNI-Linux-x64-2.3.zip$ cd O…

Ubuntu下Git从搭建到使用详解 一.git的搭建 (1).sudo apt-get update (2).sudo apt-get -y install git 符:安装最新版本方法: add-apt-repository ppa:git-core/ppa apt-get update apt-get install git git --version (3).git --version(查看git的版本号) (4).可以在windows客户端安装git客户端 下载 Git for Win…

ubuntu下只想做C++的程序代码编写,最开始选择了codeblock,主要目的是安装简单,集成度高,还可以调试,但是用的时候老是无故退出,改了半天的代码就这样丢失,挺苦恼的,可能跟自己装的系统比较新的缘故,某些依赖库可能不太稳定造成的,自己学着配置了VIM进行开发,也算上手了,可是代码的拷贝实在让人抓狂,因为拷贝通常是在VIM的缓存中,而不是系统的内存中,虽然也有办法解决,但是感觉心好累啊,实在没办法就将就notepadqq进行编辑,结果依然出现不稳定的现象,无奈只有上来了Sublime这个…

  多次尝试才正常启动了Fabric,如遇到各种莫名错误,请参考如下一步步严格安装,特别用户权限需要注意. 一.安装Ubuntu16 虚拟机或双系统,虚拟机有VirtualBox或者VMware,Ubuntu 16.04镜像安装好. 打开系统设置,选择软件和更新 , 然后在下载自:中选择aliyun   二.安装基础工具 注意操作用户是自建用户,不是root,特别一些命令涉及用户目录的地方要特别注意 首先安装一些常用工具   sudo apt-get update   sudo apt-get…

Window shell文件在linux系统下执行不了的解决办法 一些人喜欢用vim来写linux shell script, 但是, 有的人喜欢在Windows下用一些方便的编辑器(比如鼎鼎大名的Notepad++)写好, 然后拷贝文件到linux下, 结果呢, 在执行脚本a.sh的时候, 会出现如下问题: [taoge@localhost learn_shell]$ ./a.sh bash: ./a.sh: /bin/bash^M: bad interpreter: No such file…