Why there are no job running on hadoop

Using hadoop1.3.0. I ran the example WordCount correctly in eclipse. But when I enter localhost:50030, it said running jobs and retired jobs were both none. The truth was I had already gotten the correct output. Did I do something wrong with it? You…

Hadoop入门系列一

作者:Aitian Ma链接:https://www.zhihu.com/question/24965053/answer/102858134来源:知乎著作权归作者所有,转载请联系作者获得授权. Hadoop的HDFS和Hadoop的面试问题1)列出Hadoop集群的Hadoop守护进程和相关的角色.Namenode:它运行上Master节点上,负责存储的文件和目录所有元数据.它管理文件的块信息,以及块在集群中分布的信息. Datanode:它是一个存储实际数据的Slave节点.它定时向Name…

【转载】Hadoop可视化分析利器之Hue

http://qindongliang.iteye.com/blog/2212619 先来看下hue的架构图: (1)Hue是什么? Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口. (2)Hue能干什么? 1,访问HDFS和文件浏览 2,通过web调试和开发hive以及数据结果展示 3,查询solr和结果展示,报表生成 4,通过web调试和开发impala交互式SQL Query 5,spark调试和开发 6,Pig开发和调试 7,oozie任务的开…

mahout 安装测试

1 下载在http://archive.apache.org/dist/mahout下载相应版本的mahout 版本,获取官网查看http://mahout.apache.org 相关的信息…

Kerberos简介及常见问题

基本描述 Kerberos使用Needha-Schroeder协议作为它的基础.它使用了一个由两个独立的逻辑部分:认证服务器和票据授权服务器组成的"可信赖的第三方",术语称为密钥分发中心(KDC).Kerberos工作在用于证明用户身份的"票据"的基础上. KDC持有一个密钥数据库:每个网络实体--无论是客户还是服务器--共享了一套只有他自己和KDC知道的密钥.密钥的内容用于证明实体的身份.对于两个实体间的通信,KDC产生一个会话密钥,用来加密他们之间的交互信息.…

MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.

[hxsyl@CentOSMaster hadoop-2.6.4]$ mahout MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath. Running on hadoop, using HADOOP_HOME=/home/hxsyl/Spark_Relvant/hadoop-2.6.4 HADOOP_CONF_DIR=/home/hxsyl/Spark_Relvant/hadoop-2.6.4/etc/hadoop MAHO…

YARN应用程序的开发步骤

开发基于YARN的应用程序需要开发客户端程序和AppMaster程序: 我们基于程序自带的例子来实现提交application 到YARN的ResourceManger. Distributed Shell application:Client 步骤: 连接 ResourceManager: 通过ApplicationClientProtocol协议与 ApplicationsManager交互提交AM,与此同时可以通过该协议过去集群的一些信息 * <p> For the actual j…

Mahout之Navie Bayesian命令端运行

landen@landen-Lenovo:~/文档/20news$ mahout trainclassifier --helpMAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.Running on hadoop, using HADOOP_HOME=/home/landen/UntarFile/hadoop-1.0.4No HADOOP_CONF_DIR set, using /home/landen/UntarFile/h…

mahout 运行Twenty Newsgroups Classification实例

按照mahout官网https://cwiki.apache.org/confluence/display/MAHOUT/Twenty+Newsgroups的说法,我只用运行一条命令就可以完成这个算法的调用了,如下: mahout@ubuntu:~/mahout-d-0.7/examples/bin$ ./classify-20newsgroups.sh 但是,我首先运行就出错了,因为我不是root账户,所以先改下路径,打开classify-20newsgroups.sh,替换/tmp/maho…

Machine Learning for Developers

Machine Learning for Developers Most developers these days have heard of machine learning, but when trying to find an 'easy' way into this technique, most people find themselves getting scared off by the abstractness of the concept of Machine Learnin…

2 storm的topology提交执行

本博文的主要内容有 .storm单机模式,打包,放到storm集群 .Storm的并发机制图 .Storm的相关概念 .附PPT 打包,放到storm集群去.我这里,是单机模式下的storm. weekend110-storm -> Export -> JAR file -> 当然,这边,肯定是,准备工作已经做好了.如启动了zookeeper,storm集群. 上传导出的jar sftp> cd /home/hadoop/ sftp> put c:/d de…

IOT数据库选型——NOSQL，MemSQL，cassandra，Riak或者OpenTSDB，InfluxDB

IoT databases should be as flexible as required by the application. NoSQLdatabases -- especially key-value, document and column family databases -- easily accommodate different data types and structures without the need for predefined, fixed schemas.…

Mahout快速入门教程

Mahout 是一个很强大的数据挖掘工具,是一个分布式机器学习算法的集合,包括:被称为Taste的分布式协同过滤的实现.分类.聚类等.Mahout最大的优点就是基于hadoop实现,把很多以前运行于单机上的算法,转化为了MapReduce模式,这样大大提升了算法可处理的数据量和处理性能. 一.Mahout安装.配置 1.下载并解压Mahout http://archive.apache.org/dist/mahout/ tar -zxvf mahout-distribution-0.9.tar.…

mahout安装和测试

Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发者更加方便快捷地创建智能应用程序.Apache Mahout项目已经发展到了它的第三个年头,眼下已经有了三个公共发行版本号.Mahout包括很多实现,包括聚类.分类.推荐过滤.频繁子项挖掘.此外,通过使用 Apache Hadoop 库.Mahout 能够有效地扩展到云中. Mahout 的创始人 Grant Ingersoll 介绍了机器…

Mahout安装部署

0x01 简介 Mahout 是一套具有可扩充能力的机器学习类库.它提供机器学习框架的同时,还实现了一些可扩展的机器学习领域经典算法的实现,可以帮助开发人员更加方便快捷地创建智能应用程序.通过和 Apache Hadoop 分布式框架相结合,Mahout 可以有效地使用分布式系统来实现高性能计算. 0x02 安装配置Mahout 下载下载地址:http://archive.apache.org/dist/mahout/ 安装版本:apache-mahout-distribution-0.11.…

Hue 之 SparkSql interpreters的配置及使用

1.环境说明: HDP 2.4 V3 sandbox hue 4.0.0 2.hue 4.0.0 编译及安装地址:https://github.com/cloudera/hue/releases/tag/release-4.1.0(也许是发版这弄错了吧,连接是4.1.0,内容版本是4.0.0) 2.1 修改%HUE_CODE_HOME%/hue/maven/pom.xml版本,如下: <hadoop-mr1.version>2.7.1</hadoop-mr1.version> &…

一脸懵逼学习Storm的搭建--（一个开源的分布式实时计算系统）

Storm的官方网址:http://storm.apache.org/index.html :集群部署的基本流程(基本套路): 集群部署的流程:下载安装包.解压安装包.修改配置文件.分发安装包.启动集群; 1:安装一个zookeeper集群,之前已经部署过,这里省略,贴一下步骤: 安装配置zooekeeper集群: 1.1:解压 tar -zxvf zookeeper-3.4.5.tar.gz 1.2:修改配置 cd /ho…

zookeeper三种模式安装详解（centos 7+zookeeper-3.4.9）

zookeeper有单机.伪集群.集群三种部署方式,可根据自己实际情况选择合适的部署方式.下边对这三种部署方式逐一进行讲解. 一单机模式 1.下载进入要下载的版本的目录,选择.tar.gz文件下载下载链接:http://archive.apache.org/dist/zookeeper/注意:点击进入之后,会显示zookeeper文件的下载目录,如图所示,显示了多个版本可以下载.alpha版本是内测,功能不是很完全的,能够满足一定的需要,这里我们不建议选择:beta是公测版本,基本上可以满足…

storm 001

Hadoop.Storm系统和组件接口对比表: package storm; import org.apache.storm.Config; import org.apache.storm.StormSubmitter; import org.apache.storm.generated.StormTopology; import org.apache.storm.topology.TopologyBuilder; /** * 组织各个处理组件形成一个完整的处理流程,就是所谓的topology(…

hbase基于solr配置二级索引

一.概述 Hbase适用于大表的存储,通过单一的RowKey查询虽然能快速查询,但是对于复杂查询,尤其分页.查询总数等,实现方案浪费计算资源,所以可以针对hbase数据创建二级索引(Hbase Secondary Indexing),供复杂查询使用. Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎.…

mahout学习

参考:http://www.360doc.com/content/14/0117/09/1200324_345883534.shtml Precondition: 启动Hadoop集群 bin/hdfs namenode -format sbin/start-dfs.sh(启动Namenode,nodenode相关节点) sbin/start-yarn.sh(启动ResourceManager,nodeManager相关资源) bin/hdfs dfsadmin -safemode leave(…

HUE配置文件hue.ini 的mapred_clusters模块详解（图文详解）（分HA集群和非HA集群）

不多说,直接上干货! 我的集群机器情况是 bigdatamaster(192.168.80.10).bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12) 然后,安装目录是在/home/hadoop/app下. 官方建议在master机器上安装Hue,我这里也不例外.安装在bigdatamaster机器上. Hue版本:hue-3.9.0-cdh5.5.4 需要编译才能使用(联网) 说给大家的话:大家电脑的配置好的话,一定要安装clou…

hbase官方文档(转)

FROM:http://www.just4e.com/hbase.html Apache HBase™ 参考指南 HBase 官方文档中文版 Copyright © 2012 Apache Software Foundation.保留所有权利. Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标. Revision History Revis…

how to use Sqoop to import/ export data

Sqoop is a tool designed for efficiently transferring data between RDBMS and HDFS, we can import data from mysql, oracle, and other data bases into HDFS very easily; meanwhile we can dump data into data base from HDFS. For detailed documentation, ple…