简单学习数据仓库HIVE HIVE是一个构建于Hadoop顶端的数据仓库工具 支持大规模数据存储,分析,具有良好的可扩展性 某种程度上可以看做是用户编程接口,本身不存储和处理数据 依赖分布式系统HDFS存储数据 定义了简单的类似SQL的查询语言——HIVEQL 用户可以通过编写的HIVEQL语句运行在MapReduce任务 可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上 是一个可以提供有效,合理,直观组织和使用数据的分析工具 特点:1.采用批处理方式处理海量数据:H…

复习关于Hadoop的操作语句以及重点 Shell版 跳转目录到Hadoop: cd /usr/local/hadoop 启动Hadoop: ./sbin/start-dfs.sh 注意:Hadoop实际上有三种shell命令方式:hadoop fs/hadoop dfs/hdfs dfs,hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统,hadoop dfs只能适用于HDFS文件系统,hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系…

简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点: 1.灵活的可扩展性(支持在多个节点上进行水平扩张) 2.灵活的数据模型(与关系数据库中严格的关系模型相反,显得较为松散) 3.与与计算机密融合(可以充分利用与计算机设施来降低或提高负载) NoSQL数据库的十大类型:文档数据库,图数据库,键值数据库,列族数据库 1.键值数据库 二.列族数据库 三.文档数据库 四.图形数据库 NoSQL理论三大基石之CAP: CAP理论告诉我们,一个分布式系统不可能同时满足一致性,可用性,与分区…

一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立HDFS和JAVA交互的过程中,需要添加大量的jar包,需要注意! 同时需要注意我们需要把Hadoop打开, cd /usr/local/hadoop ./sbin/start-dfs.sh 三.简单学习HBASE并进行简单的操作 简单操作教程:http://dblab.xmu.edu.cn/blog…

简单学习MapReduce并进行WordCount实践 分布式并行编程: MapReduce设计的一个理念就是“计算向数据靠拢”,将复杂的,运行于大规模集群上的并行计算过程高度地抽象到两个函数:Map和Reduce,框架采用Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave上运行TaskTracker,Hadoop框架是用Java实现的,但是MapReduce应用程序则不一定要用Java来写. MapReduce体系结构主要是…

20145330第六周<Java学习笔记> . 这周算是很忙碌的一周.因为第六周陆续很多实验都开始进行,开始要准备和预习的科目日渐增多,对Java分配的时间不知不觉就减少了,然而第十和十一章内容相对有很多,所以效率是一件很重要的事情. 第十章 输入与输出 Java将输入输出抽象化为串流,数据有来源及目的地,衔接两者的是串流对象. 比喻来说,数据就好比水,串流就好比水管,通过水管的衔接,水由一端流向另一端 如果想要将数据从来源取出,可以使用输入串流. 如果想要将数据写入目的地,可以使用输出串流.…

第六周--Alpha阶段项目复审(五饭来了吗) 以下部分排名只是个人观点: 小组 优点 缺点,bug报告 名次 中午吃啥队 较完整的团体结构,可提供给商家和用户 感觉界面再优化一下就很棒了 1 天冷记得穿秋裤队 功能实现完整,离线下载是一大特色 大文件下载好像有点问题 2 大猪蹄子队 单词卡片的样式很新颖,功能实现非常完善 测试功能不够完善, 3 小谷围驻广东某工业719电竞大队 是一个完整的系统,功能齐全能满足用户需要 二手平台部分尚未完成 4 名字好难想 地图多样.可玩性较高 需要其他软件的…

第七章 内部类与异常类 1.内部类 Java支持在一个类中定义另一个类,这样的类称作内部类,而包含内部类的类成为内部类的外嵌类 内部类和外嵌类之间重要关系如下 内部类的外嵌类的成员变量在内部类中仍然有效,内部类中的方法也可以调用外嵌类中的方法. 内部类的类体中不可以声明类变量和类方法.外嵌类的类体中可以用内部类声明对象,作为外嵌类的成员. 内部类仅供它的外嵌类使用,其他类不可以用某个类的内部类声明对象. 非内部类不可以是static类 2.匿名类 (1)和子类有关的匿名类 特点: 匿名类可以继承…

深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [1]---监督学习和无监督学习"中我们介绍了监督学习和无监督学习相关概念.本文主要介绍神经网络常用的损失函数. 以下均为个人学习笔记,若有错误望指出. 神经网络常用的损失函数 pytorch损失函数封装在torch.nn中. 损失函数反映了模型预测输出与真实值的区别,模型训练的过程即让损失函数不断减小,最终得到可以拟合预测训练样…

本次配置主要使用的教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 以下是自己在配置中的遇到的一些问题和解决方法,或者提示 一.使用虚拟机安装centos7并设置图形界面 在安装的过程中,由于自己还是熟悉图形界面,所以还是在安装之后又继续安装了图形界面 yum groupinstall "GNOME Desktop" "Graphical Administration Tools" 这行代码是安装图形…