复习关于Hadoop的操作语句以及重点 Shell版 跳转目录到Hadoop: cd /usr/local/hadoop 启动Hadoop: ./sbin/start-dfs.sh 注意:Hadoop实际上有三种shell命令方式:hadoop fs/hadoop dfs/hdfs dfs,hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统,hadoop dfs只能适用于HDFS文件系统,hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系…

简单学习MapReduce并进行WordCount实践 分布式并行编程: MapReduce设计的一个理念就是“计算向数据靠拢”,将复杂的,运行于大规模集群上的并行计算过程高度地抽象到两个函数:Map和Reduce,框架采用Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave上运行TaskTracker,Hadoop框架是用Java实现的,但是MapReduce应用程序则不一定要用Java来写. MapReduce体系结构主要是…

简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点: 1.灵活的可扩展性(支持在多个节点上进行水平扩张) 2.灵活的数据模型(与关系数据库中严格的关系模型相反,显得较为松散) 3.与与计算机密融合(可以充分利用与计算机设施来降低或提高负载) NoSQL数据库的十大类型:文档数据库,图数据库,键值数据库,列族数据库 1.键值数据库 二.列族数据库 三.文档数据库 四.图形数据库 NoSQL理论三大基石之CAP: CAP理论告诉我们,一个分布式系统不可能同时满足一致性,可用性,与分区…

一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立HDFS和JAVA交互的过程中,需要添加大量的jar包,需要注意! 同时需要注意我们需要把Hadoop打开, cd /usr/local/hadoop ./sbin/start-dfs.sh 三.简单学习HBASE并进行简单的操作 简单操作教程:http://dblab.xmu.edu.cn/blog…

简单学习数据仓库HIVE HIVE是一个构建于Hadoop顶端的数据仓库工具 支持大规模数据存储,分析,具有良好的可扩展性 某种程度上可以看做是用户编程接口,本身不存储和处理数据 依赖分布式系统HDFS存储数据 定义了简单的类似SQL的查询语言——HIVEQL 用户可以通过编写的HIVEQL语句运行在MapReduce任务 可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上 是一个可以提供有效,合理,直观组织和使用数据的分析工具 特点:1.采用批处理方式处理海量数据:H…

20145330第七周<Java学习笔记> 第十三章 时间与日期 认识时间与日期 时间的度量 GMT(格林威治标准时间):现在不是标准时间 世界时(UT):1972年UTC出来之前,UT等价于GMT 国际原子时(TAI):秒的定义 世界协调时间(UTC):闰秒 Unix时间:1970.1.1 00:00开始的秒数 epoch:java.util.Date epoch毫秒数 日历 儒略历 格里高利历 ISO860标准 认识Date与Calender 时区 Date与DateFormat Date…

Redis总结(五)缓存雪崩和缓存穿透等问题   前面讲过一些redis 缓存的使用和数据持久化.感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhong/category/771056.html .今天总结总结缓存使用过程中遇到的一些常见的问题.比如缓存雪崩,缓存穿透,缓存预热等等. 缓存雪崩 缓存雪崩是由于原有缓存失效(过期),新缓存未到期间.所有请求都去查询数据库,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机.从而形成一系列连锁…

深度学习 (DeepLearning) 基础 [3]---梯度下降法 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数"中我们介绍了神经网络常用的损失函数.本文将继续学习深度学习的基础知识,主要涉及基于梯度下降的一类优化算法.首先介绍梯度下降法的主要思想,其次介绍批量梯度下降.随机梯度下降以及小批量梯度下降(mini-batch)的主要区别. 以下均为个人学习笔记,若有错误望指出. 梯度下降法 主要思想:沿着梯度反方向更新相…

本次配置主要使用的教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 以下是自己在配置中的遇到的一些问题和解决方法,或者提示 一.使用虚拟机安装centos7并设置图形界面 在安装的过程中,由于自己还是熟悉图形界面,所以还是在安装之后又继续安装了图形界面 yum groupinstall "GNOME Desktop" "Graphical Administration Tools" 这行代码是安装图形…

本周主要对MongoDB和Tomcat进行了安装,两项安装都遇到了一些问题.其中在对MongoDB安装过程中出现了什么没有秘钥安全证书的,最终找了一堆教程重复了好多遍之后安装成功,虽然在启动和关闭的时候回提示什么mongodb: unrecognized service不过在进行测试的时候并没有问题.另外安装Tomcat的过程就更加曲折了,eclipse中没有server插件,需要通过eclipse网上找了n多的教程n个网站都不好使,而且加载过程非常慢,我是在这个链接下载成功的Indigo re…

简单学习云数据库系统架构(以UMP系统为例) 一.UMP系统概述 低成本和高性能的MySQL云数据库方案 二.UMP系统架构 架构设计遵循以下原则: 保持单一的系统对外入口,并且为系统内部维护单一的资源池 消除单点故障,保证服务的高可用性 报站系统具有良好的可伸缩性,能够动态地增加,删除计算与储存节点 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离,确保应用和数据安全 UMP系统中的角色包括: Controller服务器 Proxy服务器 Agent服务器 Web控制台 日志分析服务器…

第八章 常用实用类 8.1 String类 Java专门提供了用来处理字符序列的String类.String类在java.lang包中,由于java.lang包中的类被默认引入,因此程序可以直接使用String类. 需要注意的是Java把String类声明为final类,因此用户不能扩展String类,即String类不可以有子类. 8.1.1 构造String对象 1.常量对象:字符串常量对象是用双引号括起的字符序列,例如:"你好"."12.97"."b…

本周主要对HBASE的相关知识进行了学习,主要是通过视频的讲解了解到了HBASE的存储机制,HBASE的机制与普通的关系型数据库完全不同,HBASE以列进行存储,其主要执行的就是增删查操作,其更改主要是依靠时间戳进行的,他保存旧数据直到达到一定的时间才会进行更新.关系型数据库主要是通过二维表的方式来确定数据的,并且其数据一般具有联系性.而对于HBASE来讲他是通过1.行键2.列族3.列限定符4.时间戳四维来确定一个元素的,并且HBASE适合存储非结构化和半结构化的松散数据.并且对HBASE数据库…

本周由于自己出去玩,以及家里的各种事也没好好看书,就对HDFS的一些常用的shell命令进行了学习与应用,观看了林子雨老师关于HDFS的视频,对HDFS的一些存储的原理.规则进行了一定的了解.对ubantu系统的操作有了逐步的认识,其中还是有不少需要注意的地方,如果不小心的话就肯定不会得到想要的结果,出现较大的问题.…

<Linux内核原理与设计>第七周作业 视频学习及操作分析 创建一个新进程在内核中的执行过程 fork.vfork和clone三个系统调用都可以创建一个新进程,而且都是通过调用do_fork来实现进程的创建:函数返回了两次,即在父进程子进程中各返回一次.通过复制当前进程可以创建一个新的进程.Linux通过复制父进程来创建一个新进程,那么这就给我们理解这一个过程提供一个想象的框架: ·复制一个PCB--task_struct 1.err = arch_dup_task_struct(tsk, o…

20145213<Java程序设计>第七周学习总结 教材学习内容总结 周末快乐的时间总是短暂的,还没好好感受就到了要写博客的周日.有人喟叹时间都去哪儿了,那本周我们就来认识一下Java里的时间吧!(硬性植入) 首先来认识一下一些重要的时间基准吧! 格林威治标准时间(GMT),关键词--观察太阳.不准. 世界时(UT),关键词--观测远方星体.比楼上准一点. 国际原子时(TAL),关键词--铯原子辐射振动.过分准. 世界协调时间(UTC),关键词--协调UT与TAL时间差距不要太大 Unix与e…

bug终结者 团队作业第六.七周 作业要求:团队作业第六.七周 博客编辑:20162322 朱娅霖 一.修改<需求规格说明书> <需求规格说明书>2.0版(即初稿) <需求规格说明书>3.0版(修改版) 初稿中的不足 内容不完整 格式不规范 二.团队编码规范 1.基本原则 强制性原则: 字符串的拼加操作,必须使用StringBuilder: try-catch的用法 try{ }catch{Exception e e.printStackTrace(); }finall…

20175209 <Java程序设计>第七周学习总结 一.教材知识点总结 第八章 常用类和实用类 1.String类 构造String对象 常量对象:""中的字符序列,存放在常量池中,运行期间不会被改变 创建对象:String s = new String("we are students")或者用已创建的String对象创建新的String对象String tom = new String(s) 对象中存放的是引用,实体相同的两个变量在比较时要看引用是…

目录 一.教材学习内容总结 二.教材学习中的问题和解决过程 三.代码托管 四.心得体会 五.学习进度条 六.参考资料 一.教材学习内容总结 第八章主要内容 了解String类 常量对象:常量池中的数据在程序运行期间再也不允许改变. String对象:用户无法输出String对象的引用. 例如: String s = new String("i am a student"); System.out.pintln(s);//输出对象的实体 可以用s.toString()来返回对象引用的字符…

2019-2020-4 <Java 程序设计>第七周知识总结 第八章:常用实用类 一.String类 String类的构造方法 public String(byte[] bytes); public String(byte[] bytes,int offset,int length); public String(char[] value); public String(char[] value,int index,int count); String类的判断功能 boolean equals…

20172325 2018-2019-2 <Java程序设计>第七周学习总结 教材学习内容总结 二叉查找树 二叉查找树:是含附加属性的二叉树,即其左孩子小于父节点,而父节点又小于或等于右孩子. 二叉查找树的定义是二叉树定义的扩展. 二叉查找树的各种操作: addElement:往树中添加一个元素 removeElement:从树中删除一个元素 removeAllOccurrences:从树中删除所指定元素的任何存在 removeMin:删除树中的最小元素 removeMax:删除树中的最大元素…

姬梦馨 原创作品 <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 第七周 Linux内核如何装载和启动一个可执行程序 一:1.可执行程序如何产生的? linux系统中,可执行程序一般要经过预处理.编译.汇编.链接.执行等步骤. 编译过程 预处理:gcc –E hello.c –o hello.i; gcc –E调用cpp 生成中间文件 编 译:gcc –S hello.i –o hello.s; gcc –S调…

姬梦馨 原创作品 <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 第七周 Linux内核如何装载和启动一个可执行程序 一:1.可执行程序如何产生的? linux系统中,可执行程序一般要经过预处理.编译.汇编.链接.执行等步骤. 编译过程 预处理:gcc –E hello.c –o hello.i; gcc –E调用cpp 生成中间文件 编 译:gcc –S hello.i –o hello.s; gcc –S调…

20155331 2016-2017-2 <Java程序设计>第七周学习总结 教材学习内容总结 一.认识Lambda语法 1.Lambda语法概览 Arrays的sort()方法可以用来排序,只不过你要告诉它两个元素比较时顺序是什么,sort()规定你得操作java.util.Comparator来说明这件事,我们可以通过byLength()来让排序的意图更清楚,只是操作Comparator时的匿名类时依旧冗长,有太多重复信息,如果使用JDK8的话,你可以使用Lambda特性去除重复的信息.L…

教材学习内容总结 第12章 Lambda语法 Lambda定义 一个不用被绑定到一个标识符上,并且可能被调用的函数. 在只有Lambda表达式的情况下,参数的类型必须写出来,如果有目标类型的话,在编译程序可推断出类型的情况下,就可以不写出Lambda表达式的参数类型. Lambda表达式本身是中性的,不代表任何类型的实例,可用来表示不同目标类型的对象操作. Lambda表达式在平行设计的时候,能够进行并行处理. 第13章: 1.时间 世界时:又称UT时间,借由观测远方星体跨过子午线而得 国际原子…

20155211 2016-2017-2 <Java程序设计>第七周学习总结 教材学习内容总结 第十二章 Lambda Lambda表达式中this的参考对象以及toString()的接受者,是来自Lambda的周围环境,也就是看Lambda表达式是在哪个名称范畴,就能参考该范畴内的名称,像是变量或方法. JDK8提供了方法参考的特性,可以重用byLength方法 Lambda表达式只是定义函数接口操作的一种方式,除此之外,只要静态方法的方法签署中,参数与返回值定义相同,也可以使用静态方法来定…

20155313 2016-2017-2 <Java程序设计>第七周学习总结 第十二章 Lambda 12.1认识Lambda语法 12.1.1Lambda语法概览 在java中引入了Lambda的同时,与现有API维持兼容性是主要考虑之一. 方法参考的特性,在重用现有API上扮演了重要角色. 重用现有方法操作,可避免到处写下Lambda表达式. 方法参考不仅避免了重复撰写Lambda表达式,也可以让程序代码更清楚. 12.1.2Lambda表达式与函数接口 在只有Lambda表达式的情况下,…

20155336 2016-2017-2<JAVA程序设计>第七周学习总结 教材学习内容总结 第十三章 认识时间与日期 格林威治标准时间:简称GMT时间,参考格林威治皇家天文台的标准太阳时间. 世界时:简称UT,借由观测远方星体跨国子午线. 国际原子时:简称TAI,将秒的时间定义为铯原子辐射震动9192631770周耗费的时间. 世界协调时间:简称UTC,保持TAI与UT的时间不要差距过大. Unix时间:Unix系统时间表示法,用以表达时间轴上某一瞬间. epoch:简称为epoch毫秒数,…

20155330 2016-2017-2 <Java程序设计>第七周学习总结 教材学习内容总结 学习目标 了解Lambda语法 了解方法引用 了解Fucntional与Stream API 掌握Date与Calendar的应用 会使用JDK8新的时间API 第十二章 章节主要内容 小结 byLength方法的签署与Comparator的compare()方法相同. Lambda遇上this与final:Lambda表示式并不是匿名类别的语法蜜糖,如果Lambda表示式中捕获的局部变量本身等效于…

20172305 2018-2019-1 <Java软件结构与数据结构>第七周学习总结 教材学习内容总结 本周内容主要为书第十一章内容: 二叉查找树(附加属性的二叉树) 二叉查找树是对树中的每个结点,其左结点都要小于其父结点,而父结点又小于或等于其右结点. 二叉查找树的定义是二叉树定义的扩展. LinkedBinarySearchTree类的相关方法: addElement操作(类似有序列表的添加方法,元素必须是Comparable,不是的话会抛出NoComparableElementExce…