第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.4 Flume Agent内部原理1.5 Hadoop三大发行版本第2章 Flume快速入门2.1 Flume安装地址2.2 安装部署第3章 Flume企业开发案例3.1 监控端口数据官方案例3.2 实时读取本地文件到HDFS案例3.3 实时读取目录文件到HDFS案例3.4 单数据源多…
11.1 京东 问题1:使用Linux命令查询file1中空行所在的行号 答案: [atguigu@hadoop102 datas]$ awk '/^$/{print NR}' sed.txt 问题2:有文件chengji.txt内容如下: 张三 40 李四 50 王五 60 使用Linux命令计算第二列的和并输出 [atguigu@hadoop102 datas]$ cat chengji.txt | awk -F " " '{sum+=$2} END{print sum}' 11.…
百度&考满分 问题:Linux常用命令 参考答案:find.df.tar.ps.top.netstat等.(尽量说一些高级命令) 瓜子二手车 问题:Linux查看内存.磁盘存储.io 读写.端口占用.进程等命令 答案: 1.查看内存:top 2.查看磁盘存储情况:df -h 3.查看磁盘IO读写情况:iotop(需要安装一下:yum install iotop).iotop -o(直接查看输出比较高的磁盘读写程序) 4.查看端口占用情况:netstat -tunlp | grep 端口号 5.查…
个人博客网:https://wushaopei.github.io/    (你想要这里多有) 十.Shell工具(重点) 1.cut cut 的工作就是“剪”,具体的说就是在文件中负责剪切数据用的. cut 命令从文件的每一好难过剪切字节.字符和字段并将这些字节.字符和字段输出. 1.1 基本用法 cut [选项参数] filename 说明: 默认分隔符是制表符 1.2 选项参数说明    选项参数   功能    -f 列好,提取第几列   -d 分隔符,按照指定分隔符分割列 1.3 案例…
版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/zhangdaiscott/article/details/26580037     开发指南专题十一:JEECG微云高速开发平台--基础用户权限    11.1. 权限设计 基本概念 权限管理模块涉及到的实体有:用户.角色和系统资源(包含系统菜单.页面button等). 用户能够拥有多个角色.角色能够被分配给多个用户. 而权限的意思就是对某个资源的某个操作.一般通用的权限管理模块规定:所谓资源…
10.1 cut cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的.cut 命令从文件的每一行剪切字节.字符和字段并将这些字节.字符和字段输出. 1.基本用法 cut [选项参数]  filename 说明:默认分隔符是制表符 2.选项参数说明 表1-55 选项参数 功能 -f 列号,提取第几列 -d 分隔符,按照指定分隔符分割列 3.案例实操 (0)数据准备 [atguigu@hadoop101 datas]$ touch cut.txt [atguigu@hadoop101 da…
7.1 if 判断 1.基本语法 if [ 条件判断式 ];then 程序 fi 或者 if [ 条件判断式 ] then 程序 fi 注意事项: (1)[ 条件判断式 ],中括号和条件判断式之间必须有空格 (2)if后要有空格 2.案例实操 (1)输入一个数字,如果是1,则输出banzhang zhen shuai,如果是2,则输出cls zhen mei,如果是其它,什么也不输出. [atguigu@hadoop101 datas]$ touch if.sh [atguigu@hadoop1…
[教程主题]:Bash Shell [课程录制]: 创E [主要内容] [1] Hello World! 几乎所有的讲解编程的书给读者的第一个例子都是 Hello World 程序,那么我们今天也就从这个例子出发,来逐步了解 BASH. 用 vim 编辑器编辑一个 hello 文件如下: #!/bin/bash # This is a very simple exampleecho “Hello World” 一,第一行的 #! 是什么意思 #! 是说明 hello 这个文件的类型的,有点类似于…
前言 本人Java开发,5年经验,7月初来到帝都,开启面试经历,前后20天左右,主面互联网公司,一二线大公司或者是融资中的创业公司都面试过,拿了一些offer,其中包括奇虎360,最后综合决定还是去百度了. 首先不同面试官面试风格一定不同,我这里就是总结这些天面试Java开发过程中的大多数问题,综合分类有Java基础,框架,多线程,网络通信,数据库,设计模式,算法,等几个模块,由于问题太多,下面先列出问题,之后有时间在写文章解答,或者网上有很多答案,可以自行搜索. 关于专业技能 写完项目接着写写…
一.重点 面试题 1. 临时表查询: -- 查询高于本部门平均工资的人员 #1.先查询部门人员的平均工资 SELECT dept_id,AVG(salary)as sal from person GROUP BY dept_id; #2.再用人员的工资与部门的平均工资进行比较 SELECT * FROM person as p1, (SELECT dept_id,AVG(salary)as '平均工资' from person GROUP BY dept_id) as p2 where p1.d…
脚本准备 0Batch_Check.sh 1port_check.sh 2wechat_bot_alert.sh CheckList CheckList #支持大/小写 10.1.1.5 Udp 53 127.0.0.1 Tcp 1234 0Batch_Check.sh #!/bin/sh while read LineX do #echo $LineX ./1port_check.sh $LineX done < ./CheckList 1port_check.sh #!/bin/sh #TC…
一.引用 其实在去年本人已经看过很多关于领域驱动设计的书籍了,包括Microsoft .NET企业级应用框架设计.领域驱动设计C# 2008实现.领域驱动设计:软件核心复杂性应对之道.实现领域驱动设计和Asp.net 设计模式等书,但是去年的学习仅仅限制于看书,当时看下来感觉,领域驱动设计并没有那么难,并且感觉有些领域驱动设计的内容并没有好的,反而觉得有点华而不实的感觉,所以去年也就放弃了领域驱动设计系列的分享了,但是到今年,在博客园看到还是有很多人写领域驱动的文章,以及介绍了领域驱动设计相关的…
逻辑思维面试题 一.假设有一个池塘,里面有无穷多的水.现有2个空水壶,容积分别为5升和6升.问题是如何只用这2个水壶从池塘里取得3升的水.[请描述操作过程] 答:(1)先用容积为6升的水壶装满水: (2)将这些水倒入容积为5升的水壶中,此时容积为6升的水壶中剩下1升水: (3)将容积为5升的水壶中的水全倒掉,将那一升水倒入容积为5升的水壶中: (4)再次重复步骤(1)~(3)两次,即可,最后容积为6升的水壶中将会有3升的水. 二.周雯的妈妈是豫林水泥厂的化验员.一天,周雯来到化验室做作业.做完后…
引言: 在这个专题将为大家揭开下FTP这个协议的面纱,其实学习知识和生活中的例子都是很相通的,就拿这个专题来说,要了解FTP协议然后根据FTP协议实现一个文件下载器,就和和追MM是差不多的过程的,相信大家追MM都有自己的经验的,我感觉大部分的过程肯定是——第一步: 先通过工作关系或者朋友关系等认识MM(认识FTP协议,知道FTP协议的是什么) : 第二步: 当然了解MM有兴趣爱好了(了解FTP协议有哪些命令和工作过程)第三步:如果对方是你的菜的话,那当然要采取追求的了(就好比用了解到的FTP协议…
[~/shell]$ cat one.sh #!/bin/bash path=/root/shell/test.txt if [ ! -f $path ] //检测文件是否存在,如果不存在,把内容改为ip为123的 then echo "addr:192.168.1.123 masknet:255.255.255.0 dns:192.168.1.1">test.txt else //存在,修改内容为ip为100的 echo "addr:192.168.1.100 mas…
今天到某公司笔试,数据库考的比较多,但是说老实话,考的也比较基础.现在趁回忆得起来,将数据库知识简单整理如下: 一.建表指令 比如创建一个学生表student,它由学号Sno,姓名Sname,性别Ssex,年龄Sage,所在系Sdept五个属性组成.其中学号不能为空,值是唯一的,并且姓名取值也唯一. CREATE TABLE Student (Sno    CHAR(10) NOT NULL UNIQUE, Sname  CHAR(20) UNIQUE, Ssex    char(2), Sag…
引言: 在这个专题将为大家揭开下FTP这个协议的面纱,其实学习知识和生活中的例子都是很相通的,就拿这个专题来说,要了解FTP协议然后根据FTP协议实现一个文件下载器,就和和追MM是差不多的过程的,相信大家追MM都有自己的经验的,我感觉大部分的过程肯定是——第一步: 先通过工作关系或者朋友关系等认识MM(认识FTP协议,知道FTP协议的是什么) : 第二步: 当然了解MM有兴趣爱好了(了解FTP协议有哪些命令和工作过程)第三步:如果对方是你的菜的话,那当然要采取追求的了(就好比用了解到的FTP协议…
2019年春杭州邦盛科技java面试题. 1,java基本类型 byte,char,short,int,long,float,double,boolean. 2,重写重载 重写,子类重写父类的方法,方法名.参数类型.返回类型都和父类相同,所涉及到的权限修饰符必须大于被重写的方法,public>private>default>protect,重写方法不能出现新的检查异常,或者比被重写方法更宽泛的检查型异常. 重载,发生在一个类中,方法名相同,参数不同,返回值不作为判定条件. 我个人对重写和…
序言 单线程的redis为什么这么快? 1.纯内存操作不需要进行磁盘的 IO 2.单线程操作避免了频繁上下文切换 3.采用非阻塞的多路I/O复用模型 什么是路I/O复用模型? 核心是监听socket,压到队列.文件事件分派器快速处理. 假如Redis里面有1亿个key,其中有10w个key是以某个固定的已知的前缀开头的,如果将它们全部找出来? redis是单线程的.keys指令会导致线程阻塞一段时间,线上服务会停顿,直到指令执行完毕,服务才能恢复.这个时候可以使用scan指令,scan指令可以无…
题目链接:https://vjudge.net/problem/POJ-3436 Sample input 1 3 4 15 0 0 0 0 1 0 10 0 0 0 0 1 1 30 0 1 2 1 1 1 3 0 2 1 1 1 1 题目:P  —— 一台电脑由p个零件组成 N —— 工厂有n台加工组装电脑的机器 Q ——— i-th机器每单位时间能工作的数量 当每个未成品需要放入某个机器进一步加工的时候,它需要满足这台机器能正常工作的前提,即它必须满足某些零件已经组装好了.样例1: 前p个…
1. 栈.堆.方法区关系交互 运行时数据区结构图: 从线程共享与否的角度来看: 2. 方法区的理解 2.1 方法区在哪里? <Java虚拟机规范>中明确说明:“尽管所有的方法区在逻辑上属于堆的一部分,但一些简单的实现可能不会选择去进行垃圾收集或者进行压缩.”但对于HotSpotJVM而言,方法区还有一个别名叫做Non-heap(非堆),目的就是要和堆分开. 所以,方法区可以看作是一块独立于Java堆的内存空间. 2.2 方法区的基本理解 方法区(Method Area)与Java堆一样,是各个…
9.1 系统函数 1.basename基本语法 basename [string / pathname] [suffix]   (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来. 选项: suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉. 2.案例实操 (1)截取该/home/atguigu/banzhang.txt路径的文件名称 [atguigu@hadoop101 datas]…
4.1 系统变量 1. 常用系统变量 $HOME.$PWD.$SHELL.$USER等 2.案例实操 (1)查看系统变量的值 [atguigu@hadoop101 datas]$ echo $HOME /home/atguigu (2)显示当前Shell中所有变量:set [atguigu@hadoop101 datas]$ set BASH=/bin/bash BASH_ALIASES=() BASH_ARGC=() BASH_ARGV=() 4.2 自定义变量 1.基本语法 (1)定义变量:…
1.脚本格式 脚本以#!/bin/bash开头(指定解析器) 2.第一个Shell脚本:helloworld (1)需求:创建一个Shell脚本,输出helloworld (2)案例实操: [atguigu@hadoop101 datas]$ touch helloworld.sh [atguigu@hadoop101 datas]$ vi helloworld.sh 在helloworld.sh中输入如下内容 #!/bin/bash echo "helloworld" (3)脚本的常…
(1)Linux提供的Shell解析器有: [atguigu@hadoop101 ~]$ cat /etc/shells /bin/sh /bin/bash /sbin/nologin /bin/dash /bin/tcsh /bin/csh (2)bash和sh的关系 [atguigu@hadoop101 bin]$ ll | grep bash -rwxr-xr-x. root root 5月 bash lrwxrwxrwx. root root 5月 sh -> bash (3)Cento…
大数据程序员为什么要学习Shell呢? 1)需要看懂运维人员编写的Shell程序. 2)偶尔会编写一些简单Shell程序来管理集群.提高开发效…
前言 ​ 上次讲解了JVM内存相关知识,今天继续JVM专题. JVM垃圾回收算法 什么是垃圾回收 ​ 程序的运行必然需要申请内存资源,无效的对象资源如果不及时处理就会一直占有内存资源,最终将导致内存溢出,所以对内存资源的管理是非常重要了. 什么样的对象需要回收 引用计数法 ​ 引用计数是历史最悠久的一种算法,最早George E. Collins在1960的时候首次提出,50年后的今天,该算法依然被很多编程语言使用. 原理 ​ 假设有一个对象A,任何一个对象对A的引用,那么对象A的引用计数器+1…
前言 ​ JMM即java内存模型,JMM研究的就是多线程下Java代码的执行顺序,共享变量的读写.它定义了Java虚拟机在计算机内存中的工作方式.从抽象角度看,JMM定义了线程和主存之间的抽象关系:线程之前的共享变量存储在主内存中,每个线程有个私有的本地内存,本地内存中存储了该线程读写共享变量的副本.本地内存是JMM的一个抽象概念,并不真实存在.它涵盖了缓存.写缓冲区.寄存器以及其他硬件和编译器优化. ​ 先抛出两个问题: 你写的代码一定是实际运行的代码吗? 代码的编写顺序,一定是实际执行的顺…
        ID Origin Title   34 / 81 Problem A POJ 3436 ACM Computer Factory   92 / 195 Problem B POJ 3281 Dining   55 / 148 Problem C POJ 1087 A Plug for UNIX   59 / 111 Problem D POJ 2195 Going Home   44 / 132 Problem E POJ 2516 Minimum Cost   35 / 72…
  注意事项 1)开头加解释器:#!/bin/bash 2)语法缩进,使用四个空格:多加注释说明. 3)命名建议规则:变量名大写.局部变量小写,函数名小写,名字体现出实际作用. 4)默认变量是全局的,在函数中变量local指定为局部变量,避免污染其他作用域. 5)有两个命令能帮助我调试脚本:set -e 遇到执行非0时退出脚本,set-x 打印执行过程. 6)写脚本一定先测试再到生产上. 本章目录: 12.1 获取随机字符串或数字 获取随机8位字符串: 方法1: # echo $RANDOM |…