需求 统计每一个手机号耗费的总上行流量.下行流量.总流量. 输入数据: 1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240 0 404 5 18271575951 192.168.100.2 www.atguig…

引言:如何快速分析纷繁复杂的数据?如何快速做出老板满意的报表?如何快速将Speed-BI云平台运用到实际场景中?         本课程将通过各行各业案例背景,将Speed-BI云平台运用到实际场景中,通过熟练使用云平台可视化技巧,将枯燥的数字灵活化.可动化:通过统计图表的应用,将灵活可动的图表多样化.专业化,全方位多视角观察.分析案例相关数据,达到报表目的清晰.界面简洁.可分析维度多.反馈性强等目标,操作过程从数据整理至报表生成一步到位,主要涉及分析意图挖掘.指标判断选择.适用图表选择.多维度…

新硬盘挂载-fdisk+mount案例实操 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 现在很多服务器都支持热插拔了,当有新的硬盘插入到服务器上我们需要将其分区,格式化,然后挂载到操作系统中使用.相比这个过程大家都了解,我就不多废话了,这也是一个运维的基本功,本篇博客就用虚拟化软件(VMware Workstation,该软件的安装以及操作系统的安装我这里就不多做演示了,大家可以问大师兄(百度)或者二师兄(谷歌))为例子给大家演示. 一.给虚拟机添加新磁盘 1>.使用df命…

Kafka集群优化篇-调整broker的堆内存(heap)案例实操 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s 30) 参数说明:S0C:第一个幸存区的大小 S1C:第二个幸存区的大小 S0U:第一个幸存区的使用大小 S1U:第二个幸存区的使用大小 EC:伊甸园区的大小 EU:伊甸园区的使用大小 OC:老年代大…

哲学告诉我们:世界是一个普遍联系的有机整体,现象之间客观上存在着某种有机联系,一种现象的发展变化,必然受与之关联的其他现象发展变化的制约与影响,在统计学中,这种依存关系可以分为相关关系和回归函数关系两大类,本次分享,jacky将跟您分享如何用python做相关关系,并以真实金融案例为依托,深入浅出,探讨相关分析在实际工作中应用. 基础铺垫 相关系数(correlation coefficient) 相关系数是变量间关联程度的最基本测度之一,如果我们想知道两个变量之间的相关性,那么我们就可以计算相…

@ 目录 基本数据类型 集合数据类型 案例实操 基本数据类型 对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数. 集合数据类型 Hive有三种复杂数据类型ARRAY.MAP 和 STRUCT.ARRAY和MAP与Java中的Array和Map类似,而STRUCT与C语言中的Struct类似,它封装了一个命名字段集合,复杂数据类型允许任意层次的嵌套. Map和Struct的区别:Stru…

拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑. 对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等.同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain).Intercetpor的实现接口是org.apache.kafka.cl…

目录 1.使用步骤 2.案例: 1.hello word 2.作业依赖[dependsOn配置作业的依赖关系] 3.内嵌工作流 4.全局配置 [在开头通过config进行配置,后续可以通过${属性名}来引用] 5.自动重试[retries代表重试的次数,retry.backoff代表重试的时间间隔] 6.执行java程序 7.条件工作流 7.1 根据job的参数进行判断 7.2 azkaban内部宏 1.使用步骤 1)创建.project文件: azkaban-flow-version:2.0…

前言 Ansible是一款优秀的自动化IT运维工具,具有远程安装.远程部署应用.远程管理能力,支持Windows.Linux.Unix.macOS和大型机等多种操作系统. 下面就以CentOS 7.6为主机操作系统,演示安装Ansible工具的过程,将一个本地应用例子安装到远程主机,并在远程主机上运行应用. 一.环境准备 完成这个例子,最少需要两台主机,一台安装Ansible运维工具本身,用作管理主机,一台用作远程目标主机. 两台主机都预先安装了CentOS 7.6操作系统. # Ansible…

好久没有写博客了,为了养成学习的习惯,培养积极年轻的心态,又回到了博客园这个平台继续撸起时隔多年未光顾的空间. 项目需求: 实现一个简单的获取始发目的耗时.距离,将结果输出表格. 方案思路: 通过多线程方式调用http请求,将结果数据输出表格. 关键点分析: 多线程线程池大小如何分配 如何确保所有线程执行完毕 技术关键点: 多线程同步EventWaitHandle对象使用 ManualResetEvent线程信号使用 线程对象Thread使用 ParameterizedThreadStart线程…

需求: 数据结构:时间戳,省份,城市,用户,广告,中间字段使用空格分割. 样本如下: 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12 思路分析如下: 第一步:过滤无关的数据字段,只留下省份,广告第二步:省份与广告可以组成一个key,value就是该广告在该省份的点击次数 第三步:把省份这个字段作为key,将数据分隔到不同的集合:第四步:对分区内的数据按照value进行排序,使得在集合内实现有序 最后取…

1.什么是序列化 2.为什么要序列化 3.为什么不用Java的序列化 4.自定义bean对象实现序列化接口(Writable) 在企业开发中往往常用的基本序列化类型不能满足所有需求,比如在Hadoop框架内部传递一个bean对象,那么该对象就需要实现序列化接口. 具体实现bean对象序列化步骤如下7步: 1) 必须实现Writable接口 2) 反序列话时,需要反射调用无参构造方法,所以必须要有无参构造方法 3) 重写序列化方法write() 4) 重写反序列化方法readFields() 5)…

决策树是最经常使用的数据挖掘算法,本次分享jacky带你深入浅出,走进决策树的世界 基本概念 决策树(Decision Tree) 它通过对训练样本的学习,并建立分类规则,然后依据分类规则,对新样本数据进行分类预测,属于有监督学习. 优点 1)决策树易于理解和实现 使用者不需要了解很多的背景知识,通过决策树就能够直观形象的了解分类规则: 2)决策树能够同时处理数值型和非数值型数据 在相对短的时间内,能够对大型数据做出可行且效果良好的结果: 逻辑-类比找对象 决策树分类的思想类似于找对象,例如一个…

Golang的运算符优先级实操案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.运算符优先级案例 运算符是用来在程序运行时执行数学或逻辑运算的,在Go语言中,一个表达式可以包含多个运算符,当表达式中存在多个运算符时,就会遇到优先级的问题,此时应该先处理哪个运算符呢? 经过前面的学习,想必大家对Golang中支持的运算符有一定的了解了,其实Golang中的运算符大致分为四类,即特殊(后缀)运算符,单目运算符,双目运算符和逗号运算符. 特殊(后缀)运算符: 比如:小括号("…

mapreduce设计思想 概念:它是一个分布式并行计算的应用框架它提供相应简单的api模型,我们只需按照这些模型规则编写程序,即可实现"分布式并行计算"的功能. 案例一:wordcount经典案例 先写map方法 package com.gec.demo; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text…

HDFS集群PB级数据迁移方案-DistCp生产环境实操篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 用了接近2个星期的时间,终于把公司的需要的大数据组建部署完毕了,当然,在部署的过程中踩了不少坑,自己也对系统,网络,各个大数据生态圈常用软件进行了调优操作,后期等我整理好笔记后会分享给大家参考的.集群是部署好了,但是没有数据的话也没有人会去用.因此我们需要把旧集群的数据迁移至新集群中(旧集群的数据都是存放在云平台上的,而新集群),在迁移的过程中,参考网上的很多解决方案,最…

上一篇文章 .net基础学java系列(三)徘徊反思 本章节没啥营养,请绕路! 看视频,不实操,对于上了年龄的人来说,是记不住的!我已经看了几遍IDEA的教学视频: https://edu.51cto.com/course/15850.html,此视频分如下13节! 1-1 Idea介绍(刷过去,不看了) 1-2 Idea安装(刷过去,不看了,官网介绍的使用ToolBox安装,更好!) 1-3 idea创建普通Java工程(好吧,这里就跟.net的控制台应用程序一样嘛!) 1-4 idea设置样…

2019年3月,百度正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨.经过短短几个月时间,百度ERNIE再升级,发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型.继1.0后,ERNIE英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果. 本篇内容可以说是史上最强实操课程,由浅入深完整带大家试跑ERNIE,大家可前往AI Studio fork代码 (https://ais…

创建用户实操 1.创建用户god useradd god passwd god 2.设置ssh免密 ssh-copy-id -i id_dsa node02 3.修改hdfs-site.xml中的ssh路径,并且分发 4.god start-dfs.sh 用户权限实操 node01: su god hdfs dfs -mkdir /temp hdfs dfs -chown god:ooxx /temp hdfs dfs -chmod /temp node04: root: useradd goo…

原文地址:Web Application Security Checklist 原文作者:Teo Selenius(已授权) 译者 & 校正:HelloGitHub-小熊熊 & 卤蛋 对于开发者而言,网络安全的重要性不言而喻.任何一处代码错误.一个依赖项漏洞或是数据库的端口暴露到公网,都会有可能直接送你上热搜. 那么,哪里可以找到详细的避雷指引呢?OWASP's top 10 清单太短了,而且它更关注的是漏洞罗列,而非对预防.相比之下,ASVS是个很好的列表,但还是满足不了实际需求. 本文…

kivy提供了Button按钮一系列属性来改变样式,下面列了常用的一些Button属性并用实操案例进行演练学习. 新建一个main.py,内容代码如下: from kivy.app import App from kivy.uix.button import Button from kivy.uix.floatlayout import FloatLayout class ButtonFloatLayout(FloatLayout): def __init__(self,**kwargs): s…

目录 Iptables之实操 简介 名称概念: 四表中常用的表 Nat表 Filter表 iptables表和链的工作流程图 iptables过滤图 Iptables安装 Iptables 命令说明 Iptables常用命令 Iptables常用语法 常见案例 模块 multiport模块 iprange模块 string模块 time模块 icmp模块 connlimit模块 limit模块 补充知识: 查看centos版本 查看本机端口占用的命令: iptables脚本设置 补充案例 易错点…

[性能基础] 性能测试概念.术语:https://www.cnblogs.com/uncleyong/p/10706519.html 性能测试流程(新):https://www.cnblogs.com/uncleyong/p/12311887.html(获取访问密码,请关注公众号:全栈测试笔记,回复:密码) 性能测试基础[第三篇]性能测试方案 性能测试基础[第四篇]性能测试用例设计(单场景.混合场景.稳定性场景等) 性能测试基础[第五篇]性能测试报告(请联系作者) TPS和QPS的区别 [jme…

文章关键词:RFC2544.丢包率.吞吐量. 丢包率概述: 丢包率(Frame Loss Rate)测试的目的是确定DUT在不同的负载和帧长度条件下的丢包率.在稳定负载下,由于网络设备资源缺乏,应该正确转发而没有转发的包占接收包的百分比就是丢包率.实际的测试方法是以一定发送速率向DUT发送一定数量X的包,并统计被DUT转发的包的数量Y. 因此我们可得出丢包率的计算公式:[(发送包数量X-接受包数量Y)x100]/发送包数量X.在这里有两个知识点是需要大家清楚的,首先是吞吐量<测试速率<线速:其…

目录 一.模块的绝对导入和相对导入 二.包的概念 三.编程思想的转变 四.软件开发目录规范 五.常见的内置模块 一.时间模块之datatime模块 1.datetime.datetime.today() 2.datetime.date.today() 3.datetime.date.today() 4.datetime.datetime.now()(不常用) 5.通过点的方式只取年或者月或者日等内置方法 二.os模块 os模块是与操作系统交互的一个接口 1.os.mkdir 2.os.maked…

因为原来的是Discuz! X3.4论坛,目前访问不了,但里面有两个栏目是比较有用的,一个付费栏目,另一个免费栏目,放在硬盘有点可惜,于是想把它转为wordpress的两个栏目.发现网上都没有详细过程,非常郁闷.于是自己实操了起来,成功地转为wordpress的两个栏目.请看这个案例网站:网创无忧.好了,废话不多说,请看详细步骤.(所使用到的文件都会在最后提供下载,省得你去找和编写) 1.准备工作和使用工具 a.准备工作. 原来的论坛是安装了VIP用户隐藏可见 1.4.8 ,所以请你准备搭建好一…

作为.Net工地搬砖长工一名,一直致力于挖坑(Bug)填坑(Debug),但技术却不见长进.也曾热情于新技术的学习,憧憬过成为技术大拿.从前端到后端,从bootstrap到javascript,从python到Node.js,了解过设计模式,也跟风了微信公众号开发.然而却浅尝辄止,未曾深入.买了一本本的技术书籍,没完整的翻完一本.屯了一部部的pdf,却只是在手机里占着内存.想过改变,却从未曾着手改变. 以上算是我程序猿生涯的真实写照. 现在我要尝试改变,从基础的helloworld开始,记下学习…

酒,是个好东西,前提要适量.今天参加了公司的年会,主题就是吃.喝.吹,除了那些天生话唠外,大部分人需要加点酒来作催化剂,让一个平时沉默寡言的码农也能成为一个喷子!在大家推杯换盏之际,难免一些画面浮现脑海,有郁闷抓狂的,有出成果喜极而涕的,有不知前途在哪儿的迷茫与不安……总的来说,近一年来,不白活,不虚度,感触良多,不是一言两语能说得清道的明的,有时间可以做个总结,下面还是言归正传谈技术吧. 上篇在了解了Hadoop的目录和源码结构后,说好的要啃源码的,那就得啃.也感谢一直以来关注我.支持我的网友…

  遗留问题: Hadoop序列化可以复用对象,是在哪里复用的? 介绍Hadoop序列化机制 Hadoop序列化机制详解 Hadoop序列化的核心 Hadoop序列化的比较接口 ObjectWritable类 参考 Comparable 和 Comparator ConcurrentHashMap     介绍Hadoop序列化机制        JAVA的序列化机制是在对象流ObjectOutputStream对象上调用writeObject 方法.Hadoop的序列化机制是通过write函数…

1.采用的方法: java序列化机制采用的ObjectOutputStream 对象上调用writeObject() 方法: Hadoop 序列化机制调用对象的write() 方法,带一个DataOutput 类型的参数: 2.反序列化过程: 两者都是从流中读取数据,java的反序列化过程会不断的创建新的对象:Hadoop反序列化机制不断的复用对象(在Block 的某个对象上反复调用readFields(),可以在同一个对象上得到多个反序列化的结果,而不是多个反序列化的结果对象(对象被复用了),…