sed实战、find实战、grep实战

1.find实战 # 删除指定文件(三种方法) find /data/ -type f -name "*.log" -exec rm {} \; find /data/ -type f -name "*.log" | xargs rm -f rm -f `find /data/ -type f -name "*.log"` # 删除修改时间在30天之前的文件,+30:30天之前;30:第三十天;-30:最近30天 find /data/ -typ…

(转)不看绝对后悔的Linux三剑客之grep实战精讲

不看绝对后悔的Linux三剑客之grep实战精讲原文:http://blog.51cto.com/hujiangtao/1923675 https://www.cnblogs.com/peida/archive/2012/12/17/2821195.html 三.Linux三剑客之grep命令精讲 [命令简介]Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来.grep全称是Global Regular Expression Print,表…

项目实战——企业级Zabbix监控实战（一）

项目实战--企业级Zabbix监控实战实验一:Zabbix监控的搭建 1.实验准备 centos系统服务器3台. 一台作为监控服务器, 两台台作为被监控节点, 配置好yum源. 防火墙关闭. 各节点时钟服务同步. 各节点之间可以通过主机名互相通信. 1)所有机器关闭防火墙和selinux iptables -F && setenforing 2)根据架构图,实验基本设置如下: 2.Zabbix的安装 1)更新我们的yum仓库我们去官网下载一个包zabbix-release-3.4-2.…

Spark RDD/Core 编程 API入门系列之rdd实战（rdd基本操作实战及transformation和action流程图）（源码）（三）

本博文的主要内容是: 1.rdd基本操作实战 2.transformation和action流程图 3.典型的transformation和action RDD有3种操作: 1. Trandformation 对数据状态的转换,即所谓算子的转换 2. Action 触发作业,即所谓得结果的 3. Contoller 对性能.效率和容错方面的支持,如cache.persist.checkpoint Contoller包括cache.persist.checkpoint. /…

整理grep实战文本搜索过滤技巧

一:grep的简介: 文本搜索工具,根据用户指定的文本模式对目标文件进行逐行搜索,显示能够被模式所匹配到的行.配合正则表达式的使用可以实现强大的文本处理.下面一一说明正则的例子. 二:文本处理工具分类常用的有:grep,egrep,fgrep. 区别: grep:在没有参数的情况下,只输出符合RE(Regular Expression)字符. egrep:等同于grep -E,和grep最大的区别就是表现在转义符上比如grep 做次数匹配时\{n,m\}egrep则不需要直接{n,m}.egr…

深入浅出Hadoop Mahout数据挖掘实战(算法分析、项目实战、中文分词技术)

Mahout简介 Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目, 提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序 Mahout相关资源 Mahout主页:http://mahout.apache.org/ Mahout 最新版本0.8下载: http://mirrors.hust.edu.cn/apache/mahout/0.8/ 使用mahout-distribution-0.8.tar.g…

kubernetes云平台管理实战：故障自愈实战（四）

一.创建实验文件 [root@k8s-master ~]# cat myweb-rc.yml apiVersion: v1 kind: ReplicationController metadata: name: myweb spec: replicas: 3 selector: app: myweb template: metadata: labels: app: myweb spec: containers: - name: nginx image: 10.0.128.0:5000/nginx…

深度学习之PyTorch实战（3）——实战手写数字识别

上一节,我们已经学会了基于PyTorch深度学习框架高效,快捷的搭建一个神经网络,并对模型进行训练和对参数进行优化的方法,接下来让我们牛刀小试,基于PyTorch框架使用神经网络来解决一个关于手写数字识别的计算机视觉问题,评价我们搭建的模型的标准是它是否能准确的对手写数字图片进行识别. 其具体的过程是:先使用已经提供的训练数据对搭建好的神经网络模型进行训练并完成参数优化,然后使用优化好的模型对测试数据进行预测,对比预测值和真实值之间的损失值,同时计算出结果预测的准确率.在将要搭建的模型中会使用到…

大数据开发实战：Hive优化实战3-大表join大表优化

5.大表join大表优化如果Hive优化实战2中mapjoin中小表dim_seller很大呢?比如超过了1GB大小?这种就是大表join大表的问题.首先引入一个具体的问题场景,然后基于此介绍各自优化方案. 5.1.问题场景问题场景如下: A表为一个汇总表,汇总的是卖家买家最近N天交易汇总信息,即对于每个卖家最近N天,其每个买家共成交了多少单,总金额是多少,假设N取90天,汇总值仅取成交单数. A表的字段有:buyer_id.seller_id.pay_cnt_90day. B表为卖家基本信…

大数据开发实战：Hive优化实战2-大表join小表优化

4.大表join小表优化和join相关的优化主要分为mapjoin可以解决的优化(即大表join小表)和mapjoin无法解决的优化(即大表join大表),前者相对容易解决,后者较难,比较麻烦. 首先介绍大表join小表优化.以销售明细表为例来说明大表join小表的场景. 假如供应商进行评级,比如(五星.四星.三星.二星.一星),此时因为人员希望能够分析各供应商星级的每天销售情况及其占比. 开发人员一般会写出如下SQL: select seller_star, count(order_id)…

大数据开发实战：Hive优化实战1-数据倾斜及join无关的优化

Hive SQL的各种优化方法基本都和数据倾斜密切相关. Hive的优化分为join相关的优化和join无关的优化,从项目的实际来说,join相关的优化占了Hive优化的大部分内容,而join相关的优化又分为mapjoin可以解决的join优化和mapjoin无法解决的join优化. 1.数据倾斜倾斜来自于统计学里的偏态分布.所谓偏态分布,即统计数据峰值与平均值不相等的频率分布,根据峰值小于或大于平均值可分为正偏函数和负偏函数,其偏离的程度可用偏态系数刻画. 对应分布式数据处理来说,希望数据…

go语言实战教程：Redis实战项目应用

项目Redis配置在实战项目中使用Redis功能,首先需要进行Redis配置.本实战项目中,关与Redis的配置项包含:连接类型.地址.端口.公共前缀.以上配置项被定义包含在Iris框架的redis包中的Config结构体中,Config定义如下: type Config struct { // Network "tcp" Network string // Addr "127.0.0.1:6379" Addr string // Password string…

添物零基础到大型全栈架构师 Java实战及解析（实战篇）- 概述

实战篇是在基础之上,进一步提升的内容.通过实战篇可以深入理解Java相关框架和库的使用,能够独立开发小模块,或者按照架构师的指导进行代码编写和完善. 主要讲解核心框架和库的使用和使用场景介绍.通过对这些工作中经常使用的第三方框架和库的学习理解,更好的理解整个程序的结构和编程思想等,获得技能的提高和升华. 实战课程也会将涉及到的框架和内容应用到具体的项目中. 实战课程会涉及到常用的基础框架和库介绍: Spring MyBatis Hibernate Struts Redis 消息(JMS) Z…

《ElasticSearch6.x实战教程》之实战ELK日志分析系统、多数据源同步

第十章-实战:ELK日志分析系统 ElasticSearch.Logstash.Kibana简称ELK系统,主要用于日志的收集与分析. 一个完整的大型分布式系统,会有很多与业务不相关的系统,其中日志系统是不可或缺的一个,集中式日志系统需要收集来自不同服务的日志,对它进行集中管理存储以及分析.ELK就是这样一个系统. ElasticSearch是一个开源分布式搜索引擎,在ELK系统中提供对数据的搜索.分析.存储. Logstash主要用于日志的收集,在ELK系统中作为日志数据源的传输. Kiban…

ATT&CK实战系列红队实战（一）————环境搭建

首先感谢红日安全团队分享的靶机实战环境.红队实战系列,主要以真实企业环境为实例搭建一系列靶场,通过练习.视频教程.博客三位一体学习. 靶机下载地址:http://vulnstack.qiyuanxuetang.net/vuln/ 本文的目的是为了记录和巩固知识点,并分享出来,希望对大家能有所帮助. 首先下载地址:https://pan.baidu.com/share/init?surl=nC6V8e_EuKfaLb2IuEbe7w 提取码:n1u2 开机密码:hongrisec@2019 VMw…

【渗透实战】web渗透实战，手动拿学校站点得到上万人的信息（漏洞已提交）

------------恢复内容开始------------ ’‘’版权tanee转发交流学校请备注漏洞已经提交学校管理员关键过程的截图和脚本代码已经略去.希望大家学习技术和思路就好,切勿进行违法犯罪的活动.本实战案例仅作为技术分享,切勿在未经许可的任何公网站点实战.‘’‘ 昨天有个朋友问我能不能拿一个学校的站.我说学校的一般做的挺好的,都是外包,加了waf,安全狗,360之类的.他坚持让我试试,他说卡了很久没拿下.想着在家也无事做就去试试玩.首先用了动态代理,怕有抓IP的脚本检测.然后点看了学…

ElasticSearch实战系列七: Logstash实战使用-图文讲解

前言在上一篇中我们介绍了Logstash快速入门,本文主要介绍的是ELK日志系统中的Logstash的实战使用.实战使用我打算从以下的几个场景来进行讲解. 时区问题解决方案在我们使用logstash将采集的数据传输到ES中的时候,会发现采集的时间@timestamp的时间和我们本地的不一致,这个主要是因为时区的问题导致的,我们在计算时间的时候需要将这个时间增加8小时,但是这样会很不方便.为了永久解决这个问题,我们可以在logstash中的filter中对该字段进行转换,增加8小时. 添加的配…

【目标检测实战】目标检测实战之一--手把手教你LMDB格式数据集制作！

文章目录 1 目标检测简介 2 lmdb数据制作 2.1 VOC数据制作 2.2 lmdb文件生成 lmdb格式的数据是在使用caffe进行目标检测或分类时,使用的一种数据格式.这里我主要以目标检测为例讲解lmdb格式数据的制作. 1 目标检测简介 [1]目标检测主要有两个任务: 判断图像中对象的类别类别的位置 [2]目标检测需要的数据: 训练所需的图像数据,可以是jpg.png等图片格式图像数据对应的类别信息和类别框的位置信息. 2 lmdb数据制作 caffe一般使用lmdb格式的数据,…

redis3.0 集群实战3 - java编程实战

本文主要描述使用jedis进行redis-cluster操作 jedis jedis是redis官方推荐使用的java redis客户端,github地址为,https://github.com/xetorthio/jedis,本文使用jedis进行redis集群的操作. jedis从2.3.0版本后开始支持redis cluster,不过看官方的released文档(https://github.com/xetorthio/jedis/releases)在2.3.0版本后的每个版本都会修复…

《OD大数据实战》HBase入门实战

官方参考文档:http://abloz.com/hbase/book.html#shell_tricks 1.2.3. Shell 练习用shell连接你的HBase $ ./bin/hbase shell HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell Version: 0.90.0,…

[Dubbo实战]dubbo + zookeeper + spring 实战（转）

这里最熟悉的就是spring了,项目中应用很多.dubbo是一个实现分布式的框架,zookeeper是注册中心.给我的感觉就像多对多关系的两者表,zookeeper相当于第三张表维护关系.下面通过一个小程序加深认识. 一.安装zookeeper 去官网下载zookeeper, 然后解压到目录中,我解压到了E:\zookeeper-3.3.6,在启动zookeeper之前,首先找到conf文件夹下的 zoo_sample.cfg,重新命名为zoo.cfg,网上说zookeeper启动的时候这个文件…