Redis概念 Redis是一个由C语言编写.基于key-value存储结构的开源NoSQL数据库,其读写速度为10万次/秒,这个速度已经远远大于传统的关系型数据库. 使用场景 在高并发的情况下,可将Redis作为应用程序与关系数据库之间的缓存. 读操作:直接从Redis中高速读取数据: 写操作:写操作有两种方式: A. 先将数据写入MySQL 数据库,用于持久化,然后再将写入的数据同步至Redis中,方便后面访问量上来后高速读取: B. 在高并发访问的情况下,可以先将读写操作都在Redis中执…

1.MapReduce的定义 2.MapReduce的优缺点 优点 缺点 3.MapReduce的核心思想 4.MapReduce进程 5.常用数据序列化类型 6.MapReduce的编程规范 用户编写的程序分成三个部分:Mapper.Reducer和Driver 7.WordCount简单操作 需求:在给定的文本文件中统计输出每一个单词出现的总次数 如一个类似这样的文件 Mapper类 package com.nty.wordcount; import org.apache.hadoop.io…

# coding=utf-8 name_l = [] passwd_l = [] money_l = [] goods = {} index = 0 def input_user(): print("输入个人信息:") while True: name = input("name: ") if name == "结束!": break passwd = input("passwd: ") money = float(input…

本文主要记录一些操作步骤,作为自己学习的一个记录,也供虚拟机上学习redis的人参考. 实操篇,可以参考 http://redis.cn/ 主从复制实操 在test目录下新建配置进行练习 1.mkdir test 创建test目录 2.cd /etc/redis/ -rw-r--r--. 1 root root 61873 Mar 24 19:38 6379.conf 3. 启动3个实例,测试 4.cp /etc/redis/* ./ copy 配置到 test目录,作为练习 5.修改 conf…

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 在本文中,作者引出了"外部数据"这一概念,并实例分析,如何从海量的外部数据中获取可以对自身业务起到指导作用和借鉴意义的insight,并借助外部环境数据来优化自己. 现在互联网上关于"增长黑客"的概念很火,它那"四两拨千斤"."小投入大收益"的神奇法力令无数互联网从业者为之着迷.一般来说…

决策树是最经常使用的数据挖掘算法,本次分享jacky带你深入浅出,走进决策树的世界 基本概念 决策树(Decision Tree) 它通过对训练样本的学习,并建立分类规则,然后依据分类规则,对新样本数据进行分类预测,属于有监督学习. 优点 1)决策树易于理解和实现 使用者不需要了解很多的背景知识,通过决策树就能够直观形象的了解分类规则: 2)决策树能够同时处理数值型和非数值型数据 在相对短的时间内,能够对大型数据做出可行且效果良好的结果: 逻辑-类比找对象 决策树分类的思想类似于找对象,例如一个…

生产环境搭建高可用Harbor(包括恢复演练实操) 前言 因资源成本问题,本Harbor高可用架构为最小开销方案,如果资源充足,可以将PG.Redis全部使用使用云厂商集群模式. 同时为了配置简单,并没用使用keepalived与heartbeat等高可用开源组件. 准备工作 阿里云SLB 阿里云ECS 共享存储 Redis 最小实例SLB 2c4g 俩台 阿里云NFS 阿里云Redis 操作系统为Ubuntu18.04,在俩台ECS上搭建主从PG,如果不想用阿里云redis,也可以使用ECS搭…

[性能基础] 性能测试概念.术语:https://www.cnblogs.com/uncleyong/p/10706519.html 性能测试流程(新):https://www.cnblogs.com/uncleyong/p/12311887.html(获取访问密码,请关注公众号:全栈测试笔记,回复:密码) 性能测试基础[第三篇]性能测试方案 性能测试基础[第四篇]性能测试用例设计(单场景.混合场景.稳定性场景等) 性能测试基础[第五篇]性能测试报告(请联系作者) TPS和QPS的区别 [jme…

目录 一.模块的绝对导入和相对导入 二.包的概念 三.编程思想的转变 四.软件开发目录规范 五.常见的内置模块 一.时间模块之datatime模块 1.datetime.datetime.today() 2.datetime.date.today() 3.datetime.date.today() 4.datetime.datetime.now()(不常用) 5.通过点的方式只取年或者月或者日等内置方法 二.os模块 os模块是与操作系统交互的一个接口 1.os.mkdir 2.os.maked…

@Webkio 前言: 最近在跟朋友搞一些项目玩,所以最近没怎么更新内容接下来我将在虚拟中模拟内网多层靶场,进行内网渗透实验,超详细,适合小白.本文仅供网安学习,不可利用于未授权渗透工作中,否则后果自负.码字截图不易,转载记得署名. 微信关注公众号: JiuZhouSec 不定期更新渗透干货,适合小白学习.九州大地,一起Dayday UP! 模拟内网靶场 进行内网实验 我将从以下几点简述:[上线边界机器]-[内网渗透]-[横向移动]-[痕迹清除] 实验码字不易,转载文章请署名 实验对象 这边基于…

好多同学询问孟德尔随机化的问题,我再来尝试着梳理一遍,希望对大家有所帮助,首先看下图1分钟,盯着看将下图印在脑海中: 上图是工具变量(不知道工具变量请翻之前的文章)的模式图,明确一个点:我们做孟德尔的时候感兴趣的是x和y的关系,也就是小b,但是我们直接去跑x对y的回归肯定是不对的,因为有很多的U,因此我们借助工具变量G(关于工具变量我们之前的文章有详细的解释,请自行查阅),去估计我们感兴趣的小b. 现在有天然良好的工具变量G,也就是我们的基因变量,此时有上面的图,再次重申:我们感兴趣的,最终希望…

作为.Net工地搬砖长工一名,一直致力于挖坑(Bug)填坑(Debug),但技术却不见长进.也曾热情于新技术的学习,憧憬过成为技术大拿.从前端到后端,从bootstrap到javascript,从python到Node.js,了解过设计模式,也跟风了微信公众号开发.然而却浅尝辄止,未曾深入.买了一本本的技术书籍,没完整的翻完一本.屯了一部部的pdf,却只是在手机里占着内存.想过改变,却从未曾着手改变. 以上算是我程序猿生涯的真实写照. 现在我要尝试改变,从基础的helloworld开始,记下学习…

申明:本文是基于python3.x及selenium3.x. unittest,也可以称为PyUnit,可以用来创建全面的测试套件,可以用于单元自动化测试(模块).功能自动化测试(UI)等等. 官方文档:https://docs.python.org/3.6/library/unittest.html unittest具备创建测试用例.测试套件.测试夹具的能力,包括的组件如下: Test Fixture(测试夹具):通过使用测试夹具,可以定义在单个或者多个测试执行之前的准备工作和测试执行后的清理…

参考资料:1.英文官方文档2.中文官方文档,内容翻译的不全 SBT是类似maven和gradle的自动构建和包依赖管理工具,SBT是Scala技术体系下的包管理工具,都是Lightbend公司开发的,官方文档并没有介绍SBT的特点,文档中自称相对于maven和gradle有更少的概念但是如果不看文档将会遇到一些细节问题.个人的感受是,SBT类似scala技术体系的特点,就是设计思路上有一种发烧友的那种设计者自己觉得很酷但是我却感觉华而不实的那种烦躁.本文的目的是编写一个SBT的实操项目,你不必需…

实操一: 临时配置网络(ip,网关,dns)+永久配置 #ifconfig ens33 192.168.145.134/24 #vim /etc/resolv.conf #route add default gw 192.168.145.2 netmask 255.255.255.0 永久配置: #cd /etc/sysconfig/network-scripts/ #vim ifcfg-ens33 #systemctl restart network 实操二: 为集群内的机器设定主机名,利用/…

一.课程介绍 ASP.NET Core 是一种全新的跨平台开源 .NET 框架,能够在 IIS.Nginx.Apache.Docker 上进行托管或在自己的进程中进行自托管. 作为一个.NET Web开发者,我最伤心的时候就是项目开发部署时面对Windows Server上贫瘠的解决方案,同样是神器Nginx,Win上的Nginx便始终不如Linux上的所幸.ASP.NET Core出现了,它顺应了开源大趋势,摆脱了一直为人诟病的WindowsServer,以ASP.NET Core的跨平台版本…

HDFS集群PB级数据迁移方案-DistCp生产环境实操篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 用了接近2个星期的时间,终于把公司的需要的大数据组建部署完毕了,当然,在部署的过程中踩了不少坑,自己也对系统,网络,各个大数据生态圈常用软件进行了调优操作,后期等我整理好笔记后会分享给大家参考的.集群是部署好了,但是没有数据的话也没有人会去用.因此我们需要把旧集群的数据迁移至新集群中(旧集群的数据都是存放在云平台上的,而新集群),在迁移的过程中,参考网上的很多解决方案,最…

接上段   (一)Linux实操之——权限.任务调度.磁盘分区 4.网络配置 4.1 NAT模式的网络配置 目前我们采用的网络配置是NAT模式. windows下cmd通过 ipconfig 命令可以得到本机的网络配置. linux下通过 ifconfig 可得到虚拟机的网络配置 在windows系统中运行着虚拟机中的linux系统,那么两个系统是怎么通信的呢? 实际上windows系统与本机的linux的通信是通过 VMnet8的虚拟网卡来进行的,两者形成网络,192.168.177.128…

当前,人脸识别应用于许多领域,如支付宝的用户认证,许多的能识别人心情的 AI,也就是人的面部表情,还有能分析人的年龄等等,而这里面有着许多的难度,在这里我想要分享的是一个利用七牛 SDK 简单的实现人脸识别的方法,当然七牛的 SDK 中提供了很多的拓展,在返回的 JSON 中包含着如年龄等信息,这里就不进行分享了.这里我们要使用的是七牛云平台中由阅面科技提供的 API. 以下为官方给出的功能: 人脸 1v1 比对 人脸关键点(106 点) 人脸属性(年龄,性别) 我们要用的服务就是第一个:人脸…

2019年3月,百度正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨.经过短短几个月时间,百度ERNIE再升级,发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型.继1.0后,ERNIE英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果. 本篇内容可以说是史上最强实操课程,由浅入深完整带大家试跑ERNIE,大家可前往AI Studio fork代码 (https://ais…

Linux环境搭建完整操作流程(包含mysql的安装步骤) 从现在开始,就正式进入到大数据学习的前置工作了,即Linux的学习以及安装,作为运行大数据框架的基础环境,Linux操作系统的重要性自然不言而喻,我将分成两个部分来做梳理,第一部分是实操部分,即整个从0搭建Linux的完整操作流程,第二部分是理论部分,将会梳理Linux操作系统的各种指令以及基本知识,好了,那么我们开始吧! 1. 安装准备 安装Linux虚拟机之前我们首先要准备两个东西:VMware以及Centos的镜像文件 安装VMw…

css实现元素的水平垂直居中. (尝试采用5W2H方法说明): 别只看,请实操!!! What: 1.这篇文档主要描述元素水平方向居中的几种最常见和最实用的几种方式,并说明优缺点. 2.写这篇文章的目的,是为了巩固自己的知识,也分享给大家一起学习研究,欢迎大家指正和评论. Why: 需要水平居中的原因,就是为了让元素位于视觉中心突出重点,可视化布局的简介明了,主题明确,提高用户体验度. When: 我是星期六下午开始编写,一直到晚上12点. 对于你自己,如果你感觉自己对这些掌握还不牢靠,请立刻!…

css实现元素的垂直居中. (尝试采用5W2H方法说明): 别只看,请实操!!! What: 1.这篇文档主要描述元素水平方向居中的几种最常见和最实用的几种方式,并说明优缺点. 2.写这篇文章的目的,是为了巩固自己的知识,也分享给大家一起学习研究,欢迎大家指正和评论. Why: 需要水平居中的原因,就是为了让元素位于视觉中心突出重点,可视化布局的简介明了,主题明确,提高用户体验度. When: 我是星期六下午开始编写,一直到晚上12点. 对于你自己,如果你感觉自己对这些掌握还不牢靠,请立刻!马上…

css实现元素的水平居中. (尝试采用5W2H方法说明): 别只看,请实操!!! What: 1.这篇文档主要描述元素水平方向居中的几种最常见和最实用的几种方式,并说明优缺点. 2.写这篇文章的目的,是为了巩固自己的知识,也分享给大家一起学习研究,欢迎大家指正和评论. Why: 需要水平居中的原因,就是为了让元素位于视觉中心突出重点,可视化布局的简介明了,主题明确,提高用户体验度. When: 我是星期六下午开始编写,一直到晚上12点. 对于你自己,如果你感觉自己对这些掌握还不牢靠,请立刻!马上…

一.课程介绍 在上一节课程<ASP.NET Core托管和部署Linux实操演练手册>中我们学过net core的部署方式多样性和灵活性.我们通过远程工具输入dotnet 程序集名称.dll的方式运行应用,但是一旦关闭远程shell会话,或者服务器重启,应用进程就结束了.因此我们需要一个守护进程来管理我们的dotnet 后台进程,当服务器启动的时候可以自动运行我们的net core web应用程序. 今天就跟大家分享一下如何将ASP.NET Core应用程序以生产环境的标准方式部署在CentO…

一.kettle是什么? Kettle,简称ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),是一款国外开源的ETL工具,纯Java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定,对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少.kettle支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取.质量检测.数据清洗.数据转换.…

docker:官网 docker:镜像官网:        镜像官网可以所有应用,选择安装环境:会给出安装命令,例如:docker pull redis 默认拉取最新的版本(指定版本:docker pull redis:5.0.8) 一.拉去mysql官方镜像 1.登录docker 镜像官网搜索mysql,找到制定的版本拉去,这里使用mysql5.7.30 docker pull mysql: 2.查看docker的镜像 docker images 二.根据镜像创建mysql容器 1. 创建容器…

Istio的流量管理(实操一)(istio 系列三) 使用官方的Bookinfo应用进行测试.涵盖官方文档Traffic Management章节中的请求路由,故障注入,流量迁移,TCP流量迁移,请求超时,熔断处理和流量镜像.不含ingress和Egree,后续再补充. 目录 Istio的流量管理(实操一)(istio 系列三) 部署Bookinfo应用 Bookinfo应用说明 部署 卸载 流量管理 请求路由 基于用户ID的路由 故障注入 注入HTTP延时故障 注入HTTP中断故障 卸载 流量…

Istio的流量管理(实操三) 涵盖官方文档Traffic Management章节中的egress部分.其中有一小部分问题(已在下文标注)待官方解决. 目录 Istio的流量管理(实操三) 访问外部服务 部署 Envoy透传流量到外部服务 控制访问外部服务 修改默认的阻塞策略 访问外部HTTP服务 访问外部HTTPS服务 管理到外部的流量 卸载 直接访问外部服务 总结 卸载 环境恢复 Egress TLS Origination(Egress TLS源) 为Egress流量配置TLS源 需要考…

SFUD+FAL+EasyFlash典型场景需求分析:用整个flash存储数据,上千条数据,读取得时候用easyflash很慢,估计要检索整个flash太慢了. 改进方法:分区检索. 1存数据时,根据数据特征进行划分,划分到特定的某个区,分区存储这些数据. 2检索数据时,首先根据待检索数据的特征,获取具体需要检索哪个分区.然后在该分区内使用easyflash提供的kv查询接口进行检索. /***********************************************下面开始实操 …