众所周知,redis里面的大key存在是非常危险的一件事情.因为最近的工作转移到中间件相关的工作,因此关注了一下bigkey的扫描方法.首先介绍一下阿里云提供的扫描脚本: 具体可见:https://yq.aliyun.com/articles/117042?t=t1 我对这个脚本进行了一个压力测试,在redis的内存为15G,key的数量为2KW,ops为40K到80K之间,在这种情况下,阿里云的脚本完全不能跑成功(估计跑出来的时间以天为单位),主要原因是每确认一个key的情况,就需要与redi

继直播后,短视频又再次爆发,在这个风口,国内的各大云厂商也都相继推出了自己的一站式短视频解决方案.上周由于公司短视频功能开发的需要,对比了阿里云.腾讯云.又拍云.七牛云.金山云5家的短视频服务. 先介绍下,选择短视频服务需要关注些什么? 短视频 SDK 功能是否完善,比如断点续拍.回删.美颜.滤镜.贴纸.声音的控制等等: 是否服务过大型业务,提供专业.企业级的商用服务,这5家服务商在这个层面都毋庸置疑都主要提供企业级服务: 是否提供播放器 SDK,专业的播放器提供秒开.分段缓存.拖拉等功能,这是

摘要: 据介绍,MaxCompute(大规模分布式的数据计算平台)是国内最早自研的大数据计算平台之一,主要应用于大规模数据处理场景.目前,这项源自浙江.解决世界级难题的成果已拥有EB(百京)级别的数据存储能力.百PB(千兆)级的单日计算能力. 今日浙江省科学技术奖励大会正式召开,阿里云自研大数据计算平台MaxCompute荣获浙江省科技进步一等奖. 阿里云MaxCompute获科技大奖 MaxCompute是国内最早自研的大数据计算平台之一.十年前,阿里云创始人王坚博士带领团队研发该平台,主要应

阿里云DataWorks学习视频汇总 注意:本文档中引用的视频均来自阿里云官方的帮助文档,本文档仅仅是汇总整理,方便学习. 阿里云DataWorks帮助文档链接:https://help.aliyun.com/product/72772.html 目录 阿里云DataWorks学习视频汇总 一.DataWorks V2 前生后世 二.DataWorks功能介绍 1.MaxCompute管家详解 2.DataWorks数据集成介绍及实践 3.DataWorks数据开发介绍及实践 4.DataWor

一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻炼.4个PMC,6个committer,造就了国内最大最专业的HBase技术团队,其中HBase内核中超过200+重要的feature是阿里贡献.集团内部超过万台的规模,单集群超过千台,全球领先. 二.HBase技术团队重磅发布X-Pack,重新赋能轻量级大数据平台 阿里云自从17年8月提供HBas

一年一度的数据库领域顶级会议VLDB 2019于当地时间8月26日-8月30日在洛杉矶圆满落幕.在本届大会上,阿里云数据库产品团队浓墨登场,不仅有多篇论文入选Research Track和Industrial Track,为了进一步加深产学研学术交流,阿里云还在大会期间举办了“阿里之夜”交流晚宴. 8月29日晚,超200名论文作者.行业专家.来自MIT.CMU等高校的学术界资深教授.学者和产业界人士共赴“阿里之夜——Alibaba Night Networking Event“,活动空前爆满.在

2018阿里巴巴云栖大会深圳峰会3月28日.29日在大中华喜来登酒店举行,阿里云全面展示智能城市.智能汽车.智能生活.智能制造等产业创新. 3月28日下午,以"深化产教融合,科技赋能育人才"为主题的云栖大会"阿里云大学教育专场"备受瞩目,成为人气最旺的专场之一. 大会上,阿里云与光环国际举行了隆重的战略合作签约仪式.光环国际联合阿里云大学,启动了推进人工智能人才发展的"AI智客计划".作为国内大数据和人工智能培训的领军企业,光环国际将与阿里云大学

摘要: 在刚刚结束的云栖大会上,阿里云容器服务演示了容器的自动弹性伸缩,能够从容应对互联网应用的峰值流量.阿里云容器服务不仅支持容器级别的自动弹性伸缩,也支持集群节点级别的自动弹性伸缩.从而真正做到从容应对高峰流量的场景,提高自动化运维水平及系统可用性. 简介 在刚刚结束的云栖大会上,阿里云容器服务演示了容器的自动弹性伸缩,能够从容应对互联网应用的峰值流量.关于阿里云上容器的自动弹性伸缩,可以参考文章在阿里云上进行Docker应用的自动弹性伸缩.同时在流量变大的时候自动进行容器的弹性伸缩,要求容

作为全球规模最大的网络技术盛会之一,GNTC全球网络技术大会是网络技术发展的重要风向标,包含战略规划.产业方向.技术趋势.应用创新等皆汇集于此.而作为云服务商代表,阿里云再度受邀以顶级钻石合作伙伴之名全面参与此次盛会.本次10/22-24 南京2019 GNTC大会上,阿里云网络资深技术专家 宗志刚先生发表了阿里云网络NFV平台的技术演进及能力,以下就为大家做深度解读. 网络功能从专用设备演进到虚拟化,部署在X86服务器上,极大提升了灵活性,阿里云网络不仅仅提供虚拟化的网元,还向云原生的架构演进

本次10/22-24 南京2019 GNTC大会上,阿里云网络云原生SDWAN网络2.0 由于独特的云原生定位.创新的解决方案,及成熟的应用案例.行业用户,获得行业媒体C114中国通信网.产业专家高度关注,也是GNTC Innovation Awards 创新应用奖的参选方案之一.以下就为大家深度揭秘: 据Gartner研究报告,到2020年,90%的组织将利用混合云管理基础设施.阿里云作为全球前三,亚太第一的云计算厂商,一直引领云网技术的演进及应用落地,实现企业上云 网络先行.去年阿里云率先推

在上周落幕帷幕的多媒体领域技术盛会——LiveVideoStackCon音视频技术大会上,阿里云的高级技术专家李刚进行了<下一代低延时的直播CDN>技术分享.主讲人李刚,多年关注在CDN这个领域,早期主要研究和cache服务器缓存以及流媒体相关的技术, 专注CDN文件分发.图片与大文件下载等业务.从2015年开始负责全面构建阿里云CDN直播系统,对流式长连接的分发有很深刻的理解.今天主要分享内容是阿里云自研低延时直播系统在构建时,遇到的一些技术难点与实践. 分享从当下直播技术回顾.低延时直播技

摘要: 首届云原生计算国际会议(KubeCon + CloudNativeCon,China,2018)在上海举办,弹性计算研究员伯瑜介绍了基于虚拟化.容器化编排技术的云计算操作系统PouchContainer.PouchContainer是类似于CNCF Kubernetes项目的容器管理平台,支撑快速部署和弹性伸缩,可能会改变软件行业开发.测试.部署和应用的模式. [最新动态] 1.首届云原生计算国际会议上,弹性计算研究员伯瑜介绍了基于虚拟化.容器化编排技术的云计算操作系统PouchCont

9月26日,2019杭州云栖大会上,阿里云宣布正式推出高性能数据库一体机——POLARDB Box,用户部署在自有数据中心即可享受云数据库的便捷体验,同时还为Oracle等传统数据库用户提供一键迁移功能,最多节省95%迁移成本,更适合政企.交通.航运.金融等行业. 阿里云智能数据库产品事业部总经理李飞飞 “POLARDB Box是一款跨时代的产品,打破了云数据库的服务边界,”阿里云智能数据库产品事业部总经理李飞飞表示,阿里云秉持的“Cloud in Box”理念,将云原生数据库的管理能力下沉到本

9月26日,在2019年杭州云栖大会上,阿里云发布了RPA最新V3.4版本,全新升级了增加诸如录屏审计.JAVA应用录制能力.达摩院OCR内置组件.语法检查与智能提示能力增强等功能. RPA全名称Robotic Process Automation,中文名叫机器人流程自动化,在信息化时代的助推下,市场反响愈演愈烈.现场,阿里云智能高级技术专家申峰再次明确了阿里云RPA的定位,即专业.智能.被集成. 在“专业性”上,阿里云RPA在产品上提供行业顶级的稳定精准的“录制”能力,丰富的SDK,便捷式的编

9月26日,在杭州云栖大会上,阿里云SaaS加速器的“底座”——“宜搭”正式发布“宜搭Plus”低代码开发平台.开发复杂企业业务系统所需要的领域数据模型.逻辑&服务编排.专业UI页面设计等,都可以在宜搭Plus一体化的低代码开发平台上实现. (阿里巴巴资深技术专家叶建辉介绍宜搭Plus) 宜搭是0代码业务应用搭建平台,开发者在可视化界面,以托拉拽的方式即可编辑和配置页面.表单与流程,并且一键发布在PC和手机端上.截至目前,已有超过1000家企业使用宜搭搭建应用,覆盖新零售.酒店.生产制造.医疗.

9月10日,踏入55岁的马云正式卸任阿里巴巴董事局主席一职,由阿里巴巴集团CEO张勇接任.公寓创业.西湖论剑.美国敲钟,从成立到登顶中国最值钱的公司,阿里巴巴只用了20年. 阿里云RPA,2011年诞生于淘宝 以数字化为标志,以智能化为特征的新一代商业变革已经到来.阿里巴巴蓬勃发展的20年,也是新技术风起云涌的20年. 阿里云RPA,2011年诞生于淘宝,当时在内部叫巨无霸,2012.2013.2014年分别获得集团内的创新奖,创新奖用来鼓励阿里云RPA帮助整个集团小二做运营和服务售后等自动化:

近日,全球信息技术研究机构Gartner发布了2019年云安全技术成熟度曲线报告(Gartner, Hype Cycle for Cloud Security, 2019, Jay Heiser, Steve Riley, 23 July 2019),首次将机密计算(confidential computing)列入其中,阿里云因在机密计算领域的诸多实践被列为典型厂商,且是亚太唯一云服务商. 技术成熟度曲线(The Hype Cycle),又称技术循环曲线,指的是企业用来评估新科技的可见度,利用

上周在巴塞罗那举行的MWC 2019世界移动通信大会上,阿里云发布了包含Global Connection解决方案在内的7款重量级产品和解决方案,为全球企业提供了基于阿里云的智能化企业数字转型思路.Global Connection是专为全球化企业量身定制的智能网络解决方案,为积极出海的中国企业和海外跨国经营的集团企业提供强大的IT基础设施保障,为企业全球化铺路搭桥. 赋能企业全球业务,阿里云独具优势 在国际商业联系日益密切的今天,越来越多的海外公司正在中国开展和深化业务,世界500强企业中,绝

4月23日,2019中国联通合作伙伴大会在上海正式开幕,本次大会以“合作不设限,共筑新生态”为主题,涉及5G.边缘计算.云计算.物联网.新媒体.人工智能.互联网化等各领域超过600家合作伙伴与3万名各行业观众参会. 据了解,本次大会上,阿里云与众多行业玩家同台竞技,展出了边缘计算.视频云等系列面向5G场景的创新解决方案,并结合阿里巴巴独特的电商.物流.零售等生态,现场展示了基于物联网无线连接的应用场景. 边缘节点服务– 离用户更近的计算 边缘计算是5G时代的新型基础设施,阿里云的边缘节点服务EN

近日,阿里云杨敬宇在CSDN阿里云核心技术竞争力在线峰会上进行了<5G基础设施-阿里云边缘计算的技术演进之路>主题演讲,针对5G时代下,行业和技术的趋势.边缘计算产业通识以及阿里云边缘计算从过去到未来的技术演进之路进行分享. 5G+AI需求推动边缘计算不断向前 算力分布形态发生根本变化 回顾历史,自从1994年接入互联网,已经有20多年的时间,从应用场景看,终端从PC时代走到了移动时代,也包括电视.摄像头.IoT等终端.而背后的基础设施也从早期的自建服务器,到当前全站上云这种模式.整体看来,网

Redis 大 key 问题 & 问题分析 & 解决方案 Redis 什么是 Redis 大 key 单个key 存储的 value 很大 hash, set,zset,list 结构中存储过多的元素 可能存在 Redis 大 key 的业务场景 1.配送范围特别大的门店 2.促销活动特别多的门店.商家等 3.高频用户下的订单列表 ... Redis 大 key 的危害 OPS 低也会导致内存占用多.流量大; 比如一次取走100K的数据,当OPS为1000时,就会产生100M/s的流量;