阿里巴巴电商业务中历史数据存储与查询相关业务, 大量采用基于列存储技术的HiStore数据库,双11当天HiStore引擎处理数据记录超过6万亿条.原始存储数据量超过5PB.从单日数据处理量上看,该系统已成为全球最大列存储数据库. “历史数据查询和分析,数据仓库和数据挖掘类系统,都是典型的查询密集型业务,随着数据驱动模式在业务中的大量使用,这样的需求会越来越多.”HiStore项目负责人叶建林表示,“刚刚过去的双11全民购物狂欢节,包括天猫.淘宝和菜鸟网络在内的阿里巴巴核心业务平台,产生了大量的…

8.4 Weex 双11会场大规模应用的秒开实战和稳定性保障 前言 Native 开发的诸多亮点中,流畅体验和系统调用是最多被提及的.流畅体验体现在页面滚动/动画的流畅性,背后是更好的内存管理和更接近原生的性能:同时又是 Web 的痛点:资源首次下载.长页面内存溢出和滚动性能.动画性能.传统 web 性能(如JS执行效率).Native 有丰富的系统调用能力,而 Web 痛点在于:W3C 标准太慢,有限的设备访问能力,API 兼容性问题较严重,如 Geolocation 在 Android We…

小蚂蚁说: 双11十年间,交易规模的指数级增长不断挑战人们的想象力,而对蚂蚁技术团队来说,这不仅是一场消费盛宴,而是无数次濒临压力和焦虑极限的体验,更是技术的练兵场.如今双11对蚂蚁金服而言,已经绝不仅限于一个技术项目,而更像是一个社会化工程,可以叫做「连贯的,社会化的技术大协作」. 图 | 东方IC *CYZONE特写,大时代惘闻录 支付宝团队不正像那尊红漆雕塑一样? 一面对技术保持着敬畏.谦逊,一面又不得不玩命狂奔. 「双11」就在眼下了,但蚂蚁金服的新园区里气氛明朗,人群也没往年那么匆忙.…

作为首次“全面上云”的双11,阿里云征服了每秒订单峰值54.4万笔的世界新记录.正是在阿里云的保驾护航下,即使访问量是平时的5到6倍,小程序也鲜少出现卡顿或者宕机的现象,“依靠阿里云,我们整个天猫双11活动平稳落地.”一位小程序商家说到. 要问支付宝小程序商家本次“天猫双11”最大的感触是什么,许多人回答了两个字:“涨”和“稳”. 用户数在涨.订单量在涨.收藏量在涨…尽管双11的主战场在天猫,但支付宝端内的小程序商家们也乘着“双11”的东风,通过中心化与去中心化相结合的自运营模式,收获一条陡峭的…

如今,双11不光是购物狂欢节,更是对技术的一次“大考”,对于阿里巴巴企业内部运营的基础保障技术而言,亦是如此. 回溯双11历史,这背后也经历过“小米加步枪”的阶段:作战室从随处是网线,交换机放地上的“一地狼藉”:到如今媲美5G的wifi网速,到现场却看不到一根网线:从当年使用商用AP(无线路由器),让光明顶双11当天断网一分钟,到全部使用阿里自研AP……阿里巴巴企业智能事业部工程师们提供的基础保障也在不断升级. 媲美5G的Wifi网速 现场却看不到一根网线 网络是办公基础.对于负责网络的企业智能…

原文地址https://devblogs.microsoft.com/azure-sql/partitioning-on-spark-fast-loading-clustered-columnstore-index/#comments 介绍 SQL Server的批量加载方法默认为串行,这意味着例如,一个BULK INSERT语句将生成一个线程将数据插入表中.但是,对于并发负载,您可以使用多个批量插入语句插入同一张表,前提是需要阅读多个文件. 考虑要求所在的情景: 从大文件加载数据(比如,超过…

情不知如何而起,竟一往情深.恰如我们.十年前,因为相信,所以看见.十年后,就在眼前,看见一切. 当2018天猫双11成交额2135亿元的大屏上,打出这么一段字的时候,参与双11护航的阿里云CDN技术掌舵人姚伟斌(文景),心中涌起一丝莫名的触动. CDN是最早参与天猫双11的技术之一,伴随双11走了十年,回首十载春秋,无论是业务规模.技术架构,还是这些幕后的工程师们,都发生了翻天覆地的变化.他们的故事虽不如<阿里云这群疯子>一文中那般精彩,但也值得铭记! 技术掌舵人文景:双11是技术小二最重要的…

原文地址:http://kb.cnblogs.com/page/193670/ 双“11”最热门的话题是TB ,最近正好和阿里的一个朋友聊淘宝的技术架构,发现很多有意思的地方,分享一下他们的解析资料: 淘宝海量数据产品技术架构 数据产品的一个最大特点是数据的非实时写入,正因为如此,我们可以认为,在一定的时间段内,整个系统的数据是只读的.这为我们设计缓存奠定了非常重要的基础. 图1 淘宝海量数据产品技术架构 按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源.计…

2019天猫双11 成交额2684亿! "不是任何一朵云都能撑住这个流量.中国有两朵云,一朵是阿里云,一朵叫其他云."11月11日晚,阿里巴巴集团CTO张建锋表示,"阿里云不一样,10年前我们从第一行代码写起,构建了中国唯一自研的云操作系统飞天." 阿里巴巴集团CTO.阿里云智能总裁张建锋 2019天猫双11再次刷新世界纪录,订单创新峰值达到54.4万笔/秒,单日数据处理量达到970PB.今年阿里巴巴核心系统100%上云,撑住了双11的世界级流量洪峰. "…

4.2 集团AliDocker化双11总结 前言 在基础设施方面,今年双11最大的变化是支撑双11的所有交易核心应用都跑在了Docker容器中.几十万Docker容器撑起了双11交易17.5万笔每秒的下单峰值.众所周知Docker技术这几年大热,但如果期望阿里这么大体量的应用全部使用Docker,这可不是一朝一夕就能完成的事情.阿里的应用数量庞大,种类众多,光兼容性的验证没个1.2年的时间没人敢把核心应用放上去.因此虽然Docker能给研发和运维带来的好处,作为技术人员大家都心领神会,但是想直接…