https://mp.weixin.qq.com/s/7_dxrqFWwIJxNtL9-xD6FA…

Atitit 软件架构方法的进化与演进cs bs soa roa  msa  attilax总结 1.1. 软件体系架构是沿着单机到 CS 架构,再到 BS 的三层架构甚至多层架构逐步发展过来的,关于多层架构 1 1.2. 主进化路线Cs>> bs >>  SOA>>MSA(微服务架构1 1.3. 1 1.4. 面向资源体系架构(ROA)1 1.4.1. 管道和过滤器风格(数据流风格)2 1.5. 数据抽象与面向对象风格(调用/返回风格)2 1.6. 基于事件的隐式调用…

第一篇博文简单讲了一下京东Alpha平台与个人idea技能,本篇将讲解Alpha平台与个人开发需要的一些知识,下面开篇 ——>>> 上图就是京东Alpha技能平台的首页,Skill平台(技能平台),官方介绍: Alpha技能的开发平台,提供全套的自助式开发工具:帮开发者轻松,快速地将服务集成到Alpha平台,使用户通过自然语言即可获取服务,并通过Alpha赋能智能设备或手机应用,帮开发者获得亿级智能场景用户,从移动服务向AI服务升级. 说白了就是智能音箱的小应用. 点击控制台即可进入控制…

背景 由于公司业务场景的需要,我们需要开发HBase平台,主要需要以下功能: 建表管理 授权管理 SDK实现 与公司内部系统打通 我们使用的HBase 版本: HBase 1.2.0-cdh5.16.2 Hadoop: 2.6.0-cdh5.16.2 目前主要应用场景: 实时计算如商品.商家等维度表 去重逻辑 中间件服务等监控数据 用户画像 平台建设 建表管理 1.指定命名空间 HBase系统默认定义了两个缺省的namespace: hbase:系统内建表,包括namespace和meta表 d…

摘要:通过前面两篇文章的讲述,大致了解了JdAlpha平台前端开发的主要流程.接下来本篇文章主要讲述后台服务器端开发的主要流程.这里会涉及到后台服务器的搭建的内容,本篇文章就不以赘述,如需了解请读下面一篇文章.WEB服务器搭建(Apache+Tomcat+eclipse)首先献上代码:JdAlpha应用(佳宝服务)服务器端代码 有积分的支持一下,没有的也没关系我已将代码上传到(github代码库). 本人学生一枚,希望可以多多与各位交流一下技术问题!1.通讯机制 京东Alpha应用与后台服务器通…

2018京东Alpha开发者大赛是由京东智能面向广大开发者举办的大型语音技能开发比赛,参赛者将通过Skill开放平台开发技能,在实现开发者自身价值的同时,为京东智能活跃用户提供更优质.更便捷.更智能的生活体验. 在这里身为一名大学生我单纯的是出于对AI智能语音技术的热爱,同时也有自己不断探索学习知识的渴望.想走的远,就必须踏遍荆棘. 首先,叮咚音箱的各项优秀的示例均让我赞不绝口,智能化方向让我不敢想象.比如:今日头条.掌厨.搜狗汽车导航.滴滴出行. 再说一说自己的idea:佳宝服务(综合性服务平…

上篇通过阅读文章对京东到家的架构分析有了初步了解,这次对文章(https://mp.weixin.qq.com/s?__biz=MzU1MzE2NzIzMg==&mid=2247486889&idx=1&sn=06c331d1fecebbd12f4a7ee52a8d25d7&chksm=fbf7bd46cc803450ad3d00c935863021d98fb02bed26a9c51becd15e721842044aa1e5321f92&scene=21#wecha…

作者介绍 倪增光,饿了么BDI-大数据平台研发高级技术经理,曾先后就职于PPTV.唯品会.15年加入饿了么,组建数据架构team,整体负责离线平台.实时平台.平台工具的开发和运维,先后经历了唯品会.饿了么数据平台从无到有到不断完善的过程.   一.背景 饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具开发,其中包括20+组件的开发和维护.2K+ Servers 运维及数据平台周边衍生工具研发&维护.离线 Infra 和平台工具这一块对外分享的比…

给offer了 开心.春招第一个offer!!! 2018.4.11 update 1面: 只有1面, 面试官还是个老乡.. 1.自我介绍 如何学的AI相关的知识? 2.介绍百度的实习 3.拿到一个问题,你是如何展开研究工作? 我说先看看博客,然后看看论文,再看看代码.她说她看论文. 4.TFIDF,Word2vec 5.HMM序列标注懂么? 6.你的神经网络结构是怎么样?如何设计?怎么调参? 7.CNN 中MAXPOOLING 8.面试官给了我很多建议.觉得我深度学习的实战基础比较少,调参经验…

转自 小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了. 随着央视诗词大会的热播,小史开始对诗词感兴趣,最喜欢的就是飞花令的环节. 但是由于小史很久没有背过诗词了,飞一个字很难说出一句,很多之前很熟悉的诗句也想不起来. [倒排索引] 吕老师:但是我让你说出带“前”字的诗句,由于没有索引,你只能遍历脑海中所有诗词,当你的脑海中诗词量大的时候,就很难在短时间内得到结果了. [索引量爆炸] [搜索引擎原理] [elasticsearch简介] 吕老…

一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻炼.4个PMC,6个committer,造就了国内最大最专业的HBase技术团队,其中HBase内核中超过200+重要的feature是阿里贡献.集团内部超过万台的规模,单集群超过千台,全球领先. 二.HBase技术团队重磅发布X-Pack,NoSQL数据库再上新台阶 阿里云自从17年8月提供HBa…

携程大数据平台负责人张翼分享携程的实时大数据平台的迭代,按照时间线介绍采用的技术以及踩过的坑.携程最初基于稳定和成熟度选择了Storm+Kafka,解决了数据共享.资源控制.监控告警.依赖管理等问题之后基本上覆盖了携程所有的技术团队.今年的两个新尝试是Streaming CQL(华为开源)和JStorm(阿里开源),意在提升开发效率.性能和处理消息拥塞能力,目前已有三分之一的Storm应用已经迁到JStorm 2.1上. 今天给大家分享的是携程在实时数据平台的一些实践,按照时间顺序来分享我们是怎…

随着大数据处理时代的到来,NoSQL风生水起.京东作为国内最大的综合网络零售商,随着业务数据量爆发式增长,传统的关系数据库在海量数据面前开始显得捉襟见肘,于是京东云平台在Hadoop生态集群经验积累的基础上,引入了HBase作为海量数据存储的基础设施.虽然引入时间不长,但京东数十个业务系统已经使用了HBase,包括实时在线业务.离线批量计算业务.批量导入兼在线访问等业务类型.为了提高资源利用率,多个业务系统可能复用一个HBase集群.而开源的HBase处于发展期,业务之间的存储和访问产生了一些干…

  电竞大数据时代,数据对比赛的观赏性和专业性都起到了至关重要的作用.同样的,这也对电竞数据的丰富性与实时性提出了越来越高的要求. 电竞数据的丰富性从受众角度来看,可分为赛事.战队和玩家数据:从游戏角度来看,维度可由英雄.战斗.道具以及技能等组成:电竞数据的实时性包括赛前两支战队的历史交战记录.赛中的实时比分.胜率预测.赛后比赛分析和英雄对比等. 如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入.每天下午三点开直播分享基础知识,晚上2…

一.引言 时间到了2019年,数据库也发展到了一个新的拐点,有三个明显的趋势: 越来越多的数据库会做云原生(CloudNative),会不断利用新的硬件及云本身的优势打造CloudNative数据库,国内以阿里云的Cloud HBase.POLARDB为代表,此块文章会有一定的引述,但不是本文的重点. NoSQL正在解决BigData领域的问题.根据Forrester NoSQL的报告,BigData NoSQL是提供 存储.计算处理.支持水平扩展.Schemaless以及灵活的数据模型,特别提…

本文详细讲述58同城高性能移动Push推送平台架构演进的三个阶段,并介绍了什么是移动Push推送,为什么需要,原理和方案对比:移动Push推送第一阶段(单平台)架构如何设计:移动Push推送典型性能问题分析解决,以及高可用.高性能.高稳定性如何保证. 什么是移动Push推送 移动Push推送是移动互联网最基础的需求之一,用于满足移动互联环境下消息到达App客户端.以转转(58赶集旗下真实个人的闲置交易平台)为例,当买家下单后,我们通过移动Push推送消息告诉卖家,当卖家已经发货时,我们通过移动P…

转: http://geek.csdn.net/news/detail/58738 文/孙玄 本文详细讲述58同城高性能移动Push推送平台架构演进的三个阶段,并介绍了什么是移动Push推送,为什么需要,原理和方案对比:移动Push推送第一阶段(单平台)架构如何设计:移动Push推送典型性能问题分析解决,以及高可用.高性能.高稳定性如何保证. 什么是移动Push推送 移动Push推送是移动互联网最基础的需求之一,用于满足移动互联环境下消息到达App客户端.以转转(58赶集旗下真实个人的闲置交易平…

初始搭建 最开始,就是各种框架一搭,然后扔到 Tomcat 容器中跑,这时候我们的文件.数据库.应用都在一个服务器上. 服务分离 随着系统的上线,用户量也会逐步上升,很快一台服务器已经满足不了系统的负载,这时我们就要在服务器还没有超载时,提前做好准备. 由于我们是单体架构,优化架构在短时间内是不现实的,增加机器是一个不错的选择.这时,我们可能要把应用和数据库服务单独部署,如果有条件也可以把文件服务器单独部署. 反向代理 为了提升服务处理能力,我们在 Tomcat 容器前加一个代理服务器,一般使用…

俗话说得好,冰冻三尺非一日之寒,滴水穿石非一日之功,罗马也不是一天就建成的,对于开发人员来说,一个好的架构并不是一蹴而就的. 初始搭建 最开始,就是各种框架一搭,然后扔到 Tomcat 容器中跑,这时候我们的文件.数据库.应用都在一个服务器上. 服务分离 随着系统的上线,用户量也会逐步上升,很快一台服务器已经满足不了系统的负载,这时我们就要在服务器还没有超载时,提前做好准备. 由于我们是单体架构,优化架构在短时间内是不现实的,增加机器是一个不错的选择.这时,我们可能要把应用和数据库服务单独部署,…

Apache HBase介绍 Apache HBase是基于Apache Hadoop构建的一个高可靠性.高性能.可伸缩的分布式存储系统,它提供了大数据背景下的高性能的随机读写能力,HBase是Google Big table的开源实现,通过在廉价PC Server上搭建起大规模结构化存储集群,可为众多企业从软件系统.解决方案.稳定护航.发展支撑等全方位提供一站式大数据基础存储服务. HBase项目最初是以Hadoop子项目的形式进行孵化,2010年5月正式毕业成为Apache顶级项目并独立发展…

自动化测试体系不完善.缺少自助式的持续交付平台.系统间耦合度高服务拆分难度大.成熟的DevOps工程师稀缺,缺少敏捷文化--这些都是DevOps 在落地过程中,或多或少会碰到的问题,DevOps发展任重道远,不断学习前人经验完善自身是很好的选择. 11月23日,京东云开发者社区和英特尔联合举办的「京东云DevOps自动化运维技术实践」沙龙在上海落地,为开发者们分享京东云在DevOps上的经验. DevOps 自动化运维技术实践 01京东云持续交付演化之路 京东云工具产品研发部副总监 井亮亮 在行…

最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 四.启动YARN 五.web查看 一.前言 1.开始搭建前上官网看了一下,发现最新版本是3.0,但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题,所以决定使用了2.7.3,hadoop2的最新版本,至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理(实验证明最新版本的hba…

闪酷信息技术(上海)有限公司一直致力于为品牌企业提供电子商务软件及其服务,为其拓展电商渠道保驾护航.上海闪酷依据多年的行业经验和技术积累,与中国 最大的B2C商城达成战略合作,为其2万多家品牌供应商提供软件服务,以便丰富京东开放平台应用市场,提升供应商软件使用体验,闪酷期望通过此平台,为中 国各行业20000家品牌企业提供好用易用的电子商务软件系统及服务,闪酷将继续在电子商务行业软件深耕,以便提供更好的电子商务软件服务. 基于京东开放平台而开发的闪酷订单实时交易系统 已经上线,一经推出即被市场认…

作者 风河 发布于 2016年1月13日 | 讨论   编者按:YY游戏的页游早在2013年就在云平台上运行,其Cloud 1.0已经支撑几十万的同时在线用户.日前,YY游戏云平台进行了Cloud 2.0的改造,其主要目标是支撑端游,同时也将继续服务页游.手游的运营. 这次架构升级是一次完全重构——抛弃OpenStack,网络.计算.存储业务都是自己实现.作为YY游戏云平台的负责人,风河在本文里主要描述了YY游戏需要建设一个什么样的云平台,以及如何建设这个云平台的. YY游戏的业务需求变迁 YY…

引言 为什么我会写这一篇博客,因为最近很多京东云擎jae的用户反应一个问题就是他们部署在jae上面的应用访问很慢,有极少数应用甚至经常出现504超时现象,当然大家首先想到的是jae性能太差,这也是人之常情,往往出现什么错误的时候首先想到是别人的不好,工作中很多同事也是这样,如果软件系统出现一个bug首先怀疑的肯定不是自己写的代码.今天花时间写这一篇博客主要就是告诉大家怎样确定我们部署在PAAS平台(不仅仅是JAE哦)web应用为什么慢?慢在哪儿了?有什么方法可以解决? 原因分析出现访问自己web…

由Google.HTC.Qualcomm联手打造的第一部Android手机G1,开启了移动时代的Andr​​oid纪元(如图1所示),直到现在Android也是唯一能在移动市场上与iOS相抗衡的平台.简单地说,Android与iOS占尽了移动时代的先机(这个故事要从2007年的iPhone和2008年的Andr​​oid G1开始说起,甚至是更早之前的开发史及并购史),App开发者已在Android及iOS上扎下了深厚的根基,因此再也无力也没有必要去为第三个平台开发或移植自己的App,原因很简单…

京东云擎(JAE)是京东推出的一款公有云产品,是京东云平台生态圈的核心组成部分.与百度的BAE.新浪的SAE同样.可是JAE刚上线不久,可能非常多人都还没听说过或不太了解.我尝试在JAE安装WordPress并成功,相对而言比BAE和SAE安装更加简单,以下就来分享一下. 一.首先打开京东云擎网址(jae.jd.com),假设有账号则直接登录,没有就注冊一个(PS:京东商城账号是能够直接登录的哦). 我这里使用京东的账号 二.进入控制台申请开通JAE服务,依照步骤填写开通. 三.开通成功后,进如…

京东 B2B 业务的定位是让各类型的企业都可以在京东的 B 平台上进行采购.建立采购关系. 京东 B2B 的用户群体主要分为 2 类,一类是大 B 用户.另一类是小 B 用户.比如联通.移动公司跟京东建立的采购关系,就是 B 平台的大 B 用户:如果有一家小超市需要在京东 B 平台上进行采购,那么它就是 B 平台的小 B 用户. 京东 B 平台需要支持各类型的用户群,因此必须要有自己的业务系统做支撑,比如订单.商品.价格.用户.权限.审核等系统. 京东 B 平台的发展分为3个阶段: 1)第一阶段…

不知不觉中,年中的618和年终的11.11已经成为中国电商的两大促销日,当然,这两天也是一年中系统访问压力最大的两天.对于京东而言,618更是这一年中最大的一次考试,考点是系统的扩展性.稳定性.容灾能力.运维能力.紧急故障处理能力.弹性计算云是京东2015年研发部战略项目,它基于Docker简化了应用的部署和扩容,提高了系统的伸缩能力.目前京东的图片系统.单品页.频道页.风控系统.缓存.登录.团购.O2O.无线.拍拍等业务都已经运行在弹性计算云系统中.   过去的一段时间里,弹性计算云项目在京东…

本篇文章内容来自2016年TOP100summit 京东WMS产品负责人李亚曼的案例分享. 编辑:Cynthia 李亚曼:京东 WMS产品负责人.从事电商物流行业近10年,有丰富的物流行业经验,独立打造过3PL的快递系统.配送系统,入职京东3年来,成功打造了创新产品“移动商店,使京东物流实现了又一次突破,实现了1小时送达,并同时打造了现场售卖的电商新模式. 一.引言 京东拥有中国电商领域规模最大的物流基础设施:7大物流中心,254个大型仓库,550万平方米仓库占地面积,2646个区县覆盖,678…