本篇文章内容来自2016年TOP100summit斗鱼数据平台部总监吴瑞城的案例分享. 编辑:Cynthia 吴瑞诚:斗鱼数据平台部总监 曾先后就职于淘宝.一号店. 从0到1搭建公司大数据平台.平台规划和团队建设. 目前负责斗鱼实时/离线数据处理.个性推荐系统.BI&DW和搜索引擎. 背靠开源生态,应用短平快的方式,支撑起一个亿级用户的在线直播平台. 致力于数据平台产品化.智能化.云化. 对高可用高并发的大数据平台架构和SOA架构有深入的理解和实践. 导读:2016年是直播行业的元年,斗鱼在两年…

本篇文章内容来自2016年TOP100summit 链家网大数据部资深研发架构师李小龙的案例分享. 编辑:Cynthia 李小龙:链家网大数据部资深研发架构师,负责大数据工具平台化相关的工作.专注于数据仓库.任务流调度.元数据管理.自助报表等领域.之前在百度从事了四年的数据仓库和工具平台的研发工作. 导读:链家网大数据部门负责收集加工公司各产品线的数据,并为链家集团各业务部门提供数据支撑.本文分享链家网大数据部成立后,在发展变革中遇到的一些问题和挑战,架构团队是如何构建一站式的数据平台来解决获取…

本篇文章内容来自2016年TOP100summit华为架构部资深架构师王启军的案例分享.编辑:Cynthia 王启军:华为架构部资深架构师.负责华为的云化.微服务架构推进落地,前后参与了华为手机祥云4.0.物联网IoT2.0的架构设计.曾任当当网架构师,主导电商平台架构设计,包括订单.支付.价格.库存.物流等.曾就职于搜狐负责手机微博的研发.“奔跑中的蜗牛”公众号博主. 导读:随着云时代的来临,软件架构日新月异,各种新技术层出不穷.“微服务”这个词更是如火如荼,得到了业界的广泛认可.但是,微服务…

本篇文章内容来自2016年TOP100summitWalmartLabs实验室广告平台首席工程师.架构师粟迪夫的案例分享. 编辑:Cynthia 粟迪夫:WalmartLabs实验室广告平台首席工程师.架构师 在大数据平台架构设计.消息中间件.分布式系统等领域有丰富经验. 作为技术负责人,帮助多家企业搭建了大数据平台和分布式系统. 目前主导WMX大数据平台.广告效益分析系统和实时数据管道的开发. 导读:作为世界上最大的商品零售商,沃尔玛每天都投放大量的广告.产生大量的商品交易,生成大量数据,需要…

从数字货币抵押借贷业务出发,DeFi已经形成了覆盖全场景的全新金融生态. 可以说,除了信贷等少数对现实世界信息存在较多依赖的实体业务,DeFi已经实现了传统金融业务的全面链上迁移.大多数传统金融行业存在的商业模式,都已经在DeFi上跑通.而在未来,DeFi有望进一步"出圈",赋能实体经济. 而DeFi与实体经济的结合,却并不容易.如何将链下的实体资产绑定到链上,一直是困扰区块链从业者们的一大难题.眼下DeFi的"出圈"难题,既需要技术发展,也需要制度探索. NGK.…

android studio git 将项目分享到github,推送到其他平台 码云 等. 作者:韩梦飞沙 Author:han_meng_fei_sha 邮箱:313134555@qq.com E-mail: 313134555 @qq.com 主机  host 身份验证类型 auth type 使用ssh克隆git存储库 clone git repositories using ssh 点击测试 ,提示连接成功. 设置主密码 使用操作系统用户凭证加密 指定密码数据库的新密码. 留下空白以禁用…

程序说明:抓取斗鱼直播平台的直播房间号及其观众人数,最后统计出某一时刻的总直播人数和总观众人数. 过程分析: 一.进入斗鱼首页http://www.douyu.com/directory/all 进入平台首页,来到页面底部点击下一页,发现url地址没有发生变化,这样的话再使用urllib2发送请求将获取不到完整数据,这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页,这样就可以获取完整响应数据了. 首先检查下一页元素,如下: <a href="#" cla…

本篇文章内容来自2016年TOP100summit QQ空间客户端研发总监王辉的案例分享.编辑:Cynthia 王辉:腾讯SNG社交平台部研发总监.腾讯QQ空间移动客户端技术负责人高级工程师.09年起负责QQ空间技术研发,经历从Web时代到移动客户端技术的转变,在Web.移动终端上都有不错的技术积累. 导读:移动互联网飞速发展,2016年,社交网络对视频技术的应用得到爆发式的增长,短视频.视频直播.视频滤镜.视频人脸动效.音乐.K歌.变声.连麦等功能陆续在产品中上线,如何在快速上线功能的同时,保…

本篇文章内容来自2016年TOP100summit 京东WMS产品负责人李亚曼的案例分享. 编辑:Cynthia 李亚曼:京东 WMS产品负责人.从事电商物流行业近10年,有丰富的物流行业经验,独立打造过3PL的快递系统.配送系统,入职京东3年来,成功打造了创新产品“移动商店,使京东物流实现了又一次突破,实现了1小时送达,并同时打造了现场售卖的电商新模式. 一.引言 京东拥有中国电商领域规模最大的物流基础设施:7大物流中心,254个大型仓库,550万平方米仓库占地面积,2646个区县覆盖,678…

本篇文章内容来自2016年TOP100summit Microsoft资深产品经理邢国冬的案例分享.编辑:Cynthia 邢国冬(Tony Xing):Microsoft资深产品经理.负责微软应用与服务集团的大数据平台构建,数据产品与服务. 导读:微软的ASG (应用与服务集团)包含Bing,.Office,.Skype.每天产生多达5 PB以上数据,如何构建一个高扩展性的data audit服务来保证这样量级的数据完整性和实时性非常具有挑战性.本文将介绍微软ASG大数据团队如何利用Kafka.…

本篇文章内容来自2016年TOP100summit网易视频云.网易杭州研究院服务端技术专家邵峰的案例分享.编辑:Cynthia 邵峰:网易视频云.网易杭州研究院服务端技术专家浙江大学计算机专业博士毕业.自毕业以后从事数据库.分布式存储等领域研究,有十年左右的服务端开发经验.目前在网易视频云负责产品化研发工作,在服务端开发.存储/数据库开发等方面有丰富的实战经验. 导读:在网易视频云直播产品开发中,研发团队遇到了直播卡顿难题.如何提供稳定.流畅.无卡顿的直播服务,是当时迫切需要解决的问题.通过客户…

本篇文章内容来自2016年TOP100summit Twitter technical lead for Heron Maosong Fu 的案例分享. 编辑:Cynthia Maosong Fu:Technical Lead for Heron at Twitter 导读:人们需要处理的数据规模和对结果的响应速度需求增长得越来越快,但摩尔定律逐渐失效,系统设计者再也无法简单地通过硬件升级来获得巨大的性能提升.这时,我们希望可以把过去的单机任务分割给许多计算机进行并行处理.我们需要分布式系统,从…

本篇文章内容来自2016年TOP100summit 58到家架构师封宇的案例分享. 编辑:Cynthia 2017年11月9-12日北京国家会议中心第六届TOP100summit,留言评论有机会获得免费体验票. 封宇:58到家架构师.主要负责到家消息系统以及H5门户等公司战略级产品研发.在消息设计,流量增长等方面经验丰富. 导读:经历野蛮发展阶段后,58到家存在众多消息收发场景及不同技术.本案例总结多个业务场景下消息收发的难点与挑战,梳理各项技术的特点,结合实际业务及研发需求,构建了一套通用消息…

本篇文章内容来自2016年TOP100summit途牛旅游网高级架构师,技术委员会开发组长赵国光的案例分享.编辑:Cynthia 导读:价格中心系统是途牛网众多系统中很重要的一个,几乎所有的售卖价格计算都由此系统产生.初期由于缺乏合理设计,无法及时满足业务高速增长的需求,出现价格计算速度慢.系统不稳定.增加功能困难等问题,系统面临巨大压力,在这种情况下我们启动了系统优化.经过优化系统的稳定性得到巨大提升,特殊场景下的性能提升为原来的几十倍,平均性能提升为原来的几倍.本文将就途牛价格中心系统的优化…

本篇文章内容来自2016年TOP100summit美团●大众点评高级技术专家,酒店后台研发组eHome团队负责人许关飞的案例分享.编辑:Cynthia 许关飞:美团●大众点评高级技术专家,酒店后台研发组eHome团队负责人.新美大高级技术专家. 2012年加入美团,主导了新美大酒店业务从通用团购模式到专业酒店预订的技术转型:负责过美团酒店预订业务系统,平台系统,目前带领酒店孵化业务技术团队. 导读: 新美大以团购作为切入点,为了更好的连接用户与商户,从2012年开始在酒店.外卖.电影等垂直领域深…

王洋:猫眼电影商品业务线技术负责人.技术专家.主导了猫眼商品供应链和交易体系从0到1的建设,并在猫眼与美团拆分.与点评电影业务融合过程中,从技术层面保障了商品业务的平稳切换,同时也是美团点评<领域驱动设计>课程的讲师.在加入猫眼电影之前,曾就职于蚂蚁金服,参与了阿里网商银行从0到1的建设,以及支付宝钱包.花呗等产品的研发. 导读:互联网电影行业在2016年经历了较大的变动,其中包括猫眼电影和原美团的拆分,以及猫眼电影和点评电影业务的融合.业务发生大的变化时,技术通常也会做出较大的重构,猫眼后台…

内容来源:宜信技术学院第3期技术沙龙-线上直播|AI中台——智能聊天机器人平台 主讲人:宜信科技中心AI中台团队负责人王东 导读:随着“中台”战略的提出,目前宜信中台建设在思想理念及架构设计上都已经取得了很多成果.宜信是如何借助中台化的思想打造“AI中台”及相关的智能产品呢?本次直播,宜信科技中心AI中台团队负责人王东老师分享了宜信AI中台的具体实施路径,并重点介绍了AI中台的智能产品——智能聊天机器人平台,包括智能聊天机器人平台的背景理念.设计思想.技术架构和应用场景,该平台能提供什么样的能力…

以下为博云近期在活动中分享的关于<如何通过 DevOps 让数字化转型变得更加敏捷>的主题演讲实录. 01 金融科技进入VUCA时代 大家好,今天分享的题目是<如何通过 DevOps 让数字化转型变得更加敏捷>.首先,我们认为现在金融科技已经进入到了 VUCA 时代.VCUA 是关于四个词的缩写,即易变性.不确定性.复杂性和模糊性.金融科技行业进入了 VUCA 时代,导致金融业务已有了太多的不确定性和复杂性,驱动金融科技向敏捷化发展,这使得金融IT系统的应用开发和运维必须要关联起来…

对这个课程有兴趣的,能够联系我QQ2748165793 基础知识储备 ASP.NET MVC 5基础(6讲) 第一讲-初识ASP.NET MVC并搭建整合开发环境 第二讲-深入MVC开发模式 第三讲-C#核心语言特性 第四讲-C#核心语言特性(二) 第五讲-视图引擎Razor 第六讲-MVC核心工具 实战演练(11讲) 第七讲-体育商店(一):项目架构 第八讲-体育商店(二):数据库创建和訪问 第九讲-体育商店(三):分页和样式 第十讲-体育商店(四):布局和导航 第十一讲-体育商店(五):购物…

关于Camel Games Camel Games 成立于2009年,是中国首家得到google市场官方认证的顶尖开发公司.长期以来,Camel Games始终依靠于率先的技术背景,致力于成为国际一流的手机网络游戏开发商和运营商,为全球无线增值服务市场提供顶级的手机游戏娱乐产品.眼下.Camel Games共推出了12款Android游戏,当中7款曾获Google推荐,Blow Up, Space Physics, Roller 等游戏曾位列Android游戏分类排行榜的前三.Roller (L…

在5月12日Unite2017开发者大会上,米哈游技术总监兼美术指导贺甲进行了主题为次世代卡通渲染的演讲.一下为详细分享内容: 大家好,首先自我介绍一下,我叫贺甲,在米哈游担任技术总监和美术指导工作,目前主要关注的方向是非写实渲染以及可交互物理方面的研究.很高兴在这里给大家带来一场有关于次世代卡通渲染的演讲. 我们在考虑如何运用次世代渲染技术,对当前卡通渲染技术时代进行升级.如何将新的技术和卡通渲染有机结合,也是一个比较大的挑战,我们想还原不仅仅是之前传统上色的质感,还想进一步把插画级细致方面的…

宜信公司从2018年初开始建设容器云,至今,容器云的常用基本功能已经趋于完善,主要包括服务管理.应用商店.Nginx配置.存储管理.CI/CD.权限管理等,支持100+业务线.3500+的容器运行.伴随公司去VMware以及DevOps.微服务不断推进的背景,后续还会有更多的业务迁移到容器云上,容器云在宜信发挥着越来越重要的作用.本次分享主要介绍宜信容器云平台的背景.主要功能.落地实践及未来规划. 一.宜信容器云平台背景 宜信容器云平台的建设背景主要包括: 提高资源利用率.容器云建设之前,每台物…

调用链原理和场景 正如Service Mesh的诞生是为了解决大规模分布式服务访问的治理问题,调用链的出现也是为了对应于大规模的复杂的分布式系统运行中碰到的故障定位定界问题.大量的服务调用.跨进程.跨服务器,可能还会跨多个物理机房.无论是服务自身问题还是网络环境的问题导致调用上链路上出现问题都比较复杂,如何定位就比单进程的一个服务打印一个异常栈来找出某个方法要困难的多.需要有一个类似的调用链路的跟踪,经一次请求的逻辑规矩完整的表达出来,可以观察到每个阶段的调用关系,并能看到每个阶段的耗时和调用详…

在这个文章里面我将用一个实际的案例来分享如何来构建一个能够接受3000+个连接的GPRS通讯服务器软件,这个软件被我认为是一个艺术品,实现周期为1.5个月,文章很长,有兴趣的同志慢慢看.在这里,我将分享GPRS通讯服务器设计过程中面临的问题,分享通讯协议的设计,分享基于异步事件的设计,分享避免内存泄露的解决方案,分享软件的发布与升级方法,分享通讯协议的单元测试构建等. 1 GPRS通讯服务器软件介绍 首先我们来看一下这个通讯服务器软件,如下图所示(这个界面框架是一个OSGi.NET插件,有兴趣可…

一.Hbase简介 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java.它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务.因此,它可以容错地存储海量稀疏的数据.HBase在列上实现了BigTable论文提到的压缩算法.内存操作和布隆过滤器.HBase的表能够作为MapReduce任务的输入和输出,可以通过Java API来存取数据,也可以…

升讯威微信营销系统(微信第三方平台) 在线体验:http://wxcm.eeipo.cn/开源地址GitHub:https://github.com/iccb1013/Sheng.WeixinConstruction作者:曹旭升 sheng.chao 说明:有问题上QQ群交流 QQ群:173459027   591928344 作者最初的期望是实现一个微信云平台,类似于微盟,只需要商家扫码绑定即可提供整套的营销功能.我的定位是专门服务于线下商家,例如电影院.商业中心.各类线下门店等,线下商家的一…

HBase的特点: 海量存储: 底层基于HDFS存储海量数据 列式存储:HBase表的数据是基于列族进行存储的,一个列族包含若干列 极易扩展:底层依赖HDFS,当磁盘空间不足的时候,只需要动态增加DataNode服务节点就可以 高并发:支持高并发的读写请求 稀疏:稀疏主要是针对HBase列的灵活性,在列族中,你可以指定任意多的列,在列数据为空的情 况下,是不会占用存储空间的. 数据的多版本:HBase表中的数据可以有多个版本值,默认情况下是根据版本号去区分,版本号就 是插入数据的时间戳 数据类型…

框架介绍 1:将插件暴露的页面数据接口复用到任何 WebForm和Mvc 架构的系统. 2:插件可在线卸载,发布,更新. 3:插件可分布式 独立 部署. 4:插件之间完全解耦,通过Url跳转 相互不需要任何 Dll引用. 5:可将插件组装成 新 的子系统,可拆 可分 可升级 实现最大复用. 为什么要用插件框架? 你不需要任何开发即可使用如下所有插件的页面功能和数据接口. 怎么使用这些插件的功能页面和数据接口? 每个插件都配有页面接口使用文档,点击方法可以自己预览效果,(如下功能 本身 就是 "文…

我画了个简单的架构图来帮助说明: 其实为发布订阅架构模式. 生产者和消费者我们统一可理解为客户端,消息中间件可认为是服务端. 生产者和消费者做为客户端要跟服务端交互,则先通过代理订阅服务端,订阅成功后即可跟服务端互通互联,此刻的连接通道为长连接. 长连接的优势在于会将消息主动通知到客户端,避免客户端去做大量的轮询工作而造成资源浪费,而且对于移动应用来说,可较大程度上节省GPRS流量. 当连接建立好后,生产者可随时发送消息,如果在发消息过程当中,服务端由于各种原因不能连接,则消息的发送会回放重试,…

MVP(Model-View-Presenter)模式.是将APP的结构分为三层:View - Presenter - Model. View 1. 提供UI交互 2. 在presenter的控制下修改UI. 3. 将业务事件交由presenter处理.注意:View层不存储数据,不与Model层交互. Presenter 1. 对UI的各种业务事件进行相应处理.也许是与Model层交互,也许自己进行一些计算,也许控制后台Task,Servic 2. 对各种订阅事件进行响应,修改UI. 3. 临…