一.背景 在电商领域内,商品是一个重要组成部分,与其对应的商品管理系统,则负责商品的新建.编辑.复制等功能.随着商品管理系统的成熟稳定和业务上的扩展需求,催化出了商品中台的诞生.它可以将现有商品功能最大效率的复用在很多业务上(公司内业务.公司外业务等).而不是仅限于当前团队的业务使用. 在设计商品中台的前端系统时,我们使用了微前端和可视化技术,其可以达到如下效果: 可视化技术可以让各个业务方的运营等相关人员,直观的看到其配置的数据在页面上的展示效果: 微前端可以帮助商品中台更快更好的适配到各个业…

作者:vivo 互联网存储技术团队- Qiu Sidi 在企业大数据体系建设过程中,数据采集是其中的首要环节.然而,当前行业内的相关开源数据采集组件,并无法满足企业大规模数据采集的需求与有效的数据采集治理,所以大部分企业都采用自研开发采集组件的方式.本文通过在vivo的日志采集服务的设计实践经验,为大家提供日志采集Agent在设计开发过程中的关键设计思路. 一.概述 在企业大数据体系的建设过程中,数据的处理一般包含4个步骤:采集.存储.计算和使用.其中,数据采集,是建设过程中的首要的环节,也是至…

Java生鲜电商平台-SpringCloud分布式请求跟踪系统设计与实践 Java生鲜电商平台微服务现状 某个服务挂了,导致上游大量报警,如何快速定位哪个服务出问题? 某个核心挂了,导致大量报错,如何快速定位哪里出了问题? 应用程序的性能瓶颈? 线上发布了服务,怎么知道一切正常? App响应延迟,怎么确定有哪些服务导致?     如何解决 业务端去解决,通过日志,grep,awk,sed等等定位. 分布式请求跟踪系统.(帮助开发人员快速理解系统行为,快速定位问题的工具,分布式请求跟踪系统应运而生…

作者:vivo 互联网容器团队- Pan Liangbiao 本文根据潘良彪老师在"2022 vivo开发者大会"现场演讲内容整理而成.公众号回复[2022 VDC]获取互联网技术分会场议题相关资料. 2018年起,vivo以容器作为基础底座,打造了一站式云原生机器学习平台.向上支撑了算法中台,为算法工程师提供数据管理.模型训练.模型管理.模型部署等能力,为广告.推荐和搜索等业务赋能,成功为算法实现了降本.提效,让云原生和容器价值初露锋芒.基于机器学习平台的试点成果,经过算法场景的试点…

系列目录 之前的示例我们主要关注点在于功能的实现,都是在一个节点的完成了.有了多个节点后,必须涉及到资源的调度问题.本节我们讲解在创建任务时与资源调度的有关选项以及一些平时没有注意到的但在生产环境需要精细控制的选项. 我们随便创建一个自由式风格任务,这里主要讲解General里的一些选项 Restrict where this project can be run 限制项目运行的节点,勾选后出现Label Expression选项供输入要限制此任务运行节点的标签,可以指定多个标签,也可以使用一些…

上一篇中我们介绍了为什么需要一个日志系统.为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps.SRE.运维等同学看了是深有体会的.本篇文章单刀直入,会直接跟大家分享一下如何在云原生的场景下搭建一个灵活.功能强大.可靠.可扩容的日志系统. 需求驱动架构设计 技术架构,是将产品需求转变为技术实现的过程.对于所有的架构师而言,能够将产品需求分析透彻是非常基本也是非常重要的一点.很多系统刚建成没多久就要被推翻,最根本的原因还是没有解决好产品真正的需求. 我所在的日志服务团队…

一.业务背景 当今时代处在信息大爆发的时代,信息借助互联网的潮流在全球自由的流动,产生了各式各样的平台系统和软件系统,越来越多的业务也会导致系统的复杂性. 当核心业务出现了问题影响用户体验,开发人员没有及时发现,发现问题时已经为时已晚,又或者当服务器的CPU持续增高,磁盘空间被打满等,需要运维人员及时发现并处理,这就需要一套有效的监控系统对其进行监控和预警. 如何对这些业务和服务器进行监控和维护是我们开发人员和运维人员不可忽视的重要一环,这篇文章全篇大约5000多字,我将对vivo服务端监控的原…

vivo 互联网产品团队 - Wang xiao 随着广告和内容等推荐场景的扩展,算法模型也在不断演进迭代中.业务的不断增长,模型的训练.产出迫切需要进行平台化管理.vivo互联网机器学习平台主要业务场景包括游戏分发.商店.商城.内容分发等.本文将从业务场景.平台功能实现两个方面介绍vivo内部的机器学习平台在建设与实践中的思考和优化思路. 一.写在前面 随着互联网领域的快速发展,数据体量的成倍增长以及算力的持续提升,行业内都在大力研发AI技术,实现业务赋能.算法业务往往专注于模型和调参,而工程…

随着微服务.中台架构的兴起,DevOps也变得非常关键,毕竟是一些基础设施层面的建设,如果搞好了对后面的研发工作会有很大的效率提升.关于DevOps本身的概念,网上已经非常多了,在园子里随便搜索一些都一堆概念,我就不再重复介绍了.下面直接进入正题,怎么使用GitLab+Jenkins来完成DevOps的建设. 在开始实战演练之前,首先用一张图来展示一下这次实践所要完成的功能: 在这个流程中,分为3个环境,分别是预览环境.预发环境和生产环境,普通开发者接受到任务以后,在GitLab中基于featu…

在大数据时代下,我们借助机器学习.数据仓库.大数据平台等大数据技术手段,将运维产生的数据进行分析.处理,得出最佳运维策略,以期实现对故障的事先干预,将风险降低到最低,从而降低运维成本,提升运维效率,最终实现运维智能化.本文分享网易杭州研究院在这个领域的实践经验. 本文由作者授权发布,未经许可,请勿转载. 作者:席晶晶,网易杭州研究院运维与账号中心工程师 一.运维面临问题与挑战 眼下,随着信息化.数字化的深入发展,技术飞速迭代,应用服务也不断升级,企业面临的运维压力也越来越大,传统运维受到了前所未…