背景 由于公司业务场景的需要,我们需要开发HBase平台,主要需要以下功能: 建表管理 授权管理 SDK实现 与公司内部系统打通 我们使用的HBase 版本: HBase 1.2.0-cdh5.16.2 Hadoop: 2.6.0-cdh5.16.2 目前主要应用场景: 实时计算如商品.商家等维度表 去重逻辑 中间件服务等监控数据 用户画像 平台建设 建表管理 1.指定命名空间 HBase系统默认定义了两个缺省的namespace: hbase:系统内建表,包括namespace和meta表 d…

云知声是一家专注于语音及语言处理的技术公司.Atlas 超级计算平台是云知声的计算底层基础架构,为云知声在 AI 各个领域(如语音.自然语言处理.视觉等)的模型迭代提供训练加速等基础计算能力.Atlas 平台深度学习算力超过 57 PFLOPS(5.7 亿亿次/秒,是的你没有看错,是亿亿次] ),深度学习算力是衡量一个 AI 平台计算性能的核心指标.除了满足公司内部的业务需求,平台也为外部企业和院校机构提供定制化计算服务. 本文主要分享云知声 Atlas 超算平台(以下简称 Atlas)的存储建…

作者:韩锋 出处:DBAplus社群分享:来源:宜信技术学院 Themis开源地址:https://github.com/CreditEaseDBA 一.面临的挑战 1.运维规模及种类 我相信,这也是很多公司.很多DBA正在面临或未来都会面临的一些问题.正是存在问题,促使我们考虑引入数据库审核平台. 首先是运维规模与人力资源之间的矛盾.从我们的情况来看,运维了包括Oracle.MySQL.MongoDB.Redis四类数据库,数据库规模几十套,支持公司千余名开发人员及上百套业务系统.也许有的朋友…

其它权限实践系列文章: 1.角色.权限.账户的概念理解-非常全的理论讲解权限控制 https://www.cnblogs.com/spring_wang/p/10954370.html 2.权限管理模型简介-权限都在这里  https://www.cnblogs.com/spring_wang/p/10983935.html 3.权限管理模型实践-权限都在这里 https://www.cnblogs.com/spring_wang/p/10983969.html 4.权限管理模型-平台服务(多平…

前言 开发授权(OAuth2)是一个开放标准,允许用户让第三方应用访问该用户在某一网站上存储的私密的资料(如照片.视频.联系人列表),而无需将用户名和密码提供给第三方应用. OAuth2允许用户提供一个令牌,而不是用户名和密码来访问他们存放在特定服务提供者的数据.每一个令牌授权一个特定的网站(例如,视频编辑网站)在特定的时段(例如,接下来的2小时内)内访问特定的资源(例如仅仅是某一相册中的视频).这样,OAuth让用户可以授权第三方网站访问他们存储在另外服务提供者的某些特定信息,而非所有内容.…

1.1    不同组织机构 通俗的讲,就是一个集团公司,划分几个区域,每个区域都有什么分公司,每个分公司都有哪些部门一样,哪些部门又有那些子部门等. 当然也可以是外贸公司的全球性客户.合作伙伴的分布情况管理.或者是一个行政管理单位的按地区划分的行政机构的树型管理. 一般使用信息化系统的公司,大多是人数众多.地域分布相对广有异地分支机构的更迫切使用信息化管理系统,关键商业数据都需要依靠信息化技术及时进行沟通协调,提高办事效率. 软件系统需要充分考虑有多个分公司的情况下,应该如何满足管理上的需要,如…

Atitit 找人软福利建设 技术团队建设大概流程 火车公司有免费车座,餐馆有免费饭吃.. 软件公司嘛,就是软件资源,知识了...技术... 培训体系 大概的知识库体系..让他知道来到我们团队有着很高的提升空间 饮食文化体系 住宿体系 提升以及积累技术经验 项目产品化,一方面提升开发效率,一方面提升产品有利于招募人员 其他生活服务..修鞋等杂项服务,医疗 服务等.. 谈情怀谈文化 提升title 放假软福利(考虑到公司实际情况,目前当然是不带薪的了) 弹性工作时间 在家加班 在家工作 以工作量来…

当下,互联网技术正在深刻地重构我们的社会,各大企事业单位——大到万人集团公司,小到图文复印店——都在争先恐后地从所谓的“传统行业”中脱胎换骨一番以完成数字化转型. 在这个过程中,“企业即IT”.“科技即商业”等口号被屡屡提及,企业开始重新审视已有的CRM系统.供应链体系等诸多IT资产,发现割裂的信息化并不能给企业带来多少价值,于是CIO们逐渐意识到他们所需要的其实是一个IT生态系统.简单的讲,这里的IT生态系统即可以理解为数字化平台,这个平台不单单是个技术平台,同时也是一个业务平台. 微信平台策…

前言: 在前进中去发现自己的不足,在学习中去丰富自己的能力,在放弃时想想自己最初的目的,在困难面前想想怎么踏过去.在不断成长中去磨炼自己. 正文: 时间轴 flask + Python3 实现的的API自动化测试平台---- IAPTest接口测试平台 这篇文章已经发表了两个多月了,IAPTest测试平台从最初17年6月份构想的开始,到17年7月13的正式创立代码仓库,到7月21日第一版的完结,再到7月23日的阿里云的部署.期间多次调试,多次去修改,在十多天的开发中,第一版上线了,因为有之前ji…

x86平台转x64平台关于内联汇编不再支持的解决     2011/08/25   把自己碰到的问题以及解决方法给记录下来,留着备用!   工具:VS2005  编译器:cl.exe(X86 C/C++)  ml64.exe(X64 ASM64) 前提:X86下内联汇编是嵌在函数当中实现的 在X86平台下,可以轻松的在C/C++代码中嵌入汇编代码,称其为"内联汇编",使用"__asm{}"语法即可,比较简单,这里不做介绍.当你在X86平台下,由于性能和速度的要求,需…