好未来数据中台 Node.js BFF实践系列文章列表: 基础篇 实战篇(TODO) 进阶篇(TODO) 好未来数据中台的Node.js中间层从7月份开始讨论可行性,截止到9月已经支持了4个平台,其中3个平台生产环境稳定,另1个在测试阶段近期上线. 我4月份刚加入数据中台,原本的想法是半年内不做大刀阔斧的改变,优先完善团队现有的基建设施,比如组件库.charts库.工具.规范等.Node.js中间层的立项完全是一个意外. 某次中台周例会上讨论到前后端协作效率问题,我一时嘴贱提到Node.js中间

概要 这篇博客是在上一篇博客Phantomjs+Nodejs+Mysql数据抓取(1.抓取数据) http://blog.csdn.net/jokerkon/article/details/50868880 后进行的第二部分,请各位读者在看这篇博客之前先浏览上一篇,因为这里面有部分代码会沿用到上一部分的抓取结果. 好,现在开始正式的抓取图片的讲解 首先,我们先来看看代码: var page =require('webpage').create(); var address='http://pro

一.数据中台解析SQL的目的: 数据中台需要对外提供数据特征查询的能力,因此中台查找并解析各个平台的sql,找出哪些表中的字段经常被使用,以便沉淀为特征,而我们要做的是找出sql中的数据表及其字段.以海象平台调度任务中的Hive SQL为例,看一下处理一个hive SQL都需要做什么. 二.预处理: 一个sql中会包含很多与查询操作不相关的语句: 1. 注释,包括--和#两种注释: 2. add jar; 3. alter table; 4. create temporary function,

小结: 1. OPPO数据中台之基石:基于Flink SQL构建实数据仓库 https://mp.weixin.qq.com/s/JsoMgIW6bKEFDGvq_KI6hg 作者 | 张俊编辑 | Vincent导读:本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议,分享嘉宾张俊,目前担任 OPPO 大数据平台研发负责人,也是 Apache Flink contributor.本文主要内容如下: - OPPO 实时数仓的演进思路: - 基于 Flink S

引言 在本系列的前面两篇文章(<数据智能时代来临:本质及技术体系要求>和<多维度分析系统的选型方法>)之中,我们概括性地阐述了对于数据智能的理解,并根据工作中团队涉及到的多维度分析系统的选型方法进行了穿插介绍.按照原先的规划,我们接下去的内容会涉及数据智能平台中的治理.安全计算以及质量保证方面. 不过,计划不如变化快,最近这段时间"数据中台"这个词非常热,有人问了我两个问题:"数据中台"与这个系列的核心"数据智能的技术体系"

欢迎来到数据中台小讲堂!这一期我们来看看,作为阿里巴巴数据中台(OneData - OneModel.OneID.OneService)方法论的产品载体,Dataphin如何帮助传统零售企业实现数字化转型,并在短时间内新增100万用户? 传统营销的痛点:数据分散分析难 营销可谓是零售行业最重要的的业务环节之一,是企业和消费者链接的重要纽带,如何进行更有效的营销以实现提效降本成为各大企业关注的重点,过程中不得不思考如下几个方向:如何维持现有老客户?如何识别并触达目标新客户?如何进行客户画像以实现人

Dataphin作为阿里巴巴数据中台OneData (OneModel.OneID.OneService)方法论的产品载体,帮助企业构建三大数据中心:基于数据集成形成的垂直数据中心.基于数据开发沉淀的公共数据中心和基于标签工厂构建的萃取数据中心.今天我们就一起来看看,Dataphin是如何基于OneID思想构建数据萃取中心,连接上下游应用为企业创造更多价值的吧- 为什么要建立萃取数据中心:提升数据价值密度 首先,我们来看看Dataphin为什么要帮助企业构建自己的萃取数据中心? 大数据时代,任何

什么是产品化 大部分创业公司都是从一个伟大的想法创意开始的,并且需要有一堆技术专家来实现.我们清楚,伟大的技术并不等同于和伟大的产品,技术可以解决问题,但如果它没有办法法规模化,那这些技术或者能力对用户便没有直接价值,只有把它们拆解,打包,设计成产品,才能真正的解决用户问题,把某些技术或者能力变成产品的过程这个过程,就是产品化. OneModel方法论 OneModel方法论是以维度建模为理论基础,构建总线矩阵,划分和定义业务板块.数据域.业务过程.维度.度量/原子指标.业务限定.时间周期.派生

日前,由阿里数据打造的智能数据构建与管理Dataphin,重磅上线阿里云-公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务. 智能数据构建与管理Dataphin是企业在建设数据中台中必不可少的核心组成部分,是阿里巴巴大数据能力的集大成产品.Dataphin主要面向各行各业大数据建设.管理及应用求,一站式提供从数

阿里云智能数据构建与管理 Dataphin (下简称“Dataphin”)近日重磅上线公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务.经过半年时间准备,Dataphin已于2019年4月23日正式登陆阿里云公共云,以满足更广泛的客户需求.下图为Dataphin在企业数据中台的定位: Dataphin,亦称智能

5月15日 阿里云DataWorks正式推出Stream Studio,正式为用户提供大数据的实时计算能力,同时标志着DataWorks成为离线.实时双计算领域的数据中台. 据介绍,Stream Studio基于阿里巴巴Flink实时计算引擎,支持DAG和SQL双模式开发流计算作业,并支持DAG与SQL互转:支持Function Studio在线开发UDF并一键发布:支持线上数据采集与本地调试:支持作业运维和智能诊断:极大地降低了流计算作业开发门槛,提高了开发效率.通过DataWorks已有的数

随着移动互联网.云计算.物联网和大数据技术的广泛应用,现代社会已经迈入全新的大数据时代.数据的爆炸式增长以及价值的扩大化,将对企业未来的发展产生深远的影响,数据将成为企业的核心资产.如何处理大数据,挖掘大数据的价值,让大数据为企业的发展保驾护航,将是未来信息技术发展道路上关注的重点. 传统的数据处理方式通常是将数据导入至专门的数据分析工具中,这样会面临两个问题:1.如果源数据非常大时,往往数据的移动就要花费较长时间.2.传统的数据处理工具往往是单机模型,面对海量数据时,数据处理的时间也是一个很大

继上期数据中台技术汇栏目发布DataSimba——企业级一站式大数据智能服务平台,本期介绍DataSimba的数据采集平台. DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分, 负责数据的导入, 从而支持上层的数据处理. DataSimba的定位是面向企业私有化部署,决定了采集平台面临要解决的问题和传统的互联网公司不太一样: 1.企业使用的数据库类型多且杂, 包括很多非主流的数据库: 2.企业的数据管理水平参差不齐, 依赖数据规范(如:维护列modify_time判断

在这个“数据即资产”的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台——DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要“采集”,也要将数据合理

本文以B2B电商产品“亿订”为实例,与大家一同谈谈数据中台的数据埋点. 笔者所在公司为富力环球商品贸易港,是富力集团旗下汇聚原创设计师品牌及时尚买手/采购商两大社群,通过亿订B2B电商.RFSHOWROOM.环贸快版.环贸映像.富运通.富贸通等子品牌为时尚行业提供一站式产业+渠道服务的平台. 笔者所在部门为数据中台,职责就是为公司搭建数据中台,支撑各产品线数据化运营,通过数据中台打通各条产品线的数据,更精准的为产业的上下游客户服务.本文以B2B电商产品亿订为实战,谈数据中台的数据埋点. 图片来源

[股神巴菲特加持,今年最受关注美股IPO ] 这段时间, 由股神巴菲特54年来首次打新的美股IPO公司Snowflake迅速得到业界重点关注.Snowflake已于2020年9月16日正式上市,发行价120美元,开盘便涨到了245美元,收盘时更是冲到253.93美元,相比发行价上涨111%,估值超过700亿美元, 是其营收的110倍(PS),毋庸置疑成为今年硅谷最红数据独角兽. [硅谷最红数据独角兽:Snowflake] Snowflake由美国业界三位公认的数据管理技术专家Benoit Dag

系列 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Maps Sentry For React 完整接入详解 Sentry For Vue 完整接入详解 Sentry-CLI 使用详解 Sentry Web 性能监控 - Web Vitals Sentry Web 性能监控 - Metrics Sentry Web 性能监控 - Trends Sentry Web 前端监控 -

系列 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Maps Sentry For React 完整接入详解 Sentry For Vue 完整接入详解 Sentry-CLI 使用详解 Sentry Web 性能监控 - Web Vitals Sentry Web 性能监控 - Metrics Sentry Web 性能监控 - Trends Sentry Web 前端监控 -

系列 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Maps Sentry For React 完整接入详解 Sentry For Vue 完整接入详解 Sentry-CLI 使用详解 Sentry Web 性能监控 - Web Vitals Sentry Web 性能监控 - Metrics Sentry Web 性能监控 - Trends Sentry Web 前端监控 -

本文描述了 Snuba 查询语言 (SnQL). 系列 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Maps Sentry For React 完整接入详解 Sentry For Vue 完整接入详解 Sentry-CLI 使用详解 Sentry Web 性能监控 - Web Vitals Sentry Web 性能监控 - Metrics Sentry Web 性能监控 -