cube.js 学习（十）cube 来自官方的学习网站

尽管cube.js 包含了一个doc 站点,但是资料不是很全,同时如果查看了cube github 代码中的一些demo的话,发现还是很不错的但是一些实践没有在文档展现出来,还好我们可以从cube 的产品网站找点有意义的东西参考网站 https://statsbot.co/docs 比如一些好的实践动态union table 的 https://statsbot.co/docs/dynamically-union-tables 如何处理子查询的 https://statsbot.co/do…

强化学习(十九) AlphaGo Zero强化学习原理

在强化学习(十八) 基于模拟的搜索与蒙特卡罗树搜索(MCTS)中,我们讨论了MCTS的原理和在棋类中的基本应用.这里我们在前一节MCTS的基础上,讨论下DeepMind的AlphaGo Zero强化学习原理. 本篇主要参考了AlphaGo Zero的论文, AlphaGo Zero综述和AlphaGo Zero Cheat Sheet. 1. AlphaGo Zero模型基础 AlphaGo Zero不需要学习人类的棋谱,通过自我对弈完成棋力提高.主要使用了两个模型,第一个就是我们上一节介绍MC…

python学习(十五) 内建模块学习

介绍python的几个內建模块,原文链接 1 python的时间模块datetime 取现在时间 from datetime import datetime now = datetime.now() print(now) print(type(now)) 将指定日期转化为时间戳 from datetime import datetime dt = datetime(2017,12,13,13,7) # 把datetime转换为timestamp print( dt.timestamp() ) 将…

cube.js 学习 cube docker-compose 运行

cube.js 官方为我们也提供了backeng 部署的模型,为了测试方便以下是一个使用docker-compose 运行的demo 项目是一个集成gitbase 的demo,实际可以按照自己的项目修改,同时集成了redis cache,gitbase-web 环境准备项目结构 ├── README.md ├── cube │ ├── Dockerfile │ ├── index.js │ ├── package.json │ └── schema │ ├── Blobs.js │ ├── C…

cube.js 学习（九）cube 的pre-aggregation

我们可以使用cube的pre-aggregation 加速数据的查询,以下为一张来自官方的pre-aggregation 架构参考架构图 pre-aggregation schema preAggregations: { amountByCreated: { type: `rollup`, measureReferences: [amount], timeDimensionReference: createdAt, granularity: `month` } } 参考资料 https://c…

cube.js 学习（八）backend部署模式

cube.js 从设计上就进行了系统上的分层,backend,frontend,backend 是cube.js 的核心对于cube.js backend 的部署官方也提供了好多中方法部署模型 serverless 目前主要是aws的应用场景 heroku 基于heroku 提供的pg 以及应用部署能力 docker 部署,单机.同时基于环境变量的配置 docker-compose 全家桶的方式,集成pg.redis,以及nodejs 运行时环境 kubernetes 的集成,实际上这个就很…

cube.js 学习 cube 连接mongodb 试用

cube.js 对于mongodb 的连接是通过mongodb bi connector(mysql 协议)处理的,以下为简单的试用安装mongo bi connector 这个玩意用docker 跑起来有点烦,直接试用本地运行,后期制作一个docker 镜像下载地址参考地址 https://www.mongodb.com/download-center/bi-connector/releases 简单配置默认安装包已经内置了一个配置文件,我们只需要简单修改下就可以使用了,注意schem…

cube.js 学习（十一）cube + gitbase 分析git 代码

这个是一个简单的demo,使用gitbase+cube 分析git 仓库代码需求我们平时使用的gitlab,或者gogs 等git 仓库管理工具,有自己的管理强项,但是对于分析上可能就不是那么强大了这个就需要我们进行git 代码文件级别的分析了,可选的工具很多gitstats 就是一个不错的选择,但是大部分是基于单仓库管理的,gitbase 则不同,给予我们提供了大批量的分析能力环境准备 gitbase 安装参考官方文档,直接二进制文件就可以了 cube.js 这个我们可以通过全局安…

cube.js 学习（七）cube.js type 以及format 说明

cube.js 对于measure以及dimension 提供了丰富的数据类型,基本满足我们常见应用的开发,同时对于不同类型也提供了格式化的操作 measure类型 number 格式 purchasesRatio: { sql: `${purchases} / ${count} * 100.0`, type: `number`, format: `percent` } count 格式 numerOfUsers: { type: `count`, // optional drillMem…

cube.js 学习（五）cube.js joins 说明

cube.js 也支持join, 参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 一个简单demo cube("Authors", { joins: { Books: { relationship: `hasMany`, sql: `${Authors}.id = ${Books}.author_id` } } }…

cube.js 学习（四）cube.js cube 说明

cube 是cube.js data schema 的核心,里面定义了生成sql 的说明一个比较全的schema 例子 cube(`Users`, { sql: `select * from users`, joins: { Organizations: { relationship: `belongsTo`, sql: `${Users}.organization_id = ${Organizations}.id` } }, measures: { count: { type: `cou…

cube.js 学习（三）cube.js data schema

cube.js的 data schema 类似graphql 的type 定义,但是cube.js 的data schema 更偏向于dsl, 其中抽象了进行数据分析应用开发中的东西,自己提炼了measures , dimensions,cube 说明 cube 这个是用来进行实体,或者说是数据库表管理的 measures 说简单点就是聚合类的操作,但是这个是由cube.js 自动帮我们生成代码的,我们只需要定义 dimensions 实际上就是我们关注的详细数据列信息(一般体现为数据库表的定义…

cube.js 学习（二）cube.js与 graphql2chartjs的比较

cube.js 是目前看到从设计以及理念上很不错的数据分析事件,graphql2chartjs 是hasura graphql-engine 团队开发的一个类库基于graphql,以下做一些比较 cube.js 组件更丰富(backend,frontend),graphql2chartjs 就是一个类库,只是封装了一些图标的处理 cube.js 支持的数据库比较多,graphql2chartjs 只是pg(当然和hasura 的graphql-engine有关系) 都是支持实时数据展示的,但是…

cube.js 学习（一）简单项目创建

cube.js 是一个很不错的模块化分析框架,基于schema生成sql 同时内置可代码生成,可以快速的搞定 web 分析应用的开发安装cli 工具 npm install -g cubejs-cli 创建简单应用使用cli cubejs create pg-demo -d postgres 准备pg 数据库使用docker-compose version: "3" services: postgres: image: postgres:9.6.11 ports: - "…

cube.js 开源模块化分析框架

cube.js 是一款很不错的模块化web 应用分析框架.cube.js 的设计主要是面向serverless 服务, 但是同时也支持所有rdbms, cube.js不是一个单体应用,包含了以下部分: backend cube.js scheme 类似ORM ,方便数据模型的分析 cube.js query Orchestration 以及cache 优化查询的执行 cube.js api gateway 提供长轮询的api ,方便分析 frontend javascrript clinet 提…

cube.js 最近版本的一些更新

有一段时间没有关注cube.js 了,刚好晚上收到一封来自官方的更新介绍,这里简单说明下更多的数据驱动支持 bigquey, clickhouse snowflake,presto (很棒),hive,oracle 支持的完整列表在docs 开发这的playground 有了很多的提升,可以查看查询的json 数据了基于数据库以及schema 级别的多租户方式支持,我们可以连接多个数据库了 rollups 有了很大的提升,可以在外部数据库创建了, 动态schema 生成更加灵活了同时官方发…

通过patch 方式解决cube.js 集成cratedb 的问题

今天有写过一个简单的cube.js 集成cratedb 的说明,主要是在driver 上的兼容问题,处理方法是删除不兼容的代码实际上我们也可以通过类似linux c 开发中的patch 方式解决,简化手工干预生成patch 文件安装npm 依赖 yarn 生成patch 重命名原有的文件(进入npm 包目录) cp PostgresDriver.js PostgresDriver-origin.js 修改PostgresDriver.js ,删除不兼容的部分: 生成patch diff…

cube.js 集成cratedb 的尝试

cratedb 提供了pg协议的兼容,我们可以直接使用pg client 连接,但是也不是完整实现pg 协议的以下是 cube.js 集成cratedb 的一些尝试环境准备 docker-compose 文件主要是数据库环境的 version: "3" services: db: image: crate ports: - "5432:5432" - "4200:4200" cube.js pg 项目创建 cubejs create -…

edgedb-js 来自官方的js 驱动

目前对于edgedb 主要还是来自官方的python驱动,目前js 版本的已经快发布了,代码在github 可以看到了同时官方文档也提供了一个关于edgedb 内部的协议说明,结合js 驱动以及文档我们可以方便学习内部协议参考资料 https://edgedb.com/docs/internals/protocol/overview 参考资料 https://github.com/edgedb/edgedb-js …

gitbase cube.js schema 文件项目

cube.js 进行数据分析,需要我们编写schema 文件,但是因为gitbase 的原因没发进行自动生成,而且还有些问题所以做了一些简单的修改注意直接使用cube-cli 0.9.0 可以自动帮助我们生成大部分schema 还是很方便的参考项目 https://github.com/rongfengliang/gitbase-cube.js-schema 几个问题 primary key 问题默认gitbase 生成的table 没有包含主键,处理方法就是自己添加,目前可以使用仓库i…

cube.js 最近的一些更新

cube.js 是一个和不错的数据分析框架,最近又有了一些新的功能支持,以下是一些简单的总结基于web socket 的预览支持 react hooks api 支持支持基于reecharts 图表类型的api开发 cube.js server 支持https External pre-aggregations 支持 originalSql 的预聚合处理对于mysql 以及postgres External pre-aggregations 的性能提升 cube.js 模版支持 ,很方…

cube.js 通过presto-gateway 进行连接

cube.js 对于presto 的支持是通过presto-client 刚好简单修改了一个可以支持presto-gateway 连接的以下是一个简单的集成,以及关于集成中原有的一些修改环境准备 docker-compose 文件 version: "3" services: proxy: image: dalongrong/presto-gateway:1.6.1 ports: - "8888:8888" - "8082:8082" - &…

cube.js 新版本试用preosto

cube.js 新的版本添加了更多的数据库的支持,但是目前cubejs-cli 以及官方文档问题还挺多,使用不清晰,文档有明显的错误以下演示presto 数据库的使用环境准备安装新版本的cubejs-cli npm install -g cubejs-cli 初始化一个项目此处有问题,当前cli 还不支持dbtype 为presto 的格式,解决方法,使用可以生成的dbtype,然后修改配置初始化项目 cubejs create -d postgres mypresto 修改配置…

Optimize Cube.js Performance with Pre-Aggregations

转自:https://cube.dev/blog/high-performance-data-analytics-with-cubejs-pre-aggregations/ 可以了解 Pre-Aggregations的处理流程 This is an advanced tutorial. If you are just getting started with Cube.js, I recommend checking this tutorial first and then coming bac…

node.js之十大Web框架

之前接触过Node.js是因为好奇大前端越来越能干了,连我后台的饭碗都要抢了,太嚣张了,于是我想打压打压它,然后就这样接触它了.再到后来是因为Settings-Sync插件二次开发,我需要用node.js造一个mock server,而当时在开源项目上找到一个模拟github rest api的node.js服务端程序,然后我就在此基础上开发.从工作中学习有应用场景有目的性,果然还是学的要快很多. 今天之所以要说一说node.js的十大Web框架,主要是觉得以后针对VsCode开发或者是我自己的…

对比深度学习十大框架：TensorFlow 并非最好？

http://www.oschina.net/news/80593/deep-learning-frameworks-a-review-before-finishing-2016 TensorFlow 链接:https://www.tensorflow.org/ 对于那些听说过深度学习但还没有太过专门深入的人来说,TensorFlow 是他们最喜欢的深度学习框架,但在这里我要澄清一些事实. 在 TensorFlow 的官网上,它被定义为「一个用于机器智能的开源软件库」,但我觉得应该这么定义:Te…