一.说明 Fate 的模型预测有 离线预测 和 在线预测 两种方式,两者的效果是一样的,主要是使用方式.适用场景.高可用.性能等方面有很大差别:本文分享使用 Fate 基于 纵向逻辑回归 算法训练出来的模型进行离线预测实践. 基于上文 <隐私计算FATE-模型训练> 中训练出来的模型进行预测任务 关于 Fate 的安装部署可参考文章 <隐私计算FATE-概念与单机部署指南> 二.查询模型信息 执行以下命令,进入 Fate 的容器中: docker exec -it $(docker…

一.说明 本文分享基于 Fate 使用 横向联邦 神经网络算法 对 多分类 的数据进行 模型训练,并使用该模型对数据进行 多分类预测. 二分类算法:是指待预测的 label 标签的取值只有两种:直白来讲就是每个实例的可能类别只有两种(0 或者 1),例如性别只有 男 或者 女:此时的分类算法其实是在构建一个分类线将数据划分为两个类别. 多分类算法:是指待预测的 label 标签的取值可能有多种情况,例如个人爱好可能有 篮球.足球.电影 等等多种类型.常见算法:Softmax.SVM.KNN.决策…

一.说明 本文分享基于 Fate 自带的测试样例,进行 纵向逻辑回归 算法的模型训练,并且通过 FATE Board 可视化查看结果. 本文的内容为基于 <隐私计算FATE-概念与单机部署指南>中部署的环境. 二.进入容器 执行以下命令,进入 Fate 的容器中: docker exec -it $(docker ps -aqf "name=standalone_fate") bash 可以看到其中有一个 examples 的目录,里面包含各种算法的测试样例,以及测试的数据…

HMM(hidden markov model)可以用于模式识别,李开复老师就是采用了HMM完成了语音识别. 一下的例子来自于<统计学习方法> 一个HMM由初始概率分布,状态转移概率分布,观测概率分布确定.并且基于两个假设: 1 假设任意时刻t的状态只依赖于前一个时刻的状态,与其他时刻的状态和观测序列无关 2 假设任意时刻的观测只依赖与该市可的马尔科夫的状态,与其他观测,状态无关. 基于此,HMM有三个基本问题: 1 概率计算问题,给定模型和观测序列,计算在模型下的观测序列出现的概率 2 预测…

实时采样得到的数据经过模糊化处理后输入机器,通过查询模糊规则表便可得到应有的输出模糊量,从而避免了近似推理过程.实际应用中,特别是在控制系统较为简单而采用单片机控制时,常常采用这种查表法. 模糊控制表的计算有多种方式,手工编程计算会很繁琐.MATLAB中提供了evalfis函数进行模糊推理计算,也可以用SystemTest自动生成模糊控制表.注意MATLAB 2016a以后不再包含这个功能,可以用Unit Test Framework或Simulink Test代替. 以双输入—单输出系统为例,…

阿里专家强琦:流式计算的系统设计和实现 更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 阿里云数据事业部强琦为大家带来题为“流式计算的系统设计与实现”的演讲,本文主要从增量计算和流式计算开始谈起,然后讲解了与批量计算的区别,重点对典型系统技术概要进行了分析,包括Storm.Kinesis.MillWheel,接着介绍了核心技术.消息机制以及StreamSQL等,一起来了解下吧. 增量计算和流式计算 流式计算 流计算对于时效性要求比较严格,实时计算就是对计算…

一.概述 今天起就正式进入了流式计算.这里先解释一下流式计算的概念 离线计算 离线计算:批量获取数据.批量传输数据.周期性批量计算数据.数据展示 代表技术:Sqoop批量导入数据.HDFS批量存储数据.MapReduce批量计算数据.Hive批量计算数据.***任务调度 ,hivesql .调度平台 .Hadoop集群运维 .数据清洗(脚本语言) .元数据管理 .数据稽查 .数据仓库模型架构 相关技术栈与应用 流式计算 流式计算:数据实时产生.数据实时传输.数据实时计算.实时展示 代表技术:Fl…

在文章<最近在边缘计算领域,发生了一件足以载入物联网史册的大事…>我曾经提到Kubernetes(简称K8s)将从超大规模云计算环境,被带入到物联网边缘计算场景中. 事情有了新进展,从本周开始,在物联网的边缘计算场景中,K8s有了更加实用的工具.华为宣布将公有云上的智能边缘计算服务IEF部分开源,贡献了边缘计算管理框架KubeEdge,帮助各行各业加速向云原生迁移. 或许你对K8s还不熟悉,这里做个简单回顾.可以说2017是K8s的胜利之年,它赢得了云计算的战争.如果一家公有云现在还没有提供K…

本文主要介绍四个问题: 什么是Spark Streaming实时计算? Spark实时计算原理流程是什么? Spark 2.X下一代实时计算框架Structured Streaming Spark Streaming相对其他实时计算框架该如何技术选型? 本文主要针对初学者,如果有不明白的概念可了解之前的博客内容. 1.什么是Spark Streaming? 与其他大数据框架Storm.Flink一样,Spark Streaming是基于Spark Core基础之上用于处理实时计算业务的框架.其实…

分享一篇kaggle入门级案例,泰坦尼克号幸存遇难分析. 参考文章: 技术世界,原文链接 http://www.jasongj.com/ml/classification/ 案例分析内容: 通过训练集分析预测什么人可能生还,并对测试集中乘客做出预测判断 案例分析 加载包 library(dplyr) #bind_rows() library(ggplot2) #绘图 library(ggthemes) library(InformationValue) #计算WOE和IV library(str…