数据分析平台

01|数据平台概况图示

上面图中所示就是微软人工智能数据平台的相关的技术。

02.1| Cortana Intelligence Suite

从上面图中可以看到, 其中有一个Cortana Intelligence Suite,翻译过来叫做人工智能套件, 是微软在azure上面对于人工智能的一整套套件。

02|Azure数据湖泊

    数据湖泊解决方案

数据湖泊的解决方案是目前很火的一个解决方案, 主要分为三个步骤, 导入, 存储, 以及分析。其中导入的数据类型可以支持很多种并且存储支持这些数据类型的原生态类型的存储。从分析来看就是会涉及到批处理,交互查询等。

上图中我们看到的azure数据湖泊就是搭建在azure云上的数据湖泊,主要是两个组件: data lake store以及data lake analytics, 学到这个data lake analytics的时候我觉得以后我的工作好像就是跟这个相关的。 它是基于一个开源的YARN的框架,以job和Service提供的数据分析和查询的服务, analytics job as a Service。

无限量体现在以下几个概念: 1.对于单个文件的大size的存储。 2.对于存储数量的方面很大。3. 支持大规模吞吐量并行分析。 4.数据按照原始格式存储,无需重新设计。5.数据导入的方式多样性

job as service的理念的由来是来自于Saas的模式。用户不需要考虑硬件方面以及配置,只需要focus在数据上。U SQL = T SQL + C# || Python,R Library。支持远程查询。

上图技术层面介绍ADLA。

03|HDInsight,Spark & R Service

03.1 | HDInsight:

大数据分析的三种使用场景

1. Batch analytics, 有个短板就是有个delay。

2. Interactive analytics, 基于大数据的

3. RealTime analytics, 适时分析,物联网。kafka实践采集之后使用流分析,最后使用ML将结果发布。

03.2| Spark

这三种使用场景中都用到了 Apache Spark, 下面来介绍一下:

基于spark可以做到下面这些案例,应用很广, 所以显得spark很重要

spark涉及到的算法也都是大数据分析人工智能领域核心的算法:

所以关于spark这里就不多赘述,会在以后的学习中进行系统的学习研究,

 03.3| R Server

这个技术同样我也没有研究过, 这个貌似是一个关于数据计算的技术吧。

03.4| R 与Spark是如何交互的

04|Azure Machine Learning Studio

在azure上面基于图形界面实现的创建和操作ML工作流的集成开发环境,

【AI】微软人工智能学习笔记(一)的更多相关文章

  1. 【AI】微软人工智能学习笔记(二)

    微软Azure机器学习服务 01|机器学习概述 首先上一张图, 这个图里面的大神是谁我也不清楚反正,但是看起来这句话说得很有哲理就贴出来了. 所以在人工智能领域下面的这个机器学习,到底是一个什么样的概 ...

  2. 【AI】微软人工智能学习笔记(三)

    微软R服务 01|开源的R R实际上是统计学的编程语言,主要作用是对数据挖掘,统计,分析,可视化,机器学习等. 02|微软R 03| HDInsight R Spark集群存储在azure blob ...

  3. Python人工智能学习笔记

    Python教程 Python 教程 Python 简介 Python 环境搭建 Python 中文编码 Python 基础语法 Python 变量类型 Python 运算符 Python 条件语句 ...

  4. GIS-"地理空间大数据与AI的碰撞"学习笔记

    1.关系 人工智能>机器学习>神经网络>深度学习 2.机器学习-两个过程 训练/学习过程:样本数据.学习器.模型参数 测试/预测过程:预测.预测值 3.神经网络 机器学习模拟人脑神经 ...

  5. 集智人工智能学习笔记Python#0

    1,学习基本Python语句规范: print('Hello world') print() 为函数 ‘Hello world’为字符串 2,表达式和语句的区别: 表达式有结果,运算就是表达式的一种: ...

  6. AI学习笔记:人工智能与机器学习概述

    一.人工智能基本概念 1.1 基本概念 数据分析:对历史规律的展现.对未来数据的预测. 机器学习:机器学习是指从一系列的原始数据中找到规律,提取人们可以识别的特征,然后通过学习这些特征,最终产生一个模 ...

  7. 游戏人工智能 读书笔记 (四) AI算法简介——Ad-Hoc 行为编程

    本文内容包含以下章节: Chapter 2 AI Methods Chapter 2.1 General Notes 本书英文版: Artificial Intelligence and Games ...

  8. AI学习笔记:特征工程

    一.概述 Andrew Ng:Coming up with features is difficult, time-consuming, requires expert knowledge. &quo ...

  9. 人工智能中小样本问题相关的系列模型演变及学习笔记(二):生成对抗网络 GAN

    [说在前面]本人博客新手一枚,象牙塔的老白,职业场的小白.以下内容仅为个人见解,欢迎批评指正,不喜勿喷![握手][握手] [再啰嗦一下]本文衔接上一个随笔:人工智能中小样本问题相关的系列模型演变及学习 ...

随机推荐

  1. Spark学习之路 (九)SparkCore的调优之数据倾斜调优

    摘抄自:https://tech.meituan.com/spark-tuning-pro.html 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Sp ...

  2. Spring cglib 初始化 ExceptionInInitializerError,new Enhancer() 异常

    解决办法:更换 spring-cglib-repack-*.*.jar 包 java.lang.ExceptionInInitializerError at org.springframework.a ...

  3. MQ(转)

    1. 到底什么时候该使用MQ? 1). 典型场景一:数据驱动的任务依赖 采用MQ的优点是: a. 不需要预留buffer,上游任务执行完,下游任务总会在第一时间被执行 b. 依赖多个任务,被多个任务依 ...

  4. Linux基础命令---traceroute追踪路由

    traceroute       traceroute指令输出到目标主机的路由包.Traceroute跟踪从IP网络到给定主机的路由数据包.它利用IP协议的生存时间(TTL)字段,并试图在通往主机的路 ...

  5. Linux环境jdk的安装

    1.下载jdk1.7,oracle的下载地址已经失效,找了个其他的地址进行下载. wget http://pc.xzstatic.com/2017/03/jdk7u79linuxx64.tar.gz ...

  6. Eloquent JavaScript #07# Project: A Robot

    索引 Notes Excercise Measuring a robot Robot efficiency Persistent group 注释即笔记: const roads = [ " ...

  7. EDK II之DXE Core框架简介

    本文旨在简单的介绍一下DXE阶段的工作原理: UDK2015的开源代码下载:https://github.com/tianocore/tianocore.github.io/wiki/EDK-II D ...

  8. PHP5.4以下的json_encode中文被转码的问题

    PHP的json_encode中文被转码的问题   在php5.2中做json_encode的时候.中文会被unicode编码, php5.3加入了options参数, 5.4以后才加入JSON_UN ...

  9. FileReader 获取图片base64数据流 并 生成图片

    <?php if(isset($_GET['upload']) && $_GET['upload'] == 'img'){ if(isset($_GET['stream_type ...

  10. 前端诡异参数start

    今天搞了一下午只为一个诡异事件:前端请求数据时总是会传一个start=20的参数,二搜索整个项目也找不出这个start的踪影. 倒是搜到一个pageLength的参数是20,但就是找不到start. ...