数据分析平台

01|数据平台概况图示

上面图中所示就是微软人工智能数据平台的相关的技术。

02.1| Cortana Intelligence Suite

从上面图中可以看到, 其中有一个Cortana Intelligence Suite,翻译过来叫做人工智能套件, 是微软在azure上面对于人工智能的一整套套件。

02|Azure数据湖泊

    数据湖泊解决方案

数据湖泊的解决方案是目前很火的一个解决方案, 主要分为三个步骤, 导入, 存储, 以及分析。其中导入的数据类型可以支持很多种并且存储支持这些数据类型的原生态类型的存储。从分析来看就是会涉及到批处理,交互查询等。

上图中我们看到的azure数据湖泊就是搭建在azure云上的数据湖泊,主要是两个组件: data lake store以及data lake analytics, 学到这个data lake analytics的时候我觉得以后我的工作好像就是跟这个相关的。 它是基于一个开源的YARN的框架,以job和Service提供的数据分析和查询的服务, analytics job as a Service。

无限量体现在以下几个概念: 1.对于单个文件的大size的存储。 2.对于存储数量的方面很大。3. 支持大规模吞吐量并行分析。 4.数据按照原始格式存储,无需重新设计。5.数据导入的方式多样性

job as service的理念的由来是来自于Saas的模式。用户不需要考虑硬件方面以及配置,只需要focus在数据上。U SQL = T SQL + C# || Python,R Library。支持远程查询。

上图技术层面介绍ADLA。

03|HDInsight,Spark & R Service

03.1 | HDInsight:

大数据分析的三种使用场景

1. Batch analytics, 有个短板就是有个delay。

2. Interactive analytics, 基于大数据的

3. RealTime analytics, 适时分析,物联网。kafka实践采集之后使用流分析,最后使用ML将结果发布。

03.2| Spark

这三种使用场景中都用到了 Apache Spark, 下面来介绍一下:

基于spark可以做到下面这些案例,应用很广, 所以显得spark很重要

spark涉及到的算法也都是大数据分析人工智能领域核心的算法:

所以关于spark这里就不多赘述,会在以后的学习中进行系统的学习研究,

 03.3| R Server

这个技术同样我也没有研究过, 这个貌似是一个关于数据计算的技术吧。

03.4| R 与Spark是如何交互的

04|Azure Machine Learning Studio

在azure上面基于图形界面实现的创建和操作ML工作流的集成开发环境,

【AI】微软人工智能学习笔记(一)的更多相关文章

  1. 【AI】微软人工智能学习笔记(二)

    微软Azure机器学习服务 01|机器学习概述 首先上一张图, 这个图里面的大神是谁我也不清楚反正,但是看起来这句话说得很有哲理就贴出来了. 所以在人工智能领域下面的这个机器学习,到底是一个什么样的概 ...

  2. 【AI】微软人工智能学习笔记(三)

    微软R服务 01|开源的R R实际上是统计学的编程语言,主要作用是对数据挖掘,统计,分析,可视化,机器学习等. 02|微软R 03| HDInsight R Spark集群存储在azure blob ...

  3. Python人工智能学习笔记

    Python教程 Python 教程 Python 简介 Python 环境搭建 Python 中文编码 Python 基础语法 Python 变量类型 Python 运算符 Python 条件语句 ...

  4. GIS-"地理空间大数据与AI的碰撞"学习笔记

    1.关系 人工智能>机器学习>神经网络>深度学习 2.机器学习-两个过程 训练/学习过程:样本数据.学习器.模型参数 测试/预测过程:预测.预测值 3.神经网络 机器学习模拟人脑神经 ...

  5. 集智人工智能学习笔记Python#0

    1,学习基本Python语句规范: print('Hello world') print() 为函数 ‘Hello world’为字符串 2,表达式和语句的区别: 表达式有结果,运算就是表达式的一种: ...

  6. AI学习笔记:人工智能与机器学习概述

    一.人工智能基本概念 1.1 基本概念 数据分析:对历史规律的展现.对未来数据的预测. 机器学习:机器学习是指从一系列的原始数据中找到规律,提取人们可以识别的特征,然后通过学习这些特征,最终产生一个模 ...

  7. 游戏人工智能 读书笔记 (四) AI算法简介——Ad-Hoc 行为编程

    本文内容包含以下章节: Chapter 2 AI Methods Chapter 2.1 General Notes 本书英文版: Artificial Intelligence and Games ...

  8. AI学习笔记:特征工程

    一.概述 Andrew Ng:Coming up with features is difficult, time-consuming, requires expert knowledge. &quo ...

  9. 人工智能中小样本问题相关的系列模型演变及学习笔记(二):生成对抗网络 GAN

    [说在前面]本人博客新手一枚,象牙塔的老白,职业场的小白.以下内容仅为个人见解,欢迎批评指正,不喜勿喷![握手][握手] [再啰嗦一下]本文衔接上一个随笔:人工智能中小样本问题相关的系列模型演变及学习 ...

随机推荐

  1. 更换tomcat运行日志目录

    1.在tomcat安装文件夹的bin目录下,修改catalina.sh,改变catalina.out的输出目录 CATALINA_OUT="$CATALINA_BASE"/logs ...

  2. appium随笔

    目录结构如下: Test_edaike---page object设计思想 定位元素和脚本分离Images目录---用例失败截图case目录 eTestfastfood.py---定位app界面元素& ...

  3. linux学习笔记---grep

    先来讲讲grep(搜索过滤) 1.命令格式: grep [option] pattern file 2.命令参数: -a 不要忽略二进制的数据 -A<显示行数>          除了显示 ...

  4. webstorm's interpreter

    下载node.js 地址:http://nodejs.cn/ next——> Node interpreter: ……/……/node.exe

  5. ubuntu 18.04下安装Hadoop

    在Ubuntu里装完Java环境后,接下来就开始学习安装Hadoop了,参照的是以下链接 https://blog.csdn.net/xuan314708889/article/details/805 ...

  6. Oracle初级第一天

    oracle卸载 运行regedit,删除HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\ ...

  7. Eclipse Luna在线安装Maven时报错:Java heap space

    问题描述: 在线安装Maven插件时发生了:Java heap space 问题截图:

  8. Oracle与MySQL区别

    MyBatis中模糊查询,mysql可以用concat,而oracle用"||"; 另外,mysql支持主键自增,而oracle不支持主键自增.

  9. log4j2笔记 #03# PatternLayout

    该类的目标是格式化LogEvent并返回(字符串)结果.结果的格式取决于具体的模式字符串(pattern string).这里的模式字符串与c语言中printf函数的转换模式非常相似.模式字符串由“转 ...

  10. php+js的 authcode 混淆加密和解密,php和js可以通用加密和解密

    <script> //md5.js var hexcase = 0; function hex_md5(a) { return rstr2hex(rstr_md5(str2rstr_utf ...