[AI] 深度数据 - Data

Data Engineering

---

Data  Pipeline

Outline

[DE] How to learn Big Data【了解大数据】

[DE] Pipeline for Data Engineering【工作流案例示范】

[DE] ML on Big data: MLlib【大数据的机器学习方案】

DE基础（厦大）

[Spark] 00 - Install Hadoop & Spark【ing】

[Spark] 01 - What is Spark【大数据生态库】

[Spark] 02 - Practice Spark【RDD原理和方法】

[Spark] 03 - Programming【扩展到其他编程接口】

[Spark] 04 - HBase【分布式稀疏大表】

[Spark] 05 - Spark SQL【具有了SQL操作的便捷性】

[Spark] 06 - Spark Streaming【...】

[Spark] 07 - Spark Streaming Programming

[Spark] 08 - Structured Streaming

AWS基础

[Full-stack] 一切皆在云上 - AWS【AWS基础服务】

[AWS] 01 - What is Amazon EMR【EMR简介】

[AWS] 02 - Pipeline on EMR【基础了解】

/* important */

Data Science

---

Data Processing

"矩阵"计算

[Code] 大蛇之数据工程【语法驱动】

[Code] 变态之人键合一【需求驱动】

[Pandas] 01 - A guy based on NumPy【如何高性能】

[Pandas] 02 - Tutorial of NumPy【NumPy常见用法】

"表格"处理

[Pandas] 03 - DataFrame【读入并处理表格】

[Pandas] 04 - Efficient I/O

• [MySQL] 01- Basic sql
• [MySQL] 02- Optimisation solutions

[Pandas] 05 - Parallel processing【ing】

[Pandas] 06 - Data Preprocessing and Cleaning【ing】

数据"可视化"

[Matplotlib] Data Representation

[Tableau] Tableau for BI

Big Data Processing

Parquet files in S3

[PySpark] 01 - Preview parquet files in S3

初步列表：

查看、加载 files in S3

预处理，[Scikit-learn] 4.3 Preprocessing data

因子选择

机器学习模型选择 spark ML.

/* implement */