学习笔记TF045:人工智能、深度学习、TensorFlow、比赛、公司

人工智能，用计算机实现人类智能。机器通过大量训练数据训练，程序不断自我学习、修正训练模型。模型本质，一堆参数，描述业务特点。机器学习和深度学习(结合深度神经网络)。

传统计算机器下棋，贪婪算法，Alpha-Beta修剪法配合Min-Max算法。
AlphaGo，蒙特卡洛树搜索法(Monte Carlo tree search,MCTS)和深度卷积神经网络(deep convolutional neural network,DCNN)。估值网络(value network，盘面评估函数)，计算盘面分类。策略网络(policy network)，计算每个棋概率、胜率。训练模型过程，分类方法得到直接策略，直接策略对历史棋局资料库进行神经网络学习(深度卷积神经网络)得到习得策略，强化学习自我对局(蒙特卡洛树状搜寻法)得到改良策略，回归整体统计得到估值网络。谷歌《Nature》论文，《Mastering the game of Go with deep neural networks and tree search》。

深度学习。前身 是人工神经网络(artificial neural network,ANN)，模仿人脑神经元传递、处理信息模式。输入层(input layer)输入训练数据，输出层(output layer)输出计算结果，中间隐藏层(hidden layer)向前传播数据。

数据预处理，图片，图像居中、灰度调整、梯度锐化、去除噪声、倾斜度调整。输入神经网络第一层，第一层提取图像特征，有用向下传递，最后一层输出结果。前向传播(forword propagation)。分类概率向量，前5概率值。

深度学习，利用已知数据学习模型，在未知数据做出预测。神经元特性，激活函数(activation function)，非线性函数，输入非线性变化，前向传播；成本函数(cost function),定量评估预测值和真实值差距，调整权重参数，减少损失，反向传播(backword propagation)。

神经网络算法核心，计算、连接、评估、纠错、训练。深度学习增加中间隐藏层数和神经元数，网络变深变宽，大量数据训练。

分类(classification)。输入训练数据特征(feature)、标记(label)，找出特征和标记映射关系(mapping)，标记纠正学习偏差，提高预测率。有标记学习为监督学习(supervised learning)。无监督学习(unsuperVised learning)，数据只有特征没有标记。训练不指定明确分类，数据聚群结构，相似类型聚集一起。没有标记数据分组合，聚类(clustering)；成功激励制度，强化学习(reinforcement learning,RL)。延迟奖赏与训练相关，激励函数获得状态行动映射，适合连续决策领域。半监督学习(semi-supervised learning)，训练数据部分有标记，部分没有，数据分布必然不完全随机，结合有标记数据局部特征，大量无标记数据整体分布，得到较好分类结果。有监督学习(分类、回归)-半监督学习(分类、回归)-半监督聚类(标记不确定)-无监督学习(聚类)。

深度学习入门，算法知识、大量数据、计算机(最好GPU)。
学习数学知识，训练过程涉及过程抽象数学函数，定义网络结构，定义线性非线性函数，设定优化目标，定义损失函数(loss function)，训练过程求解最优解次优解，基本概率统计、高等数学、线性代数，知道原理、过程，兴趣涉猎推导证明。

经典机器学习理论、基本算法，支持向量机、逻辑回归、决策树、朴素贝叶斯分类器、随机森林、聚类算法、协同过滤、关联性分析、人工神经网络、BP算法、PCA、过拟合、正则化。

编程工具(语言)，Python解释型、面向对象、动态数据类型高级程序设计语言，线性代数库、矩阵操作，Numpy、Pandas第三方库，机器学习库sklearn，SVM、逻辑回归，MATLAB，R，C++，Java，Go。

经典论文，最新动态研究成果，手写数据字识别，LeNet，物体目标检测，MSCNN，博客、笔记、微信公众号、微博、新媒体资讯，新训练方法，新模型。

自己动手训练神经网络，选择开源深度学习框架，主要考虑用的人多，方向主要集中视觉、语音，初学最好从计算机视觉入手，用各种网络模型训练手写数字(MNIST)、图像分类(CIFAR)数据集。

学入兴趣工作领域，计算机视觉，自然语言处理，预测，图像分类、目标检测、视频目标检测，语音识别、语音合成、对话系统、机器翻译、文章摘要、情感分析，医学行业，医学影像识别，淘宝穿衣，衣服搭配，款式识别，保险、通信客服，对话机器人智能问答系统，智能家居，人机自然语言交互。

工作问题，准确率、坏案例(bad case)、识别速度，可能瓶颈，结合具体行业领域业务创新，最新科研成果，调整模型，更改模型参数，贴近业务需求。

传统基于规则，依赖知识。统计方法为核心机器学习，重要的是做特征工程(feature engineering)，调参，根据领域经验提取特征，文字等抽象领域，特征相对容易提取，语音一维时域信号、图像二维空域信号等领域，提取特征困难。深度学习，神经网络每层自动学习特征。TensorFlow深度学习开源工具。

TensorFlow支持异构设备分布式计算(heterogeneous distributed computing)。异构，包含不同成分，异构网络、异构数据库。异构设备，CPU、GPU核心协同合作。分布式架构调度分配计算资源、容错。TensorFlow支持卷积神经网络(convolutional neural network,CNN)、循环神经网络(recurrent neural network,RNN)，长短期记忆网络(long short-term memory,LSTM,RNN特例)。

《The Unreasonable Effectiveness of Recurrent Neural Networks》。Tensor库对CPU/GPU透明，不同设备运行由框架实现，用户指定什么设置做什么运算。完全独立代码库，脚本语言(Python)操作Tensor，实现所有深度学习内容，前向传播、反向传播、图形计算。共享训练模型，TensorFlow slim模块。没有编译过程，更大更复杂网络，可解释性，有效日志调试。

研究人群。学者，深度学习理论研究，网络模型，修改参数方法和理论，产耱科研前沿，理论研究、模型实验，新技术新理论敏感。算法改进者，现有网络模型适配应用，达到更好立人日木，模型改进，新算法改进应用现有模型，为上层应用提供优良模型。工业研究者，掌握各种模型网络结构、算法实现，阅读优秀论文，复现成果，应用工业，主流人群。

TensorFlow工业优势，基于服务端大数据服务(谷歌云平台、搜索)，面向终端用户移动端(Android)和嵌入式。模型压缩、8位低精度数据存储。

TensorFlow特性。高度灵活性(deep flexibility)，数据流图(data flow graph)数值计算，只需要构建图，书写计算内部循环，自定义上层库。真正可移植性(true portability)，CPU、GPU、台式机、服务器、移动端、云端服务器、Docker容器。产研结合(connect research and production)，快速试验框架，新算法，训练模型。自动求微分(auto-differentiation)，只需要定义预测模型结构、目标函数，添加数据。多语言支持(language options)，Python、C++、Java接口，C++实现核心，Jupyter Notebook，特征映射(feature map)，自定义其他语言接口。优化性能(maximize performance)，线程、队列、分布式计算支持，TensorFlow数据流图不同计算元素分配不同设备，最大化利用硬件资源。

应用公司。谷歌、京东、小米、Uber、eBay、Dropbox、Airbnb。

2016.4，0.8版支持分布式、多GPU。2016.6，0.9版支持移动设备。2017.2，1.0版Java、Go实验API，专用编译器XLA、调试工具Debugger，tf.transform数据预处理，动态图计算TensorFlow Fold。

机器学习赛事。
ImageNet ILSVRC(ImageNet Large Scale Visual Recognition Challenge，大规模视觉识别挑战赛)，对象检测、图像识别算法。2010年开始，最大图像识别数据库，1500万张有标记高分辨率图像数据集，22000类别，比寒用1000类别各1000图像，120万训练图像，5万验证图像，15万测试图像。每年邀请知名IT公司测试图片分类系统。Top-1,预测输出概率最高类别错误率。Top-5,预测输出概率前五类别错误率。2016，CUImage目标检测第一，商汤科技、香港中文大学；CUvideo视频物体检测子项目第一，商汤科技、香港中文大学；SenseCUSceneParsing场景分析第一，商汤科技、香港中文大学；Trimps-Soushen目标定位第一，公安部三所NUIST视频物体探测两个子项目第一，南京信息工程大学；Hikvvision场景分类第一，海康威视；
Kaggel，2010年成立，数据发掘、数据分析预测竞赛在线平台。公司出数据出钱，计算机科学家、数学家、数据科学家领取任务，提供解决方案。3万到25万美元奖励。
天池大数据竞赛，阿里，穿衣搭配、微博互动预测、用户重复购买行为预测，赛题攻略。

国内人工智能公司。腾讯优图、阿里云ET、百度无人驾驶，搜狗、云从科技、商汤科技、昆仑万维、格灵深瞳。
陌上花科技，衣+(dress+)，图像识别、图像搜索、特体追踪检测是、图片自动化标记、图像视频智能分析、边看边买、人脸识别分析。旷视科技，Face++，人脸识别精度，美颜，支付。科大讯飞，语音识别、语音合成、语言云、分词、词性标注、命名实体识别、依存句法分析、语义角色标注。地平线，嵌入式。

参考资料：
《TensorFlow技术解析与实战》

欢迎付费咨询(150元每小时)，我的微信：qingxingfengzi