人工智能分为强人工,弱人工. 弱人工智能就包括我们常用的语音识别,图像识别等,或者为了某一个固定目标实现的人工算法,如:下围棋,游戏的AI,聊天机器人,阿尔法狗等. 强人工智能目前只是一个幻想,就是自主意识,具有自我成长.创造力的AI.如妇联2里的奥创,各种电影都有这个概念了. 我希望不久的将来能目睹这一奇迹. 不积跬步无以至千里. 先从基础讲起. 目前比较先进的算法理论据我所知应该分成3大类 1,神经网络 2,遗传算法 3,隐马尔柯夫链 这篇的主题是神经网路,其他两种我以后可能会写出来(可能!…

神经网络的复杂度:可用神经网络的层数和神经网络中待优化参数个数表示 神经网路的层数:一般不计入输入层,层数 = n 个隐藏层 + 1 个输出层 神经网路待优化的参数:神经网络中所有参数 w 的个数 + 所有参数 b 的个数 如: 在该神经网络中,包含 1 个输入层.1 个隐藏层和 1 个输出层,该神经网络的层数为 2 层. 在该神经网络中,参数的个数是所有参数 w 的个数加上所有参数 b 的总数,第一层参数用三行四列的二阶张量表示(即 12 个线上的权重 w)再加上 4 个偏置 b: 第二层参数…

SGD神经网络以及python中实现 1.SGD(stochastic gradient descend):<1>数据抽取:<2>计算梯度;<3>参数更新:<4>循环 2.三层SGD网络组件:隐藏层(1),隐藏层(2),输出层,损失函数 2.1隐藏层: <1>激活函数/激励函数:sigmoid函数和RELU函数 def sigmoid(): return 1/(1+np.exp(-x)) def relu(x): return np.maximu…

import tensorflow as tf#取数据,目的是辨别数字from tensorflow.examples.tutorials.mnist import input_data'''手动添加数据集:先把4个数据包放进当前目录的文件夹里面'''MNIST_data_folder="C:\\Users\\悟悔\\MNIST_data"#路径mnist=input_data.read_data_sets("MNIST_data/",one_hot=True)de…

STGNNs:SPATIAL–TEMPORAL GRAPH NEURAL NETWORKS 许多实际应用中的图在图结构和图输入方面都是动态的.STGNNs在捕获图的动态性方面占有重要地位. 这类方法的目的是建模动态节点输入,同时假设连接节点之间的相互依赖性.STGNNs同时捕获一个图的空间和时间依赖性. STGNNs的任务可以是预测未来节点值或标签或预测时空图标签. For example, a traffic network consists of speed sensors placed o…

线性拟合的思路: 线性拟合代码: import tensorflow as tf import numpy as np import matplotlib.pyplot as plt #%%图形绘制 def data_show(x,y,w,b): plt.figure() plt.scatter(x,y,marker='.') plt.scatter(x,(w*x+b),marker='.') plt.show() #%%生成数据 x_data=np.random.rand(100).astyp…

在上Andrew Ng的课的时候搜集到了课程里面自带的显示NN参数的代码,但是只能显示灰度图,而且NN里的参数没有通道的概念.所以想要获得可视化CNN的参数,并且达到彩色的效果就不行了. 所以就自己写了一个,对了,是Matlab脚本哈. function olDisplayFilter(filter, pad) %% !Only Show the 1st-3rd channel of filter %% if nargin == 1 % Between images padding pad =…

补充在前:实际上在我使用LSTM为流量基线建模时候,发现有效的激活函数是elu.relu.linear.prelu.leaky_relu.softplus,对应的梯度算法是adam.mom.rmsprop.sgd,效果最好的组合是:prelu+rmsprop.我的代码如下: # Simple example using recurrent neural network to predict time series values from __future__ import division, p…

说明: 这个属于个人的一些理解,有错误的地方,还希望给予教育哈- 此处以caffe官方提供的AlexNet为例. 目录: 1.背景 2.框架介绍 3.步骤详细说明 5.参考文献 背景: AlexNet是在2012年被发表的一个金典之作,并在当年取得了ImageNet最好成绩,也是在那年之后,更多的更深的神经网路被提出,比如优秀的vgg,GoogleLeNet. 其官方提供的数据模型,准确率达到57.1%,top 1-5 达到80.2%. 这项对于传统的机器学习分类算法而言,已经相当的出色. 框架…

循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/,在这篇文章中,加入了一些新的内容与一些自己的理解.   循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural Language Proce…

<深度学习基础> 卷积神经网络,循环神经网络,LSTM与GRU,梯度消失与梯度爆炸,激活函数,防止过拟合的方法,dropout,batch normalization,各类经典的网络结构,各类优化方法 1.卷积神经网络工作原理的直观解释 https://www.zhihu.com/question/39022858 简单来说,在一定意义上,训练CNN就是在训练每一个卷积层的滤波器.让这些滤波器组对特定的模式有高的激活能力,以达到CNN网络的分类/检测等目的. 2.卷积神经网络的复杂度分析 ht…

目录 1 什么是RNNs 2 RNNs能干什么 2.1 语言模型与文本生成Language Modeling and Generating Text 2.2 机器翻译Machine Translation 2.3 语音识别Speech Recognition 2.4 图像描述生成 Generating Image Descriptions 3 如何训练RNNs 4 RNNs扩展和改进模型 4.1 Simple RNNsSRNs2 4.2 Bidirectional RNNs3 4.3 DeepB…

转自 http://blog.csdn.net/xingzhedai/article/details/53144126 更多参考:http://blog.csdn.net/mafeiyu80/article/details/51446558 http://blog.csdn.net/caimouse/article/details/70225998 http://kubicode.me/2017/05/15/Deep%20Learning/Understanding-about-RNN/ RNN…

CS231n Winter 2016: Lecture 5: Neural Networks Part 2 CS231n Winter 2016: Lecture 6: Neural Networks Part 3 by Andrej Karpathy 本章节主要讲解激活函数,参数初始化以及周边的知识体系. Ref: <深度学习>第八章 - 深度模型中的优化 Overview 1. One time setup activation functions, preprocessing, weig…

http://wallstreetcn.com/node/248376 借助深度学习,多处理层组成的计算模型可通过多层抽象来学习数据表征( representations).这些方法显著推动了语音识别.视觉识别.目标检测以及许多其他领域(比如,药物发现以及基因组学)的技术发展.利用反向传播算法(backpropagation algorithm)来显示机器将会如何根据前一层的表征改变用以计算每层表征的内部参数,深度学习发现了大数据集的复杂结构.深层卷积网络(deep convolutional…

1.前言 这几种方法呢都是在求最优解中常常出现的方法,主要是应用迭代的思想来逼近.在梯度下降算法中.都是环绕下面这个式子展开: 当中在上面的式子中hθ(x)代表.输入为x的时候的其当时θ參数下的输出值,与y相减则是一个相对误差.之后再平方乘以1/2,而且当中 注意到x能够一维变量.也能够是多维变量,实际上最经常使用的还是多维变量. 我们知道曲面上方向导数的最大值的方向就代表了梯度的方向,因此我们在做梯度下降的时候.应该是沿着梯度的反方向进行权重的更新.能够有效的找到全局的最优解. 这个θ的更新过…

ImageNet Classification with Deep Convolutional Neural Networks 从AlexNet剖析-卷积网络CNN的一般结构 AlexNet是Hinton和他的学生Alex Krizhevsky在12年ImageNet Challenge使用的模型结构,刷新了Image Classification的几率,从此deep learning在Image这块开始一次次超过state-of-art,甚至于搭到打败人类的地步,看这边文章的过程中,发现了很多…

原文地址: http://blog.csdn.net/heyongluoyao8/article/details/48636251# 循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/,在这篇文章中,加入了一些新的内容与一些自己的理解.   循环神经网…

backend 兼容 backend,即基于什么来做运算 Keras 可以基于两个Backend,一个是 Theano,一个是 Tensorflow 查看当前backend import keras 输出: Using Theano Backend. 或者 Using TensorFlow backend. 修改backend 找到~/.keras/keras.json文件,在文件内修改,每次import的时候,keras就会检查这个文件 { # 后端为theano "image_dim_ord…

用pytorch1.0搭建简单的神经网络:进行多分类分析 import torch import torch.nn.functional as F # 包含激励函数 import matplotlib.pyplot as plt # 假数据 # make fake data n_data = torch.ones(100, 2) x0 = torch.normal(2*n_data, 1) # class0 x data (tensor), shape=(100, 2) y0 = torch.z…

搭建简单的神经网络:进行回归分析 import torch import torch.nn.functional as F # 包含激励函数 import matplotlib.pyplot as plt # 建立数据集 x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1) y = x.pow(2) + 0.2*torch.rand(x.size()) # noisy y…

AI面试必备/深度学习100问1-50题答案解析 2018年09月04日 15:42:07 刀客123 阅读数 2020更多 分类专栏: 机器学习   转载:https://blog.csdn.net/T7SFOKzorD1JAYMSFk4/article/details/80972658 1.梯度下降算法的正确步骤,(正确步骤dcaeb)(梯度下降法其实是根据函数的梯度来确定函数的极小值),这里的问题与其说是梯度下降算法的步骤不如说类似图图像分类训练的整个流程:网络初始化-输入to输出-期望输…

转自 http://blog.csdn.net/xingzhedai/article/details/53144126 更多参考:http://blog.csdn.net/mafeiyu80/article/details/51446558 http://blog.csdn.net/caimouse/article/details/70225998 http://kubicode.me/2017/05/15/Deep%20Learning/Understanding-about-RNN/ RNN…

文章目录 模型结构 conv1层 conv2层 conv3层 conv4层 conv5层 FC6全链接图: fc7全连接层:和fc6类似. fc8链接层: 模型优化 选择ReLU作为激活函数 多GPU并行训练 局部反应归一化(Local Response Normalization) 减少过拟合方式 重叠池化 数据集放大 DROPOUT 学习细节 转https://www.cnblogs.com/ranjiewen/p/7471044.html AlexNet是Hinton和他的学生Alex K…

why写这篇blog 最近在接触这方面的知识,但是找了许多的笔记,都感觉没有很好的总结出来,也正好当做是边学习,边复习着走.大佬轻喷.参考书目<python机器学习基础教程> 将分别从以下3方面进行总结 1.算法的作用 2.引用的方式(我这里主要是基于scikit-learn) 3.重要参数 4.优缺点 5.注意事项 监督学习算法 监督学习主要解决两种问题:回归与分类. 统一a为回归,b为分类. (既然是总结,那概念就不过多赘述) 有需要了解的概念,可以上这个网站AI知识库 直接上算法 K近邻…

1. 线性回归 1.1 线性模型 当输入包含d个特征,预测结果表示为: 记x为样本的特征向量,w为权重向量,上式可表示为: 对于含有n个样本的数据集,可用X来表示n个样本的特征集合,其中行代表样本,列代表特征,那么预测值可用矩阵乘法表示为: 给定训练数据特征X和对应的已知标签y,线性回归的⽬标是找到⼀组权重向量w和偏置b:当给定从X的同分布中取样的新样本特征时,这组权重向量和偏置能够使得新样本预测标签的误差尽可能小. 1.2 损失函数(loss function) 损失函数又称代价函数(cost…

概述   梯度下降法(Gradient Descent)是一个算法,但不是像多元线性回归那样是一个具体做回归任务的算法,而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的,所谓的通用就是很多机器学习算法都是用它,甚至深度学习也是用它来求解最优解.所有优化算法的目的都是期望以最快的速度把模型参数θ求解出来,梯度下降法就是一种经典常用的优化算法. 梯度下降法的思想   思想就类比于生活中的一些事情,比如你去询问你的一个朋友工资多少,他不会告诉你,但是他会让你去猜,然后告诉你猜的结果.你每…

林牧 SA16222166 课程目标 课程安排 A1a A2 A3 项目集成 环境搭建 其他方面的收获 本课心得 课程目标 通过实现一个医学辅助诊断的专家系统原型,具体为实现对血常规检测报告OCR识别结果,预测人物的年龄和性别,学习机器学习的常见算法,重点分析神经网路,理解和掌握常用算法的使用. 课程安排 A1a 神经网络实现手写字符识别系统 A2 血常规检验报告的图像OCR识别 A3 根据血常规检验的各项数据预测年龄和性别 Pull Request A1a 该项目属于神经网络中的"Hello…

6. 学习模型的评估与选择 Content 6. 学习模型的评估与选择 6.1 如何调试学习算法 6.2 评估假设函数(Evaluating a hypothesis) 6.3 模型选择与训练/验证/测试集(Model selection and training/validation/test sets) 6.4 偏差与方差 6.4.1 Diagnosing bias vs. variance. 6.4.2 正则化与偏差/方差(Regularization and bias/variance)…

参考文献:http://blog.csdn.net/xiao__gui/article/details/47341385 方法:使用assembly插件,生成的jar包名为xxx-jar-with-dependencies 指定mainClass会把主类写到MANIFEST.MF文件里 指定jar-with-dependencies会把依赖考到jar包里. <build> <plugins> <plugin> <groupId>org.apache.mave…