【DeepLearning】Exercise:PCA in 2D

Exercise:PCA in 2D 习题的链接:Exercise:PCA in 2D pca_2d.m close all %%================================================================ %% Step : Load data % We have provided the code to load data from pcaData.txt into x. % x * matrix, where the kth column…

【DeepLearning】Exercise:PCA and Whitening

Exercise:PCA and Whitening 习题链接:Exercise:PCA and Whitening pca_gen.m %%================================================================ %% Step 0a: Load data % Here we provide the code to load natural image data into x. % x will be a * matrix, where…

【DeepLearning】Exercise:Convolution and Pooling

Exercise:Convolution and Pooling 习题链接:Exercise:Convolution and Pooling cnnExercise.m %% CS294A/CS294W Convolutional Neural Networks Exercise % Instructions % ------------ % % This file contains code that helps you get started on the % convolutional n…

【DeepLearning】Exercise:Softmax Regression

Exercise:Softmax Regression 习题的链接:Exercise:Softmax Regression softmaxCost.m function [cost, grad] = softmaxCost(theta, numClasses, inputSize, lambda, data, labels) % numClasses - the number of classes % inputSize - the size N of the input vector % la…

【DeepLearning】Exercise:Learning color features with Sparse Autoencoders

Exercise:Learning color features with Sparse Autoencoders 习题链接:Exercise:Learning color features with Sparse Autoencoders sparseAutoencoderLinearCost.m function [cost,grad,features] = sparseAutoencoderLinearCost(theta, visibleSize, hiddenSize, ... lam…

【DeepLearning】Exercise: Implement deep networks for digit classification

Exercise: Implement deep networks for digit classification 习题链接:Exercise: Implement deep networks for digit classification stackedAEPredict.m function [pred] = stackedAEPredict(theta, inputSize, hiddenSize, numClasses, netconfig, data) % stackedAEPre…

【DeepLearning】Exercise:Self-Taught Learning

Exercise:Self-Taught Learning 习题链接:Exercise:Self-Taught Learning feedForwardAutoencoder.m function [activation] = feedForwardAutoencoder(theta, hiddenSize, visibleSize, data) % theta: trained weights from the autoencoder % visibleSize: the number of…

【DeepLearning】Exercise:Vectorization

Exercise:Vectorization 习题的链接:Exercise:Vectorization 注意点: MNIST图片的像素点已经经过归一化. 如果再使用Exercise:Sparse Autoencoder中的sampleIMAGES.m进行归一化, 将使得训练得到的可视化权值如下图: 更改train.m的参数设置 visibleSize = *; % number of input units hiddenSize = ; % number of hidden units spar…

【DeepLearning】Exercise:Sparse Autoencoder

Exercise:Sparse Autoencoder 习题的链接:Exercise:Sparse Autoencoder 注意点: 1.训练样本像素值需要归一化. 因为输出层的激活函数是logistic函数,值域(0,1), 如果训练样本每个像素点没有进行归一化,那将无法进行自编码. 2.训练阶段,向量化实现比for循环实现快十倍. 3.最后产生的图片阵列是将W1权值矩阵的转置,每一列作为一张图片. 第i列其实就是最大可能激活第i个隐藏节点的图片xi,再乘以常数因子C(其中C就是W1第i行元素…

【UFLDL】Exercise: Convolutional Neural Network

这个exercise需要完成cnn中的forward pass,cost,error和gradient的计算.需要弄清楚每一层的以上四个步骤的原理,并且要充分利用matlab的矩阵运算.大概把过程总结了一下如下图所示: STEP 1:Implement CNN Objective STEP 1a: Forward Propagation Forward Propagation主要是为了计算输入图片经过神经网络后的输出,这个网络有三层:convolution->pooling->softmax(…

【RS】Stochastic PCA with ℓ2 and ℓ1 Regularization - ℓ2 和 ℓ1正则的随机 PCA

[论文标题] Stochastic PCA with ℓ2 and ℓ1 Regularization (ICML 2018) [论文作者]—Poorya Mianjy (Johns Hopkins University ),Raman Arora (Johns Hopkins University ) [论文链接]Paper (9-pages // Double column) [摘要] (本文)我们重新讨论了基于凸松弛的主成分分析随机优化方法. 直接求解非凸问题的方法已被证明具有最优的…

【LeetCode】74. Search a 2D Matrix

Difficulty:medium More:[目录]LeetCode Java实现 Description Write an efficient algorithm that searches for a value in an m x n matrix. This matrix has the following properties: Integers in each row are sorted from left to right. The first integer of each…

【DeepLearning】用于几何匹配的卷积神经网络体系结构

[论文标题]Convolutional neural network architecture for geometric matching (2017CVPR) [论文作者]Ignacio Rocco ,Relja Arandjelovi´,Josef Sivic [论文链接]Paper (15-pages // Double column) [Abstract] We address the problem of determining correspondences between two…

【DeepLearning】GoogLeNet

InceptionV1 论文原文:Going deeper with convolutions 中英文对照 InceptionBN 论文原文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 中英文对照 InceptionV2/V3 论文原文:Rethinking the Inception Architecture for Computer Visi…

【DeepLearning】LeNet-5

手写字体识别模型LeNet5诞生于1994年,是最早的卷积神经网络之一.原文地址为Gradient-Based Learning Applied to Document Recognition,感谢网络中各博主的讲解,尤其是该博客,帮助我的理解,感谢. Model详解 C1 6@28×28 S2 6@14×14 C3 16@10×10 S4 16@5×5 C5 120 F6 84 Output 10 Model概览代码复现下图就是我们很熟悉的LeNet-5的结构图,LeNet5由7层CN…

【DeepLearning】基本概念：卷积、池化、Backpropagation

终于有了2个月的空闲时间,给自己消化沉淀,希望别有太多的杂事打扰.在很多课程中,我都学过卷积.池化.dropout等基本内容,但目前在脑海中还都是零散的概念,缺乏整体性框架,本系列博客就希望进行一定的归纳和梳理,谋求一个更清晰的思路. ## Outline 卷积 tensorflow-conv 池化 tensorflow-pooling 反向传播梯度消散和梯度爆炸 ## Notes [卷积(Convolution)] 卷积的目的就是从原始数据中提取出特征,过程是利用卷积核(kernel)按照下…

Exercise: PCA in 2D

Step 0: Load data The starter code contains code to load 45 2D data points. When plotted using the scatter function, the results should look like the following: Step 1: Implement PCA In this step, you will implement PCA to obtain xrot, the matrix in…

【DeepLearning】AlexNet

在前文中,我们介绍了LeNet的相关细节,它是由两个卷积层.两个池化层以及两个全链接层组成.卷积都是5*5的模板,stride =1,池化为MAX.整体来说它有三大特点:局部感受野,权值共享和池化.2012年ALex发布了AlexNet,他比LeNet5更深,而且可以学习更复杂的图像高维特征.接下来,我们就将一起学习AlexNet模型. 论文原文: ImageNet Classification with Deep Convolutional Neural Networks 论文翻译:AlexN…

【机器学习】--主成分分析PCA降维从初识到应用

一.前述主成分分析(Principal Component Analysis,PCA), 是一种统计方法.通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分. PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征.这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征. 二.概念协方差是衡量两个变量同时变化的变化程度.PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征.这k维…

【LeetCode】240. Search a 2D Matrix II

Search a 2D Matrix II Write an efficient algorithm that searches for a value in an m x n matrix. This matrix has the following properties: Integers in each row are sorted in ascending from left to right. Integers in each column are sorted in ascendin…

【机器学习】主成分分析PCA（Principal components analysis）

1. 问题真实的训练数据总是存在各种各样的问题: 1. 比如拿到一个汽车的样本,里面既有以“千米/每小时”度量的最大速度特征,也有“英里/小时”的最大速度特征,显然这两个特征有一个多余. 2. 拿到一个数学系的本科生期末考试成绩单,里面有三列,一列是对数学的兴趣程度,一列是复习时间,还有一列是考试成绩.我们知道要学好数学,需要有浓厚的兴趣,所以第二项与第一项强相关,第三项和第二项也是强相关.那是不是可以合并第一项和第二项呢? 3. 拿到一个样本,特征非常多,而样例特别少,这样用回归去直接拟合非…

【Android】第21章 2D图形和动画

分类:C#.Android.VS2015: 创建日期:2016-03-19 一.简介 Android系统定义了一系列独立的图形处理类,其中,2D图形处理类分别位于以下命名空间: Android.Graphices Android.Graphics.Drawable.Shapes Android.View.Animation 3D图形的处理类位于Android.Opengl命名空间下. 总体来说,Android的Graphics技术大致可以分为两大类:图形和动画. 图形又被进一步分为2D图形和3D…

【降维】主成分分析PCA推导

本博客根据百面机器学习,算法工程师带你去面试一书总结归纳,公式都是出自该书. 本博客仅为个人总结学习,非商业用途,侵删. 网址 http://www.ptpress.com.cn 目录: PCA最大方差理论 PCA最小平方误差理论在机器学习中, 数据通常需要被表示成向量形式以输入模型进行训练. 但是在对向维向量进行处理和分析时, 会极大地消耗系统资源, 甚至产生维度灾难. 因此, 对特征向量进行降维, 即用一个低维度的向量表示原始高维度的特征就显得尤为重要. PCA(Principal C…

【转】主成分分析(PCA)

原文网址:https://blog.csdn.net/sunshine_in_moon/article/details/51513880.转载主要方便随时可以查看,如有版权要求请及时联系. 相信大家对PCA并不陌生,但是PCA的本质你是否了解呢?今天就给大家简单讲讲,也是自己对PCA的一个巩固.博客中使用的图片来自七月算法的程博士的PPT,在此感谢程博士课上的耐心讲解. 1.特征值个特征向量我相信大家对于这个式子非常熟悉,但是你真正的理解这个式子了吗?特征向量和特征值到底有什么意义呢?说实话,…

【笔记】使用PCA对数据进行降噪（理解）

使用PCA对数据进行降噪(使用手写数字实例) (在notebook中) 加载库并制作虚拟的数据并进行绘制 import numpy as np import matplotlib.pyplot as plt X = np.empty((100,2)) X[:,0] = np.random.uniform(0. ,100. , size=100) X[:,1] = 0.75 * X[:,0] + 3. + np.random.normal(0. ,10. ,size=100) plt.scatte…