以下笔记参考自Boyd老师的教材[Convex Optimization]. I. Mathematical Optimization 1.1 定义 数学优化问题(Mathematical Optimization) 有如下定义: \[ \begin{align} &minimize \, f_0(x) \notag \\ &subject \, to \, f_i(x)≤b_i, \, i=1,...,m \tag{1.1} \end{align} \] 向量\(x=(x_1,...,x…

I. 仿射凸集(Affine and convex sets) 1. 线与线段 假设\(R^n\)空间内两点\(x_1,x_2\, (x_1≠x_2)\),那么\(y=\theta x_1+(1-\theta)x_2, \theta∈R\)表示从x1到x2的线.而当\(0≤\theta≤1\)时,表示x1到x2的线段. 2.仿射集 仿射集(Affine sets) 定义: 假设有一个集合\(C∈R^N\),如果通过集合C中任意两个不同点之间的直线 (上的任何点) 仍在集合C中,那么称集合C是仿射…

转载请注明出处:http://www.cnblogs.com/zhangcaiwang/p/6875533.html sigmoid neuron 微小的输入变化导致微小的输出变化,这种特性将会使得学习称为可能.但是在存在感知器的网络中,这是不可能的.有可能权重或偏置(bias)的微小改变将导致感知器输出的跳跃(从0到1),从而导致此感知器后面的网络以一种难以理解的方式发生巨大的改变.解决这一问题就要使用另外一种人工神经元-sigmoid神经元(也叫逻辑神经元). sigmoid神经元的输入不只…

深度学习 Introducing convolutional networks:卷积神经网络介绍 卷积神经网络中有三个基本的概念:局部感受野(local receptive fields), 共享权重( shared weights), 池化( pooling). 与前面的神经网络不同,在这里我们用下图中的矩阵来表示输入神经元. 在cnn中,输入层的一个区域(例如,5 * 5)对应下一层隐含层中的一个神经元,这个区域就是一个局部感受野.如下图所示: 通过在输入矩阵中滑动局部感受野来对应隐含层中的…

交叉熵 交叉熵是用于解决使用二次代价函数时当单个神经元接近饱和的时候对权重和bias权重学习的影响.这个公式可以看出,当神经元饱和的时候,sigma的偏导接近于0,w的学习也会变小.但是应用交叉熵作为代价函数的话,只有当所有的神经元接近0或者1的时候才会出现这种情况.它解决了初始化w和bias时坏的w和bias带来的影响. 交叉熵对w求偏导: ,,,,有  最后得出: 由该公式可以看出,只有大部分样例的输出接近期望值时,w的学习才会变缓.bias同理. 上面的讨论只针对有一个神经元的网络. 如果…

转载请注明出处http://www.cnblogs.com/zhangcaiwang/p/6886037.html 以前都没有正儿八经地看过英文类文档,神经网络方面又没啥基础,结果第一章就花费了我将近一周的晚上.不过还是有收获的,希望英文阅读水平越来越高吧. 上一章讲解了神经网络如何通过梯度下降学习权重和偏差,但是没有讲解代价函数(cost function)的梯度是怎么求解的.本章中主要讲解一个用来计算代价函数梯度的快速算法:反向传播(backpropagation)算法. Warm up:…

1.字符串中添加制表符,可使用字符组合\t 2.字符串中添加换行符,可使用字符组合\n 3.字符串\n\t可以换到下一行,并且在开头添加一个制表符. 4.删除末尾空白,使用方法rstrip() 5.删除字符串开头的空白,使用方法lstrip() 6. 删除字符串两端的空白,使用方法strip() 7.整数的[加][减][乘][除][乘方] 8.Python将带小数点的数字成为浮点数,只需要输入使用的数字,python会按照期望的方式输出. 9.使用方法str()避免类型错误 error ture…

程序输入 >>> print('%s is number %d'%('Python', 1))Python is number 1 输出重定向有问题(待定) 文本输入>>> user = input('Enter login name:')Enter login name:root>>> print('Your login is:', user)Your login is: root 数值字符串输入>>> num = input('N…

9.1 创建和使用类 9.1.1 创建Dog类   根据Dog类创建的每个实例都将存储名字和年龄,我们赋予了每条小狗蹲下(sit( ))和打滚(roll_over( ))的能力: class Dog: """一次模拟小狗的简单尝试""" def __init__(self, name, age): """初始化属性name和age.""" self.name = name self.ag…

JQuery学习笔记 Chapter one初识jQuery 1.2测试jQuery 在jQuery库中,$是jQuery的别名,如:$()相当于jQuery() 注意:在使用JQuery进行开发的时候如果在做所有事情之前,希望jQuery操作DOM文档,就必须保证在DOM载入完毕后开始执行,应该使用ready事件作为处理HTML文档的开始. 1.4JQuery的核心功能 1.对外接口单一让使用更简单 2.链式语法让编码更加的快速和优雅 3.模仿CSS选择器让选取元素更加的精确的灵活 4.拓展接…