1.第一步读入泰坦尼克号数据集 import pandas as pd data = pd.read_csv(r".\Narrativedata.csv" ,index_col=0 )#index_col=0将第0列作为索引,不写则认为第0列为特征 data.head() 2.通过df的loc的函数从df中取出一列的数据,该数据格式为  : <class 'pandas.core.series.Series'> age1=data.loc[:,"Age"

前置知识   矩阵的逆 知识地图   首先我们将了解一种叫升维的方法,用已有特征构造更多的特征.接着通过对空间与投影建立一定的概念后,推导出最小二乘法. 当特征数量不足时   在上一篇<初识线性回归>中,我们假设要处理的问题有足够的样本数量和足够的特征数量.记得样本数量是用m表示,特征数量是用n表示.假如只有1个特征该如何构建模型呢?   假设现在有一个数据集,数据集中只包含一个地区房屋的面积信息和销售情况.即只有面积这一个特征,如何只用一个特征来预测房屋的销售情况呢?   可视化能帮助我们更

/* 区间dp,为什么要升维? 因为若用dp[l][r]表示消去dp[l][r]的最大的分,那么显然状态转移方程dp[l][r]=max{dp[l+1][k-1]+(len[l]+len[k])^2+len[k+1][r]} 可是这样是直接消去l和k两个快的,有一种情况是在k.r两个块之间还有个同色块,那么这种情况就考虑不到了 所以我们要考虑是否能先不直接消去l,k合并的块,而是将其保留下来,之后枚举到k,r区域的块时再一同合并进行考虑 所以再加一维来记录l,k合并后的信息 为了方便,再加一维来

降维: 比如某次卷积之后的结果是W*H*6的特征,现在需要用1*1的卷积核将其降维成W*H*5,即6个通道变成5个通道: 通过一次卷积操作,W*H*6将变为W*H*1,这样的话,使用5个1*1的卷积核,显然可以卷积出5个W*H*1,再做通道的串接操作,就实现了W*H*5. 升维: 比如某次卷积之后的结果是W*H*6的特征,现在需要用1*1的卷积核将其降维成W*H*7,即6个通道变成7个通道: 通过一次卷积操作,W*H*6将变成W*H*1,这样的话,使用7个1*1的卷积核,显然可以卷积出7个W*H

大名鼎鼎的UNet和我们经常看到的编解码器模型,他们的模型都是先将数据下采样,也称为特征提取,然后再将下采样后的特征恢复回原来的维度.这个特征提取的过程我们称为"下采样",这个恢复的过程我们称为"上采样",本文就专注于神经网络中的下采样和上采样来进行一次总结.写的不好勿怪哈. 神经网络中的降维方法 池化层 池化层(平均池化层.最大池化层),卷积  平均池化层 pytorch nn.AvgPool1d nn.AvgPool2d tensorflow tf.layers

/* 两两求出字符串之间最大可以匹配的值 由已知状态推导出位置状态 状态s表示已经加入到集合中的字符串,0表示串i不存在,1存在 由于字符串的加入顺序会影响结果,所以增加一维来表示 dp[S][i]表示状态集合为S,且i是新加入S的字符串的最大值 */ #include<iostream> #include<cstring> #include<cstdio> using namespace std; ][]; <<][],w[][],n; void get(

目录 1. 常用方法 pandas.Series 2. pandas.DataFrame ([data],[index])   根据行建立数据 3. pandas.DataFrame ({dic}) 根据列建立数据 4. pandas.DataFrame([list])根据数据建立列数据 5. loc / iloc 数据筛选 6. 多级行索引 7. 使用 pandas.MultiIndex 显式创建多级行索引 8. 多级行索引的升维及降维 9. 在DataFrame 中添加列 insert 10

1.pandas数据的读取 pandas需要先读取表格类型的数据,然后进行分析 数据说明 说明 pandas读取方法 csv.tsv.txt 用逗号分割.tab分割的纯文本文件 pd.read_csv excel 微软xls或者xlsx文件 pd.read_excel mysql 关系向数据库表 pd.read_sql #本代码示例: import pandas as pd #导入包 #1读取csv,使用默认的标题行.逗号分割 fpath = “要打开文件的路径” ratings = pd.re

Pandas是为了解决数据分析任务而创建的,纳入了大量的库和标准数据模型,提供了高效地操作大型数据集所需的工具. 对于Pandas包,在Python中常见的导入方法如下: from pandas import Series,DataFrame import pandas as pd 首先,我们需要对于Series和DataFrame有个基本的了解: Series:一维数组,类似于Python中的基本数据结构list,区别是Series只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效

    一.概念 “词频-逆向文件频率”(TF-IDF)是一种在文本挖掘中广泛使用的特征向量化方法,它可以体现一个文档中词语在语料库中的重要程度. 词语由t表示,文档由d表示,语料库由D表示.词频TF(t,d)是词语t在文档d中出现的次数.文件频率DF(t,D)是包含词语的文档的个数.如果我们只使用词频来衡量重要性,很容易过度强调在文档中经常出现,却没有太多实际信息的词语,比如“a”,“the”以及“of”.如果一个词语经常出现在语料库中,意味着它并不能很好的对文档进行区分.TF-IDF就是在数

A sequence of numbers is called arithmetic if it consists of at least three elements and if the difference between any two consecutive elements is the same. For example, these are arithmetic sequences: 1, 3, 5, 7, 9 7, 7, 7, 7 3, -1, -5, -9 The follo

最近在做一个CNN车型分类的任务,首先先简要介绍一下这个任务. 总共30个类,训练集图片为车型图片,类似监控拍摄的车型图片,训练集测试集安6:4分,训练集有22302份数据,测试集有14893份数据. 首先使用的是VGGNet网络, nn.Sequential { [input -> (1) -> (2) -> (3) -> (4) -> (5) -> (6) -> (7) -> (8) -> (9) -> (10) -> (11) -&g

线性分式变换(linear fractional transformation)的名称来源于其定义的形式:(ax+b)/(cx+d),其中分子分母是线性的,然后最外层是一个分式形式,所以叫做这个名字,但是这个名字其实基本没有对其几何的或者(可能的)物理内涵进行任何的解释或者表达,根据<Convex Optimization>中Remark 2.2对其的解释,这个线性分式变换可以分解为:P^-1QP(x),其中x就是初始的n维变量,首先P是一个逆透视变换(perspective transfor

两年前接触到了微服务的概念,面对日益膨胀的系统感觉豁然开朗.之后的两年逐步把系统按微服务的架构理念进行了重构,并将业务迁移到了新架构之上.感觉现在差不多是时候写一篇关于微服务的总结文章了. 定义 在 Martin Fowler & James Lewis 的文章(参考[1])里给出了微服务架构的一个定义: 微服务架构即是采用一组小服务来构建应用的方法. 每个服务运行在独立的进程中,不同服务通过一些轻量级交互机制来通信, 例如 RPC.HTTP 等. 服务围绕业务能力来构建,并依赖自动部署机制来独

神经网络的实践笔记 link: http://peterroelants.github.io/posts/neural_network_implementation_part01/ 1. 生成训练数据 import numpy as np import matplotlib.pyplot as plt # 神经网络中有关# 矩阵的运算我们采用NumPy来构建,# 画图使用Matplotlib来构建. # Part 1, create training data # Define the vect

Xiang Bai--[CVPR2016]Multi-Oriented Text Detection with Fully Convolutional Networks 目录 作者和相关链接 方法概括 方法细节 创新点和贡献 实验结果 问题讨论 总结与收获点 作者和相关链接 作者: paper下载 方法概括 Step 1--文本块检测: 先利用text-block FCN得到salient map,再对salient map进行连通分量分析得到text block: Step 2--文本线形成:

搬地方了,其他的部分看知乎:https://zhuanlan.zhihu.com/p/22114481 直到50年代,perceptron被Frank Rosenblatt搞了出来.perceptron的想法和pitts的路子就不大一样,perceptron关注MP神经元(MPN)本身的,而不是神经元在大脑中存在的复杂拓扑,所以其中除了MPN以外,没有其他的生物学含义. 按照Pitts的证明,一个开环的正向网络是可以满足所有的计算需求的.Rosenblatt沿着这条思路挖下去,发明了一套直接使用

What: 就是将统计学算法作为理论,计算机作为工具,解决问题.statistic Algorithm. How: 如何成为菜鸟一枚? http://www.quora.com/How-can-a-beginner-train-for-machine-learning-contests 链接内容总结: "学习任何一门学科,framework是必不可少的东西.没有framework的东西,那是研究." -- Jason Hawk One thing is for sure; you ca

Deep Learning and Shallow Learning 由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 project 中见识过了 deep learning 的效果,最近在做一个东西的时候模型上遇到一点瓶颈于是终于决定也来了解一下这个魔幻的领域. 据说 Deep Learning 的 break through 大概可以从 Hinton 在 2006 年提出的用于训练 Deep Belief

一.对于模块划分的理解 对于一个大型(这里还只是一个中型系统)系统来说,代码的编写不是一日而就的,层次的明细也不是一眼就能看清楚的. 在这种情况下,需要想好,最好是由上而下地想好. 能够模块式地划分最好,这样在开发时,也能够很好地进行任务分配(这对于做项目经理比较有用).还有一个好处,进行功能隔离,这样可以单独进行测试,把某一个模块做得很细. 操作系统的编写,也是各个模块进行划分,虽然各个模块间的关联特别严重,但是通过中间层,通过接口,最终依然能够实现模块编写. 为什么?我有一个公式: 系统 =