import pandas as pd import numpy as np import matplotlib.pyplot as plt import os from sklearn.neighbors import KNeighborsClassifier def build_data(dir_name): """ 构建数据 :param dir_name: 指定传入文件夹名称 :return: 构建好的数据 """ # 获取文件名列表 f…

K-近邻算法虹膜图片识别实战 作者:白宁超 2017年1月3日18:26:33 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本系列文章是作者结合视频学习和书籍基础的笔记所得.本系列文章将采用理论结合实践方式编写.首先介绍机器学习和深度学习的范畴,然后介绍关于训练集.测试集等介绍.接着分别介绍机器学习常用算法,分别是监督学习之分类(决策树.临近取样.支持向量机.神经网络算法)监督学习之回归(线性回归.非线性回归)非监督学习(K-means聚…

博主原文链接:用TensorFlow教你做手写字识别(准确率94.09%) 如需转载,请备注出处及链接,谢谢. 2012 年,Alex Krizhevsky, Geoff Hinton, and Ilya Sutskever 赢得 ImageNet 挑战赛冠军,基于CNN的图像识别开始受到普遍关注,CNN 成为了图像分类的黄金标准,自那以后,科学界掀开了基于深度神经网络对图像识别的大探索,现如今,深度学习对图像的识别能力已经超出了人眼的辨别能力.本公众号的图像识别系列将循序渐进,层层深入的带领读…

上篇文章中提到了使用pillow对手写文字进行预处理,本文介绍如何使用kNN算法对文字进行识别. 基本概念 k最邻近算法(k-Nearest Neighbor, KNN),是机器学习分类算法中最简单的一类.假设一个样本空间被分为几类,然后给定一个待分类的特征数据,通过计算距离该数据的最近的k个样本来判断这个数据属于哪一类.如果距离待分类属性最近的k个类大多数都属于某一个特定的类,那么这个待分类的数据也就属于这个类.所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来…

kNN算法算是机器学习入门级绝佳的素材.书上是这样诠释的:“存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都有标签,即我们知道样本集中每一条数据与所属分类的对应关系.输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征比较,算法提取样本集中特征最相似数据(最近邻)的分类标签.一般来说,我们只选择样本数据集中前K个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数.最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类”. 优点:精度高.对异常…

1 算法概述 1.1 优劣 优点:进度高,对异常值不敏感,无数据输入假定 缺点:计算复杂度高,空间复杂度高 应用:主要用于文本分类,相似推荐 适用数据范围:数值型和标称型 1.2 算法伪代码 (1)计算已知类别数据集中的点与当前点的距离 (2)按照距离递增次序排序,选取与当前点距离最小的 k 个点 (3)确定前 k 个点所在类别的出现频率 (4)返回前 k 个点出现频率最高的类别作为当前点的预测分类 2 手写识别 2.1 概念 指在手写设备上书写时产生的轨迹信息转化为具体字码,本篇博客重点非搭建…

1.知识点 """ 基础知识: 1.神经网络(neural networks)的基本组成包括输入层.隐藏层.输出层.而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer,又叫下采样层) 2.卷积层:通过在原始图像上平移来提取特征,每一个特征就是一个特征映射 a)提取特征:定义一个过滤器(也称观察窗口,奇数大小,值为权重)大小,步长 b)移动越过图片: 1.VALID:不越过,直接停止观察(一般不用) 2.SAME:直接越过,则对图像零填充(paddin…

手写数字是32x32的黑白图像.为了能使用KNN分类器,我们需要把32x32的二进制图像转换为1x1024 1. 将图像转化为向量 from numpy import * # 导入科学计算包numpy和运算符模块operator import operator from os import listdir def img2vector(filename): """ 将图像数据转换为向量 :param filename: 图片文件 因为我们的输入数据的图片格式是 32 * 32…

1.知识点 """ 1.基础知识: 1.神经网络结构:1.输入层 2.隐含层 3.全连接层(类别个数=全连接层神经元个数)+softmax函数 4.输出层 2.逻辑回归:只能解决二分类问题 3.线性回归:只能用于预测 4.softmax:有多少类别,就会有多少个输出 5.信息熵:信息熵越大,不确定性越大,信息熵越小,则不确定小,属于的类别也更加清晰 6.softmax公式: Si = e^i / (e^1+....+e^j) ,用于计算概率值. 特点:所有类别概率值相加等于1…

本篇不涉及模型原理,只是分享下代码.想要了解模型原理的可以去看网上很多大牛的博客. 目前代码实现了CNN和LSTM两个网络,整个代码分为四部分: Config:项目中涉及的参数: CNN:卷积神经网络结构: LSTM:长短期记忆网络结构: TrainProcess: 模型训练及评估,参数model控制训练何种模型(CNN or LSTM). 完整代码 -Talk is cheap, show me the code. # -*- coding: utf-8 -*- # @author: Awes…