softmax regression in c++
#include <iostream>
#include <vector>
#include <cmath>
#include <algorithm>
#include <numeric>
#include <fstream>
#include <sstream>
#include <functional>
double myfunction(double num) {
return exp(num);
}
template <typename T>
void softmax(const typename::std::vector<T> &v, typename::std::vector<T> &s) {
double sum=0.0;
transform(v.begin(), v.end(), s.begin(), myfunction);
sum=accumulate(s.begin(), s.end(), sum);
for(size_t i=0; i<s.size(); ++i)
s.at(i)/=sum;
}
template <typename T>
void hypothesis(const std::vector<std::vector<T> > &theta, const std::vector<T> &feature, std::vector<T> &prb) {
prb.clear();
double sum=0.0;
for(size_t i=0; i<theta.size(); ++i) {
double inner=0.0;
inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
inner=exp(inner);
sum+=inner;
}
for(size_t i=0; i<theta.size(); ++i) {
double inner=0.0;
inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
inner=exp(inner);
prb.push_back(inner/sum);
}
}
double stringtodouble(const std::string& s) {
std::istringstream iss(s);
double num;
return iss>>num?num:0;
}
int indicator(const int &a, const int &b) {
if(a==b)
return 1;
else
return 0;
}
void print(int i) {
std::cout<<i<<" ";
}
double CostFunc(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta) {
double sum3=0.0;
for(size_t i=0; i<vv_iris.size(); ++i) {
double sum1=0.0;
int k;
for(size_t j=0; j<theta.size(); ++j) {
double inner=0.0;
int b=j+1;
int indi=indicator(vv_iris.at(i).back(), b);
if(indi)
k=j;
inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
sum1+=exp(inner);
}
sum1=log(sum1);
double inner=0.0;
inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
inner-=sum1;
sum3+=inner;
}
sum3/=vv_iris.size();
return -sum3;
}
void GetThetaGrad(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta, const int j, std::vector<double> &grad_theta) {
double sum=0.0;
for(size_t i=0; i<vv_iris.size(); ++i) {
double sum1=0.0;
for(size_t k=0; k<theta.size(); ++k) {
double inner=0.0;
inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
inner=exp(inner);
sum1+=inner;
}
double inner=0.0;
inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
inner=exp(inner);
sum1=(-1)*inner/sum1;
int b=j+1;
int indi=indicator(vv_iris.at(i).back(), b);
sum1+=indi;
std::vector<double> v_temp(theta.front().size(), 0);
transform(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, v_temp.begin(), std::bind1st(std::multiplies<double>(), sum1));
for(size_t l=0; l<theta.front().size(); ++l) {
grad_theta.at(l)+=v_temp.at(l);
}
}
for(size_t i=0; i<grad_theta.size(); ++i) {
grad_theta.at(i)=(-1)*grad_theta.at(i)/vv_iris.size();
}
}
void ReadDataFromCsv(std::string &filename, std::vector<std::vector<double> > &lines_feat) {
std::ifstream vm_info(filename.c_str());
std::string lines, var;
std::vector<double> row;
lines_feat.clear();
while(!vm_info.eof()) {
getline(vm_info, lines);
if(lines.empty())
break;
std::istringstream stringin(lines);
row.clear();
row.push_back(1);
while(std::getline(stringin, var, ',')) {
if(var=="Iris-setosa")
var="1";
else if(var=="Iris-versicolor")
var="2";
else if(var=="Iris-virginica")
var="3";
double value=stringtodouble(var);
row.push_back(value);
}
lines_feat.push_back(row);
}
}
template <class DataType>
void ReadMatFromFile(std::string &filename, std::vector<std::vector<DataType> > &lines_feat) {
std::ifstream vm_info(filename.c_str());
std::string lines;
DataType var;
std::vector<DataType> row;
lines_feat.clear();
while(!vm_info.eof()) {
getline(vm_info, lines);
if(lines.empty())
break;
std::replace(lines.begin(), lines.end(), ',', ' ');
std::stringstream stringin(lines);
row.clear();
while(stringin >> var) {
row.push_back(var);
}
lines_feat.push_back(row);
}
}
template <class T>
void Display2DVector(std::vector<std::vector<T> > &vv) {
for(size_t i=0;i<vv.size();++i) {
for(typename::std::vector<T>::const_iterator it=vv.at(i).begin();it!=vv.at(i).end();++it) {
std::cout<<*it<<" ";
}
std::cout<<"\n";
}
std::cout<<"--------the total rows of the 2DVector is "<<vv.size()<<std::endl;
std::cout<<"--------the total cols of the 2DVector is "<<vv.front().size()<<std::endl;
}
int main() {
std::string file("Iris.csv"), weight("theta.csv");;
std::vector<std::vector<double> > vv_iris;
std::vector<std::vector<double> > theta;
ReadDataFromCsv(file, vv_iris);
ReadMatFromFile(weight, theta);
Display2DVector(vv_iris);
Display2DVector(theta);
double old_cost=CostFunc(vv_iris, theta);
std::cout<<"the orignal cost: "<<old_cost<<std::endl;
for(;;) {
for(size_t i=0; i<theta.size(); ++i) {
std::vector<double> grad_theta(theta.front().size(), 0);
GetThetaGrad(vv_iris, theta, i, grad_theta);
for(size_t j=0; j<grad_theta.size(); ++j) {
theta.at(i).at(j)=theta.at(i).at(j)-0.05*grad_theta.at(j);
}
}
double new_cost=CostFunc(vv_iris, theta);
std::cout<<"new_cost: "<<new_cost<<std::endl;
if(fabs(new_cost-old_cost)<0.000000001)
break;
old_cost=new_cost;
}
Display2DVector(theta);
return 0;
}
softmax regression in c++的更多相关文章
- Softmax回归(Softmax Regression)
转载请注明出处:http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中,因变量y有k个取值,即.例如在邮件分类问题中,我们要把邮件分为垃圾邮件.个人邮件.工作邮件 ...
- (六)6.10 Neurons Networks implements of softmax regression
softmax可以看做只有输入和输出的Neurons Networks,如下图: 其参数数量为k*(n+1) ,但在本实现中没有加入截距项,所以参数为k*n的矩阵. 对损失函数J(θ)的形式有: 算法 ...
- Deep Learning 学习随记(三)续 Softmax regression练习
上一篇讲的Softmax regression,当时时间不够,没把练习做完.这几天学车有点累,又特别想动动手自己写写matlab代码 所以等到了现在,这篇文章就当做上一篇的续吧. 回顾: 上一篇最后给 ...
- UFLDL实验报告1: Softmax Regression
PS:这些是今年4月份,跟斯坦福UFLDL教程时的实验报告,当时就应该好好整理的…留到现在好凌乱了 Softmax Regression实验报告 1.Softmax Regression实验描述 So ...
- ufldl学习笔记和编程作业:Softmax Regression(softmax回报)
ufldl学习笔记与编程作业:Softmax Regression(softmax回归) ufldl出了新教程.感觉比之前的好,从基础讲起.系统清晰,又有编程实践. 在deep learning高质量 ...
- 学习笔记TF024:TensorFlow实现Softmax Regression(回归)识别手写数字
TensorFlow实现Softmax Regression(回归)识别手写数字.MNIST(Mixed National Institute of Standards and Technology ...
- TensorFlow实战之Softmax Regression识别手写数字
关于本文说明,本人原博客地址位于http://blog.csdn.net/qq_37608890,本文来自笔者于2018年02月21日 23:10:04所撰写内容(http://blog.c ...
- R︱Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)
本文转载自经管之家论坛, R语言中的Softmax Regression建模 (MNIST 手写体识别和文档多分类应用) R中的softmaxreg包,发自2016-09-09,链接:https:// ...
- TensorFlow(2)Softmax Regression
Softmax Regression Chapter Basics generate random Tensors Three usual activation function in Neural ...
- 逻辑回归与神经网络还有Softmax regression的关系与区别
本文讨论的关键词:Logistic Regression(逻辑回归).Neural Networks(神经网络) 之前在学习LR和NN的时候,一直对它们独立学习思考,就简单当做是机器学习中的两个不同的 ...
随机推荐
- solr相关文章
Solr集群架构概述及delta-import详细配置 背景 由于项目原因,重新熟悉了下Solr,版本为3.6,搭建了主从Solr服务,并使用DIH从RDBMS数据源增量更新索引. 其实也没什么技术含 ...
- 洛谷—— P1098 字符串的展开
https://www.luogu.org/problem/show?pid=1098 题目描述 在初赛普及组的“阅读程序写结果”的问题中,我们曾给出一个字符串展开的例子:如果在输入的字符串中,含有类 ...
- 洛谷——P2820 局域网
P2820 局域网 题目背景 某个局域网内有n(n<=100)台计算机,由于搭建局域网时工作人员的疏忽,现在局域网内的连接形成了回路,我们知道如果局域网形成回路那么数据将不停的在回路内传输,造成 ...
- 百度统计的JS脚本原理解析
一句话:在你的网站上加载百度统计的脚本,这个脚本会收集你的本地信息,然后发送给百度统计网站 https://blog.csdn.net/iqzq123/article/details/8877645 ...
- 将oracle10g 升级至10.2.0.4
http://blog.csdn.net/launch_225/article/details/7221489 一.单实例环境,全时长一个半钟多. 详细图文说明到这下载 1.停止所有oracle相关进 ...
- Java知识图谱
1.Java学习路径1 我想很多人看到这个路径可能会问我在哪里可以学习,所以就先附上这条路径的学习地址吧,这也是这张图片的来源,愿意学习的可以去看看:Java研发工程师学习路径 2.Java学习路径2 ...
- java数据库连接池技术简单使用
JDBCDemo.java: package com.itheima.jdbc; import java.sql.Connection; import java.sql.PreparedStateme ...
- FZU 2150 Fire Game (暴力BFS)
[题目链接]click here~~ [题目大意]: 两个熊孩子要把一个正方形上的草都给烧掉,他俩同一时候放火烧.烧第一块的时候是不花时间的.每一块着火的都能够在下一秒烧向上下左右四块#代表草地,.代 ...
- 有两个字符串a,b。假设a="ab",b="cd",判断字符串c="acbd"是属于a、b的组合。满足组合后a、b的内部顺序均不变。
#include<iostream> #include<string> using namespace std; int check(string a,string b,str ...
- robotframework接口自动化
robot framework框架在测试接口上比soapUI好用的多,在此介绍下get方法的HTTP接口,其实这个接口也是把POST数据作为参数进行get请求,使用post 方法也是一样,一共6步就可 ...