#include <iostream>
#include <vector>
#include <cmath>
#include <algorithm>
#include <numeric>
#include <fstream>
#include <sstream>
#include <functional>
double myfunction(double num) {
    return exp(num);
}
template <typename T>
void softmax(const typename::std::vector<T> &v, typename::std::vector<T> &s) {
    double sum=0.0;
    transform(v.begin(), v.end(), s.begin(), myfunction);
    sum=accumulate(s.begin(), s.end(), sum);
    for(size_t i=0; i<s.size(); ++i)
        s.at(i)/=sum;
}
template <typename T>
void hypothesis(const std::vector<std::vector<T> > &theta, const std::vector<T> &feature, std::vector<T> &prb) {
    prb.clear();
    double sum=0.0;
    for(size_t i=0; i<theta.size(); ++i) {
        double inner=0.0;
        inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
        inner=exp(inner);
        sum+=inner;
    }
    for(size_t i=0; i<theta.size(); ++i) {
        double inner=0.0;
        inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
        inner=exp(inner);
        prb.push_back(inner/sum);
    }
}
double stringtodouble(const std::string& s) {
    std::istringstream iss(s);
    double num;
    return iss>>num?num:0;
}
int indicator(const int &a, const int &b) {
    if(a==b)
        return 1;
    else
        return 0;
}
void print(int i) {
    std::cout<<i<<" ";
}
double CostFunc(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta) {
    double sum3=0.0;
    for(size_t i=0; i<vv_iris.size(); ++i) {
        double sum1=0.0;
        int k;
        for(size_t j=0; j<theta.size(); ++j) {
            double inner=0.0;
            int b=j+1;
            int indi=indicator(vv_iris.at(i).back(), b);
            if(indi)
                k=j;
            inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
            sum1+=exp(inner);
        }
        sum1=log(sum1);
        double inner=0.0;
        inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
        inner-=sum1;
        sum3+=inner;
    }
    sum3/=vv_iris.size();
    return -sum3;
}
void GetThetaGrad(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta, const int j, std::vector<double> &grad_theta) {
    double sum=0.0;
    for(size_t i=0; i<vv_iris.size(); ++i) {
        double sum1=0.0;
        for(size_t k=0; k<theta.size(); ++k) {
            double inner=0.0;
            inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
            inner=exp(inner);
            sum1+=inner;
        }
        double inner=0.0;
        inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
        inner=exp(inner);
        sum1=(-1)*inner/sum1;
        int b=j+1;
        int indi=indicator(vv_iris.at(i).back(), b);
        sum1+=indi;
        std::vector<double> v_temp(theta.front().size(), 0);
        transform(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, v_temp.begin(), std::bind1st(std::multiplies<double>(), sum1));
        for(size_t l=0; l<theta.front().size(); ++l) {
            grad_theta.at(l)+=v_temp.at(l);
        }
    }
    for(size_t i=0; i<grad_theta.size(); ++i) {
        grad_theta.at(i)=(-1)*grad_theta.at(i)/vv_iris.size();
    }
}
void ReadDataFromCsv(std::string &filename, std::vector<std::vector<double> > &lines_feat) {
    std::ifstream vm_info(filename.c_str());
    std::string lines, var;
    std::vector<double> row;
    lines_feat.clear();
    while(!vm_info.eof()) {
        getline(vm_info, lines);
        if(lines.empty())
            break;
        std::istringstream stringin(lines);
        row.clear();
        row.push_back(1);
        while(std::getline(stringin, var, ',')) {
            if(var=="Iris-setosa")
                var="1";
            else if(var=="Iris-versicolor")
                var="2";
            else if(var=="Iris-virginica")
                var="3";
            double value=stringtodouble(var);
            row.push_back(value);
        }
        lines_feat.push_back(row);
    }
}
template <class DataType>
void ReadMatFromFile(std::string &filename, std::vector<std::vector<DataType> > &lines_feat) {
    std::ifstream vm_info(filename.c_str());
    std::string lines;
    DataType var;
    std::vector<DataType> row;
    lines_feat.clear();
    while(!vm_info.eof()) {
        getline(vm_info, lines);
        if(lines.empty())
            break;
        std::replace(lines.begin(), lines.end(), ',', ' ');
        std::stringstream stringin(lines);
        row.clear();
        while(stringin >> var) {
            row.push_back(var);
        }
        lines_feat.push_back(row);
    }
}
template <class T>
void Display2DVector(std::vector<std::vector<T> > &vv) {
    for(size_t i=0;i<vv.size();++i) {
        for(typename::std::vector<T>::const_iterator it=vv.at(i).begin();it!=vv.at(i).end();++it) {
            std::cout<<*it<<" ";
        }
        std::cout<<"\n";
    }
    std::cout<<"--------the total rows of the 2DVector is "<<vv.size()<<std::endl;
    std::cout<<"--------the total cols of the 2DVector is "<<vv.front().size()<<std::endl;
}
int main() {
    std::string file("Iris.csv"), weight("theta.csv");;
    std::vector<std::vector<double> > vv_iris;
    std::vector<std::vector<double> > theta;
    ReadDataFromCsv(file, vv_iris);
    ReadMatFromFile(weight, theta);
    Display2DVector(vv_iris);
    Display2DVector(theta);
    double old_cost=CostFunc(vv_iris, theta);
    std::cout<<"the orignal cost: "<<old_cost<<std::endl;
    for(;;) {
        for(size_t i=0; i<theta.size(); ++i) {
            std::vector<double> grad_theta(theta.front().size(), 0);
            GetThetaGrad(vv_iris, theta, i, grad_theta);
            for(size_t j=0; j<grad_theta.size(); ++j) {
                theta.at(i).at(j)=theta.at(i).at(j)-0.05*grad_theta.at(j);
            }
        }
        double new_cost=CostFunc(vv_iris, theta);
        std::cout<<"new_cost: "<<new_cost<<std::endl;
        if(fabs(new_cost-old_cost)<0.000000001)
            break;
        old_cost=new_cost;
    }
    Display2DVector(theta);
    return 0;
}

softmax regression in c++的更多相关文章

  1. Softmax回归(Softmax Regression)

    转载请注明出处:http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中,因变量y有k个取值,即.例如在邮件分类问题中,我们要把邮件分为垃圾邮件.个人邮件.工作邮件 ...

  2. (六)6.10 Neurons Networks implements of softmax regression

    softmax可以看做只有输入和输出的Neurons Networks,如下图: 其参数数量为k*(n+1) ,但在本实现中没有加入截距项,所以参数为k*n的矩阵. 对损失函数J(θ)的形式有: 算法 ...

  3. Deep Learning 学习随记(三)续 Softmax regression练习

    上一篇讲的Softmax regression,当时时间不够,没把练习做完.这几天学车有点累,又特别想动动手自己写写matlab代码 所以等到了现在,这篇文章就当做上一篇的续吧. 回顾: 上一篇最后给 ...

  4. UFLDL实验报告1: Softmax Regression

    PS:这些是今年4月份,跟斯坦福UFLDL教程时的实验报告,当时就应该好好整理的…留到现在好凌乱了 Softmax Regression实验报告 1.Softmax Regression实验描述 So ...

  5. ufldl学习笔记和编程作业:Softmax Regression(softmax回报)

    ufldl学习笔记与编程作业:Softmax Regression(softmax回归) ufldl出了新教程.感觉比之前的好,从基础讲起.系统清晰,又有编程实践. 在deep learning高质量 ...

  6. 学习笔记TF024:TensorFlow实现Softmax Regression(回归)识别手写数字

    TensorFlow实现Softmax Regression(回归)识别手写数字.MNIST(Mixed National Institute of Standards and Technology ...

  7. TensorFlow实战之Softmax Regression识别手写数字

         关于本文说明,本人原博客地址位于http://blog.csdn.net/qq_37608890,本文来自笔者于2018年02月21日 23:10:04所撰写内容(http://blog.c ...

  8. R︱Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)

    本文转载自经管之家论坛, R语言中的Softmax Regression建模 (MNIST 手写体识别和文档多分类应用) R中的softmaxreg包,发自2016-09-09,链接:https:// ...

  9. TensorFlow(2)Softmax Regression

    Softmax Regression Chapter Basics generate random Tensors Three usual activation function in Neural ...

  10. 逻辑回归与神经网络还有Softmax regression的关系与区别

    本文讨论的关键词:Logistic Regression(逻辑回归).Neural Networks(神经网络) 之前在学习LR和NN的时候,一直对它们独立学习思考,就简单当做是机器学习中的两个不同的 ...

随机推荐

  1. solr相关文章

    Solr集群架构概述及delta-import详细配置 背景 由于项目原因,重新熟悉了下Solr,版本为3.6,搭建了主从Solr服务,并使用DIH从RDBMS数据源增量更新索引. 其实也没什么技术含 ...

  2. 洛谷—— P1098 字符串的展开

    https://www.luogu.org/problem/show?pid=1098 题目描述 在初赛普及组的“阅读程序写结果”的问题中,我们曾给出一个字符串展开的例子:如果在输入的字符串中,含有类 ...

  3. 洛谷——P2820 局域网

    P2820 局域网 题目背景 某个局域网内有n(n<=100)台计算机,由于搭建局域网时工作人员的疏忽,现在局域网内的连接形成了回路,我们知道如果局域网形成回路那么数据将不停的在回路内传输,造成 ...

  4. 百度统计的JS脚本原理解析

    一句话:在你的网站上加载百度统计的脚本,这个脚本会收集你的本地信息,然后发送给百度统计网站 https://blog.csdn.net/iqzq123/article/details/8877645 ...

  5. 将oracle10g 升级至10.2.0.4

    http://blog.csdn.net/launch_225/article/details/7221489 一.单实例环境,全时长一个半钟多. 详细图文说明到这下载 1.停止所有oracle相关进 ...

  6. Java知识图谱

    1.Java学习路径1 我想很多人看到这个路径可能会问我在哪里可以学习,所以就先附上这条路径的学习地址吧,这也是这张图片的来源,愿意学习的可以去看看:Java研发工程师学习路径 2.Java学习路径2 ...

  7. java数据库连接池技术简单使用

    JDBCDemo.java: package com.itheima.jdbc; import java.sql.Connection; import java.sql.PreparedStateme ...

  8. FZU 2150 Fire Game (暴力BFS)

    [题目链接]click here~~ [题目大意]: 两个熊孩子要把一个正方形上的草都给烧掉,他俩同一时候放火烧.烧第一块的时候是不花时间的.每一块着火的都能够在下一秒烧向上下左右四块#代表草地,.代 ...

  9. 有两个字符串a,b。假设a="ab",b="cd",判断字符串c="acbd"是属于a、b的组合。满足组合后a、b的内部顺序均不变。

    #include<iostream> #include<string> using namespace std; int check(string a,string b,str ...

  10. robotframework接口自动化

    robot framework框架在测试接口上比soapUI好用的多,在此介绍下get方法的HTTP接口,其实这个接口也是把POST数据作为参数进行get请求,使用post 方法也是一样,一共6步就可 ...