#include <iostream>
#include <vector>
#include <cmath>
#include <algorithm>
#include <numeric>
#include <fstream>
#include <sstream>
#include <functional>
double myfunction(double num) {
    return exp(num);
}
template <typename T>
void softmax(const typename::std::vector<T> &v, typename::std::vector<T> &s) {
    double sum=0.0;
    transform(v.begin(), v.end(), s.begin(), myfunction);
    sum=accumulate(s.begin(), s.end(), sum);
    for(size_t i=0; i<s.size(); ++i)
        s.at(i)/=sum;
}
template <typename T>
void hypothesis(const std::vector<std::vector<T> > &theta, const std::vector<T> &feature, std::vector<T> &prb) {
    prb.clear();
    double sum=0.0;
    for(size_t i=0; i<theta.size(); ++i) {
        double inner=0.0;
        inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
        inner=exp(inner);
        sum+=inner;
    }
    for(size_t i=0; i<theta.size(); ++i) {
        double inner=0.0;
        inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
        inner=exp(inner);
        prb.push_back(inner/sum);
    }
}
double stringtodouble(const std::string& s) {
    std::istringstream iss(s);
    double num;
    return iss>>num?num:0;
}
int indicator(const int &a, const int &b) {
    if(a==b)
        return 1;
    else
        return 0;
}
void print(int i) {
    std::cout<<i<<" ";
}
double CostFunc(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta) {
    double sum3=0.0;
    for(size_t i=0; i<vv_iris.size(); ++i) {
        double sum1=0.0;
        int k;
        for(size_t j=0; j<theta.size(); ++j) {
            double inner=0.0;
            int b=j+1;
            int indi=indicator(vv_iris.at(i).back(), b);
            if(indi)
                k=j;
            inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
            sum1+=exp(inner);
        }
        sum1=log(sum1);
        double inner=0.0;
        inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
        inner-=sum1;
        sum3+=inner;
    }
    sum3/=vv_iris.size();
    return -sum3;
}
void GetThetaGrad(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta, const int j, std::vector<double> &grad_theta) {
    double sum=0.0;
    for(size_t i=0; i<vv_iris.size(); ++i) {
        double sum1=0.0;
        for(size_t k=0; k<theta.size(); ++k) {
            double inner=0.0;
            inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
            inner=exp(inner);
            sum1+=inner;
        }
        double inner=0.0;
        inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
        inner=exp(inner);
        sum1=(-1)*inner/sum1;
        int b=j+1;
        int indi=indicator(vv_iris.at(i).back(), b);
        sum1+=indi;
        std::vector<double> v_temp(theta.front().size(), 0);
        transform(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, v_temp.begin(), std::bind1st(std::multiplies<double>(), sum1));
        for(size_t l=0; l<theta.front().size(); ++l) {
            grad_theta.at(l)+=v_temp.at(l);
        }
    }
    for(size_t i=0; i<grad_theta.size(); ++i) {
        grad_theta.at(i)=(-1)*grad_theta.at(i)/vv_iris.size();
    }
}
void ReadDataFromCsv(std::string &filename, std::vector<std::vector<double> > &lines_feat) {
    std::ifstream vm_info(filename.c_str());
    std::string lines, var;
    std::vector<double> row;
    lines_feat.clear();
    while(!vm_info.eof()) {
        getline(vm_info, lines);
        if(lines.empty())
            break;
        std::istringstream stringin(lines);
        row.clear();
        row.push_back(1);
        while(std::getline(stringin, var, ',')) {
            if(var=="Iris-setosa")
                var="1";
            else if(var=="Iris-versicolor")
                var="2";
            else if(var=="Iris-virginica")
                var="3";
            double value=stringtodouble(var);
            row.push_back(value);
        }
        lines_feat.push_back(row);
    }
}
template <class DataType>
void ReadMatFromFile(std::string &filename, std::vector<std::vector<DataType> > &lines_feat) {
    std::ifstream vm_info(filename.c_str());
    std::string lines;
    DataType var;
    std::vector<DataType> row;
    lines_feat.clear();
    while(!vm_info.eof()) {
        getline(vm_info, lines);
        if(lines.empty())
            break;
        std::replace(lines.begin(), lines.end(), ',', ' ');
        std::stringstream stringin(lines);
        row.clear();
        while(stringin >> var) {
            row.push_back(var);
        }
        lines_feat.push_back(row);
    }
}
template <class T>
void Display2DVector(std::vector<std::vector<T> > &vv) {
    for(size_t i=0;i<vv.size();++i) {
        for(typename::std::vector<T>::const_iterator it=vv.at(i).begin();it!=vv.at(i).end();++it) {
            std::cout<<*it<<" ";
        }
        std::cout<<"\n";
    }
    std::cout<<"--------the total rows of the 2DVector is "<<vv.size()<<std::endl;
    std::cout<<"--------the total cols of the 2DVector is "<<vv.front().size()<<std::endl;
}
int main() {
    std::string file("Iris.csv"), weight("theta.csv");;
    std::vector<std::vector<double> > vv_iris;
    std::vector<std::vector<double> > theta;
    ReadDataFromCsv(file, vv_iris);
    ReadMatFromFile(weight, theta);
    Display2DVector(vv_iris);
    Display2DVector(theta);
    double old_cost=CostFunc(vv_iris, theta);
    std::cout<<"the orignal cost: "<<old_cost<<std::endl;
    for(;;) {
        for(size_t i=0; i<theta.size(); ++i) {
            std::vector<double> grad_theta(theta.front().size(), 0);
            GetThetaGrad(vv_iris, theta, i, grad_theta);
            for(size_t j=0; j<grad_theta.size(); ++j) {
                theta.at(i).at(j)=theta.at(i).at(j)-0.05*grad_theta.at(j);
            }
        }
        double new_cost=CostFunc(vv_iris, theta);
        std::cout<<"new_cost: "<<new_cost<<std::endl;
        if(fabs(new_cost-old_cost)<0.000000001)
            break;
        old_cost=new_cost;
    }
    Display2DVector(theta);
    return 0;
}

softmax regression in c++的更多相关文章

  1. Softmax回归(Softmax Regression)

    转载请注明出处:http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中,因变量y有k个取值,即.例如在邮件分类问题中,我们要把邮件分为垃圾邮件.个人邮件.工作邮件 ...

  2. (六)6.10 Neurons Networks implements of softmax regression

    softmax可以看做只有输入和输出的Neurons Networks,如下图: 其参数数量为k*(n+1) ,但在本实现中没有加入截距项,所以参数为k*n的矩阵. 对损失函数J(θ)的形式有: 算法 ...

  3. Deep Learning 学习随记(三)续 Softmax regression练习

    上一篇讲的Softmax regression,当时时间不够,没把练习做完.这几天学车有点累,又特别想动动手自己写写matlab代码 所以等到了现在,这篇文章就当做上一篇的续吧. 回顾: 上一篇最后给 ...

  4. UFLDL实验报告1: Softmax Regression

    PS:这些是今年4月份,跟斯坦福UFLDL教程时的实验报告,当时就应该好好整理的…留到现在好凌乱了 Softmax Regression实验报告 1.Softmax Regression实验描述 So ...

  5. ufldl学习笔记和编程作业:Softmax Regression(softmax回报)

    ufldl学习笔记与编程作业:Softmax Regression(softmax回归) ufldl出了新教程.感觉比之前的好,从基础讲起.系统清晰,又有编程实践. 在deep learning高质量 ...

  6. 学习笔记TF024:TensorFlow实现Softmax Regression(回归)识别手写数字

    TensorFlow实现Softmax Regression(回归)识别手写数字.MNIST(Mixed National Institute of Standards and Technology ...

  7. TensorFlow实战之Softmax Regression识别手写数字

         关于本文说明,本人原博客地址位于http://blog.csdn.net/qq_37608890,本文来自笔者于2018年02月21日 23:10:04所撰写内容(http://blog.c ...

  8. R︱Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)

    本文转载自经管之家论坛, R语言中的Softmax Regression建模 (MNIST 手写体识别和文档多分类应用) R中的softmaxreg包,发自2016-09-09,链接:https:// ...

  9. TensorFlow(2)Softmax Regression

    Softmax Regression Chapter Basics generate random Tensors Three usual activation function in Neural ...

  10. 逻辑回归与神经网络还有Softmax regression的关系与区别

    本文讨论的关键词:Logistic Regression(逻辑回归).Neural Networks(神经网络) 之前在学习LR和NN的时候,一直对它们独立学习思考,就简单当做是机器学习中的两个不同的 ...

随机推荐

  1. POJ 1904:King's Quest【tarjan】

    题目大意:给出一个二分图的完美匹配(王子和公主的烧死名单表),二分图x部和y部均只有n个点,问对于每一个x部的点,他能选择哪些点与之匹配 使得与之匹配后,剩余图的最大匹配仍然是n 思路:这题是大白书3 ...

  2. BZOJ 2561: 最小生成树【最小割/最大流】

    Description 给定一个边带正权的连通无向图G=(V,E),其中N=|V|,M=|E|,N个点从1到N依次编号,给定三个正整数u,v,和L (u≠v),假设现在加入一条边权为L的边(u,v), ...

  3. 【POJ2774&Ural1517】Long Long Message(后缀数组)

    题意:求两个字符串的最长公共子串 n<=1000 思路:这是一道论文题 ..]of longint; n,l1,l2,i,ans,m,l,r:longint; ch:ansistring; pr ...

  4. SHELL脚本运行的几种方法以及区别

    #1 给脚本加上执行权限chmod u+x a.sh, 而后就可以直接用全路径来执行脚本了,比如当前文件夹下用./a.sh,如果如果脚本所在目录在PATH环境变量之中, 则直接用a.sh即可(这和运行 ...

  5. python之-- 反射

    反射定义:通过字符串映射或者修改程序运行时的状态,属性,方法.方法有如下4个:1:getattr(object,name,default=None):根据字符串去获取obj对象里的对应的方法的内存地址 ...

  6. delphi操作xml学习笔记 之一 入门必读

    Delphi 对XML的支持---TXMLDocument类       Delphi7 支持对XML文档的操作,可以通过TXMLDocument类来实现对XML文档的读写.可以利用TXMLDocum ...

  7. 2017icpc乌鲁木齐网络赛Colored Graph (构造)

    题目 https://nanti.jisuanke.com/t/16958 题意 给定一个n(n<=500)个点的无向图,给每条边黑白染色,输出同色三角形最少的个数和对应的方案 分析 首先考虑给 ...

  8. Java描述符(修饰符)的类型

    以下内容引用自http://wiki.jikexueyuan.com/project/java/modifier-types.html: 描述符(修饰符)是添加到那些定义中来改变他们的意思的关键词.J ...

  9. 【stl学习笔记】set、multiset

    set和multiset会根据特定的排序准则,自动将元素排序.两者不同处在于multiset允许元素重复而set不允许 在使用set或multiset之前,必须先加入头文件<set> se ...

  10. Eureka 简介

    Eureka 简介