要用到的包:

"golang.org/x/text/encoding/simplifiedchinese"
    "golang.org/x/text/transform"

func Decode(s []byte) ([]byte, error) {
    I := bytes.NewReader(s)
    O := transform.NewReader(I, simplifiedchinese.GBK.NewDecoder())
    d, e := ioutil.ReadAll(O)
    if e != nil {
        return nil, e
    }
    return d, nil
}
func ReadCsv(execlFileName string) {
    ProBar.Exist = 0
    ProBar.Sucess = 0
    ProBar.Fail = 0
    ProBar.Count = 0

    var (
        err        error
        sucess     int64
        fail       int64
        exist      int64
        errcontent string
        OrderTime  time.Time
        tradedata  []TradeData
    )

    cntb, err := ioutil.ReadFile(execlFileName)
    ress, err := Decode(cntb)
    if err != nil {
        beego.Error("change is err", err.Error())
        return
    }
    buffer := bytes.NewBuffer(ress)
    bufferline := bytes.NewBuffer(ress)
    var cols int
    for {
        s, err := bufferline.ReadString(byte('\n'))
        if err != nil {
            beego.Error("err", err)
            break
        } else {
            linestr := strings.Split(s, ",")
            if len(linestr) > 5 && len(linestr[1]) > 5 {
                cols++
            }
        }
    }
    ProBar.TotalPro = int64((cols - 1) * 3)
    var linenum int
    for {
        s, err := buffer.ReadString(byte('\n'))
        if err != nil {
            beego.Error("err", err)
            break
        } else {
            if linenum > 0 {
                linestr := strings.Split(s, ",")
                if len(linestr) > 5 && len(linestr[1]) > 5 {
                    beego.Debug("linestr lenght:", len(linestr))

                    var (
                        trade TradeData
                    )
                    for i := 0; i < len(linestr); i++ {
                        str := linestr[i]
                        if strings.TrimSpace(str) != "" {
                            ProBar.CurrentPro++
                            // for i := 0; i < len(str); i++ {
                            if strings.TrimSpace(linestr[i]) != "" {
                                trimsrt := strings.TrimRight(strings.TrimLeft(linestr[i], `="`), `"`)

                                beego.Debug("str : i", i, trimsrt)
                                if i == 1 {
                                    customercode, _ := strconv.ParseFloat(trimsrt, 64) //客户账号
                                    trade.CustomerCode = int64(customercode)           //客户账号
                                }
                                if i == 2 {
                                    trade.CustomerName = trimsrt //账户名称
                                }
                                if i == 3 {
                                    trade.SuccessOrderCode = trimsrt //成交单号
                                }
                                if i == 4 {
                                    trade.CommodityCode = trimsrt //成交代码
                                }
                                if i == 5 {
                                    trade.CommodityName = trimsrt //商品名称
                                }
                                if i == 6 {
                                    switch trimsrt {
                                    case "买":
                                        trade.TradeType = 1 //交易类型(0-未知,1-买,2-卖)
                                        break
                                    case "卖":
                                        trade.TradeType = 2 //交易类型(0-未知,1-买,2-卖)
                                        break
                                    default:
                                        trade.TradeType = 0 //交易类型(0-未知,1-买,2-卖)
                                        if trade.TradeType == 0 {
                                            fail++
                                            beego.Debug("Transaction type error : ", linestr[i])
                                            errcontent = errcontent + strconv.Itoa(i) + "行买卖类型错误"
                                            break
                                        }
                                    }
                                }
                                if i == 7 {
                                    trade.OrderCode = trimsrt //委托单号
                                }
                                if i == 8 {
                                    trancount, _ := strconv.ParseFloat(trimsrt, 64) //成交数量
                                    trade.TranCount = int64(trancount)
                                }
                                if i == 9 {
                                    trade.TranPrice, _ = strconv.ParseFloat(trimsrt, 64) //成交价格
                                }
                                if i == 10 {
                                    trade.TranAmount, _ = strconv.ParseFloat(trimsrt, 64) //成交金额
                                }
                                if i == 11 {
                                    tranuser, _ := strconv.ParseFloat(trimsrt, 64) //交易员
                                    trade.TranUser = int64(tranuser)               //交易员
                                }
                                if i == 12 {
                                    loc, _ := time.LoadLocation("Local")                                             //重要:获取时区
                                    trade.TradeTime, err = time.ParseInLocation("2006-01-02 15:04:05", trimsrt, loc) //成交时间
                                    if err != nil {
                                        fail++
                                        beego.Debug("TradeTime wrong time : ", trimsrt)
                                        errcontent = errcontent + strconv.Itoa(i) + "行 时间格式错误"
                                        break
                                    }
                                }
                                if i == 13 {
                                    trade.ProfitLoss, _ = strconv.ParseFloat(trimsrt, 64) //转让盈亏
                                }
                                if i == 14 {
                                    trade.PoundAge, _ = strconv.ParseFloat(trimsrt, 64) //手续费
                                }

                                if i >= 15 && strings.TrimSpace(trimsrt) != "" {
                                    if i == 15 {
                                        trade.OrderPrice, _ = strconv.ParseFloat(trimsrt, 64) //订立价格
                                    }
                                    if i == 16 {
                                        loc, _ := time.LoadLocation("Local")
                                        OrderTime, err = time.ParseInLocation("2006-01-02 15:04:05", trimsrt, loc) //订立时间
                                        trade.OrderTime = OrderTime.Unix()
                                        if err != nil {
                                            fail++
                                            beego.Debug("TradeTime wrong time : ", trimsrt)
                                            errcontent = errcontent + strconv.Itoa(i) + "行 时间格式错误"
                                            break
                                        }
                                    }
                                }
                            }
                        }
                    }
                    beego.Debug("trade", linenum, trade)
                    checktime := trade.TradeTime.Format("2006-01-02") //登入的时间
                    IsExist := CheckIsTradeData(checktime)
                    if !IsExist {
                        tradedata = append(tradedata, trade)
                        sucess++
                    } else {
                        exist++
                        beego.Debug("Database duplicate data : ", trade)
                        errcontent = errcontent + strconv.Itoa(linenum) + "行 数据库重复"
                    }
                }
            }
            time.Sleep(time.Millisecond * 0)
        }
        linenum++
    }

    if sucess > 0 {
        var commitfail int64
        sucess, commitfail = AddTradeData(tradedata, sucess)
        if commitfail > 0 {
            fail = 0
            sucess = 0
            commitfail = int64(cols - 1)
        }
        fail += commitfail
        os.Remove(execlFileName) //删除文件
    }
    ProBar.Sucess = sucess
    ProBar.Fail = fail
    ProBar.Exist = exist
    ProBar.Count = int64(cols - 1)
    ProBar.ErrorContent = errcontent
    ProBar.Status = false
    ProBar.CurrentPro = ProBar.TotalPro
}

func ReadXls(excelFileName string) (res [][]string) {
    xlFile, err := xls.Open(excelFileName, "utf-8")
    if err == nil {
        beego.Debug(excelFileName, " file data read...................")
        for i := 0; i < xlFile.NumSheets(); i++ {
            sheet := xlFile.GetSheet(i)
            temp := make([][]string, sheet.MaxRow+1)
            for k, row := range sheet.Rows {
                data := make([]string, 0)
                for _, col := range row.Cols {
                    if uint16(len(data)) <= col.LastCol() {
                        data = append(data, make([]string, col.LastCol()-uint16(len(data))+1)...)
                    }
                    str := col.String(xlFile)
                    for i := uint16(0); i < col.LastCol()-col.FirstCol()+1; i++ {
                        data[col.FirstCol()+i] = str[i]
                    }
                }
                temp[k] = data
            }
            res = append(res, temp...)
        }
    } else {
        beego.Debug(err)
    }
    return res
}

func ReadXlsx(excelFileName string) (res [][]string) {
    xlFile, err := xlsx.OpenFile(excelFileName)
    if err == nil {
        beego.Debug(excelFileName, " file data read...................")
        for _, sheet := range xlFile.Sheets {
            temp := make([][]string, len(sheet.Rows))
            for k, row := range sheet.Rows {
                var data []string
                for _, cell := range row.Cells {
                    data = append(data, cell.Value)
                }
                temp[k] = data
            }
            res = append(res, temp...)
        }
    } else {
        beego.Debug(err)
    }
    return res
}

golang csv,xls,xlsx的更多相关文章

  1. Android 导入导出CSV,xls文件 .

    1 . http://www.bangchui.org/read.php?tid=62 2 .http://blog.csdn.net/xinzheng_wang/article/details/77 ...

  2. 用NPOI实现导入导出csv、xls、xlsx数据功能

    用NPOI实现导入导出csv.xls.xlsx数据功能   直接上代码 首先定义一个接口   如果需要直接操作文件的话,就自己在封装一次 然后定义csv类的具体实现 这个需要引入命名空间LumenWo ...

  3. java读取excel文件(.xls,xlsx,csv)

    前提,maven工程通过poi读写excel文件,需要在pom.xml中配置依赖关系: 在<dependencies>中添加如下代码 <dependency> <grou ...

  4. phpexcel读取excel的xls xlsx csv格式

    我之前写过一篇PHP读取csv文件的内容 上代码index.php <?php /** * * @author XC * */ class Excel { public $currentShee ...

  5. 在Linux中CSV转换成XLSX

    在linux中,把csv文件转换成excel表格(xlsx或者xls) $ echo -e 'surname,name,age\nCarlo,Smith,23\nJohn,Doe,46\nJane,D ...

  6. 在.xls;*.xlsx类型文件的导入(可以导入多条数据)

    2018-11-28   17:36:35 需要jar包:poi-3.8-201203026.jar jsp页面: <LINK href="${basePath}plugins/upl ...

  7. POI读取excel工具类(xls,xlsx通用)

    package com.boot.utils; import java.io.File; import java.io.FileInputStream; import java.io.FileNotF ...

  8. py3 读入和写入csv,txt文件

    import numpy as npimport pandas as pdimport time import datetimeimport csv http://pandas.pydata.org/ ...

  9. POI解析excel格式的文件(xls,xlsx)

    先贴出所需的jar包: 1.poi-3.17-beta1.jar 2.poi-ooxml-3.17-beta1.jar 3.poi-ooxml-schemas-3.17-beta1.jar 4.com ...

随机推荐

  1. 杭电1013-Digitai Root(这是一道考研编程题-天大2015)

    Digital Roots Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Tot ...

  2. [团队项目]SCRUM项目5.0

    5.0--------------------------------------------------- 1.团队成员完成自己认领的任务. 2.燃尽图:理解.设计并画出本次Sprint的燃尽图的理 ...

  3. 使用django的ImageField和from制作上传图片页面

    需求描述: 做一个简单的注册页面,使得用户在注册页上传头像. 解决办法: 以前用java写这个的时候,在action上面需要用IO接受文件,然后生成一个文件名,再将文件相对路径保存到user表的img ...

  4. hdu4932 Miaomiao's Geometry

    这是一道搜索题,我们很容易得到目标值的上下界,然后就只能枚举了. 就是将x轴上的点排序之后从左到右依次考察每个点,每个点要么在线段的左端点,要么在线段的右端点. 点编号从0到n-1,从编号为1的点开始 ...

  5. 【20160924】GOCVHelper 图像增强部分(3)

    //顶帽去光差,radius为模板半径     Mat moveLightDiff(Mat src,int radius){         Mat dst;         Mat srcclone ...

  6. uva 816 Abbott的复仇

    题目链接:https://uva.onlinejudge.org/external/8/816.pdf 紫书:P165 题意: 有一个最多包含9*9个交叉点的迷宫.输入起点.离开起点时的朝向和终点,求 ...

  7. Firefox浏览器设置字符编码格式

    按照网上说的:工具 -> 选项 -> 内容 -> 字体&颜色 -> 高级 -> 字体编码,根本没有找到utf-8,还是把浏览器定制一下吧,看源文件的时候也可以用, ...

  8. SharePoint自动化系列——创建MMS terms

    转载请注明出自天外归云的博客园:http://www.cnblogs.com/LanTianYou/ PowerShell脚本实现MMS group.termSet.terms的自动化创建: Add- ...

  9. ASP.NET Webform和ASP.NET MVC的区别

    ASP.NET WebForm ASP.NET Webform提供了一个类似于winform的事件响应GUI模型(event-driven GUI),隐藏了HTTP.HTML.JavaScript等细 ...

  10. Codeforces Round #260 (Div. 2) B

    Description Fedya studies in a gymnasium. Fedya's maths hometask is to calculate the following expre ...