Windows下python3生成UTF8的CSV文件和sha256sum踩坑记录

CSV的坑在Ubuntu下是简单的写入完事 import csv ... with open(filename, 'w') as output: f = csv.writer(output) f.writerow(results[0].keys()) .在win7下, 用msys2环境执行同一个python脚本, 发现生成的csv有两个问题: 1)有空行, 2)编码变成了GB2312 关于空行的问题, 百度的结果都是open(filename, 'wb')来解决, 但是在python3下会报…

使用Windows下的git工具往github上传代码踩坑记录

使用Windows下的git工具往github上传代码踩坑记录背景由于以前接触的项目都是通过svn进行版本控制,现在公司项目使用git,加上自己平时有一个练手小项目,趁着周末试着把项目上传到自己的github上做个管理,也当熟悉下git的操作,虽然是简单的操作,因为一直不太熟,所以还是花费了些功夫,其中的一些注意点做个记录. 第一步下载git 这里由于是windows下的操作,所以下载的是windows版本的git: 网址是 https://gitforwindows.org 第二部创…

Docker+STF在ubuntu下测试环境搭建（详细搭建步骤及踩坑记录）

一.什么是OpenSTF? STF又称OpenSTF,它是一个手机设备管理平台,可以对手机进行远程管理.调试.远程手机桌面监控等操作.这个系统类似于目前很流行的云测服务比如Testin,虽然网页上提供的设备很像模拟器中的设备,但是实际上都是真机. OpenSTF是使用nodejs和angularjs开发,遵循apache licene2.0开源协议,用户可以对源码进行修改发布.(源码地址:https://github.com/openstf) 二.STF的功能 1. 在Web上支持管理上百个an…

windows下python3 使用cx_Oracle，xlrd插件进行excel数据清洗录入

我们在做数据分析,清洗的过程中,很多时候会面对各种各样的数据源,要针对不同的数据源进行清洗,入库的工作.当然python这个语言,我比较喜欢,开发效率高,基本上怎么写都能运行,而且安装配置简单,基本上有网的环境pip install全部都搞定,没网的话,把whl包copy过来一行命令也就解决了(windows下python3.5使用pip离线安装whl包). 本篇博客就针对,在windows平台下使用python3(python2社区将要停止支持,使用3是大势所趋),读取xls,xlsx格式的数…

windows下python3.6 32bit 安装django

在Windows下python3.6安装Django1.11.3 1.首先下载地址:https://pypi.python.org/pypi/Django/1.11.3 pip install django安装django1.11.3 2.创建django项目使用django-admin.py这个文件,所以python3.6.1\Lib\site-packages\Django-1.11.3-py3.6.egg\django\bin下,将其添加到环境变量 3.在执行django-admin.py…

MAC 下 Excel打开UTF-8格式的文件乱码

为了识别 Unicode 文件,Microsoft 建议所有的 Unicode 文件应该以 ZERO WIDTH NOBREAK SPACE字符开头.这作为一个”特征符”或”字节顺序标记(byte-order mark,BOM)”来识别文件中使用的编码和字节顺序(big-endian或little-endian),具体的对应关系见下表. Bytes Encoding Form 00 00 FE FF UTF-32, big-endian FF FE 00 00 …

windows下python3.6安装pycryto or crypto or pycryptodome与使用

pycrypto,pycrytodome和crypto是一个东西,在很久以前,crypto在python上面的名字是pycrypto它是一个第三方库,但是已经停止更新三年了,所以不建议安装这个库: windows下python3.6安装也不会成功! 这个时候pycryptodome就来了,它是pycrypto的延伸版本,用法和pycrypto 是一模一样的: 重点: 直接pip install pycryptodome successfully..........................…

108.生成和下载csv文件

生成CSV文件有时候我们做的网站,需要将一些数据,生成一个csv文件返回浏览器,并且是作为附件的形式下载下来. 生成小的csv文件: 生成一个小的csv文件,我们用Python内置的csv模块来处理csv文件,并且使用HttpResponse来将csv文件返回回去.==采用python内置的csv模块创建csv文件示例代码如下:== from .models import User import csv from django.template import loader, Context d…

Windows下python3登陆和操作linux服务器

一.环境准备 python3远程连接需要用到pycrytodome和paramiko库,其中后者依赖前者,所以按照顺序来安装 1. 安装pycrytodome 1 pip install pycrytodome 2. 安装paramiko 上一步安装完毕后直接pip安装paramiko即可 1 pip install paramiko 8777777-================= 二.简单DEMO 1234567891011 大专栏 Windows下python3登陆和操作linux服务…

Spring Boot下的一种导出CSV文件的代码框架

1.前言 CSV,逗号分隔值(Comma-Separated Values),即为逗号分隔的文本文件.如果值中含有逗号.换行符.制表符(Tab).单引号及双引号,则需要用双引号括起来:如果值中包含双引号,则需要用两个双引号来替换. CSV大量用于不同系统之间的数据交换,是一种非常常用的文件格式. 在Spring Boot项目中,将数据导出成CSV格式文件是常见的功能.与Excel文件导出类似,此处也用代码框架式的方式实现CSV文件导出,使得代码具有可重用性,并保持导出数据转换的灵活性…

解决 Excel 打开 UTF-8 编码 CSV 文件乱码的 BUG

解决 Excel 打开 UTF-8 编码 CSV 文件乱码的 BUG zoerywzhou@163.com http://www.cnblogs.com/swje/ 作者:Zhouwan 2017-6-6 方法一: 出处:http://blog.csdn.net/leonzhouwei/article/details/8447643 直接用 Excel 打开 UTF-8 编码的 CSV 文件会导致汉字部分出现乱码. 原因是 Excel 以 ANSI 格式打开,不会做编码识别. 打开 UTF-8…

Windows下Git Bash中VIM打开文件中文乱码

Windows下Git Bash中VIM打开文件中文乱码,解决方法是: 步骤一 admin@DESKTOP-O99620V MINGW64 /d/项目GGE/Hard_for_GGE (master) $ cd /etc/ admin@DESKTOP-O99620V MINGW64 /etc $ vi vimrc 步骤二在打开的vimrc文件开头添加以下代码: set nu set fencs=utf-,gbk,utf-,utf-,ucs-bom 保存并退出vimrc编辑文档. 步骤三 1.退…

Windows 下通过DOS命令获取指定文件夹下所有文件的全路径

1.在你要获取路径的文件夹下新建文本文档 (.txt) 文件, 2.输入以下内容保存 DIR *.* /S/B >LIST.TXT /s 表示递归 3. 将文件后缀改成 .bat 4.双击运行.bat 文件,在同目录下会生成一个.txt的文件,里面就是你要的路径…

关于windows下c++生成的exe发布时的依赖dll问题

如同linux下通常要求安装特定版本的libstdc++一样,windows下vc++生成的exe发布时的依赖dll问题,可以参见帖子,http://bbs.csdn.net/topics/391052257,这个帖子应该来说已经很清晰的说明了如何分发的问题. 需要注意的是生成的dll/lib是32/64位的问题.…

Excel 2007 打开 UTF-8 编码 CSV 文件的乱码BUG

http://blog.sina.com.cn/s/blog_6c3b65fd01018dgq.html 打开UTF-8编码的CSV方法: 1) 打开Excel 2007 2) 执行“数据”->“自文本” 3) 选择CSV文件,出现文本导入向导 4) 选择“分隔符号”,下一步 5) 勾选“逗号”,去掉“Tab 键”,下一步,完成 6)在“导入数据”对话框里,直接点确定如果你的Excel 2007拥有SP2补丁,执行上面步骤后,以后,可以直接打开UTF-8格式CSV文件了.…

解决引用 System.Windows.Interactivity程序集生成多国语言文件夹fr、es、ja等问题

原文:解决引用 System.Windows.Interactivity程序集生成多国语言文件夹fr.es.ja等问题通过以下方式对 System.Windows.Interactivity程序集添加的引用编译生成后会生成多国语言对应的文件 de.en.es.fr.it.ja.ko.ru,这些文件有时候没有用到但是会存在于编译生成的文件夹中,当然可用收到删除这些文件.为了从根本上解决这个问题,必须让他编译的时候不生成这些文件.具体的方式如下: 生成 1.添加引用 2.从框架中找到 System…

ubuntu 下安装docker 踩坑记录

ubuntu 下安装docker 踩坑记录 # Setp : 移除旧版本Docker sudo apt-get remove docker docker-engine docker.io # Step : 安装必要的一些系统工具 sudo apt-get update sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common # Step : 安装GPG证书 curl -…

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负责的模块connector就派上了用场.在楼主的努力下,线上数据同步代码经历了从最初的将近16个小时(并且还出现其他问题这些问题,等后面慢慢细说),到最终25分钟的性能优化. 打个广告,楼主自己造的轮子,感兴趣的请点https://github.com/haifeiWu/lightconf 代码直接Jenkins打包上线楼主负责的con…

1.UTF8字符集csv文件在oracle下乱码问题处理

1.问题描述在excel中生成了一个UTF-8编码格式的csv文件准备导入数据库,在notpad++下打开显示正常,编码集为UTF-8,通过pl/sql dev导入oracle是出现乱码,此时初步推断oracle字符集与本地操作不同导致的乱码 2.处理过程 2.1 查看ORACLE字符编码集 select userenv('language') from dual; 此时oracle返回其字符编码为:SIMPLIFIED CHINESE_CHINA.ZHS16GBK 2.2 添加操作系统对象字…

一.UTF8字符集csv文件在oracle下乱码问题处理

Linux、Windows 下手动生成 sha256 等类型的校验文件

目录 1 - 校验文件的作用 2 - Linux 下生成校验文件 3 - Windows 下生成校验文件参考资料版权声明 1 - 校验文件的作用从网服务器下载文件,尤其是比较大的文件时,很容易由于网络不稳定,导致断点续传发生错误. 那要怎么确保下载文件的正确有效呢? 比较常见的做法是:提供下载服务的网站,在提供真实文件的同时,会提供该文件的校验值,比如 MD5,SHA1,SHA256 等某种格式,下载完文件后,计算它的校验值,如果和网站提供的一致,说明文件未损坏. 关于校验值: 校验值是一…

Windows下Python3+nose+appium自动化测试之Android篇

[本文出自天外归云的博客园] 简介以下用来做自动化测试的这款app叫最爱抓娃娃,以后会改名为网易抓娃娃. 下文提到的appiumier项目里会包含用来测试的apk包以及自动化测试代码. 先说一个坑随着Android机高度定制的大潮,有些手机是这样的,比如Vivo x9s,你在做测试调试的过程中最终会发现跳转到某些页面后driver却进不去这个页面,page_souce也没法打印,所以什么元素你都获取不到.唯一的解决办法就是换个手机.后来我换了一个中兴手机,问题消失了. 准备工作这里我列举下…

使用PHP生成并导出CSV文件

CSV文件是以纯文本形式存储的,一般以逗号为分隔符.这里主要简单介绍下如何导出CSV文件. 一.浏览器导出CSV文件格式 /** * 导出CSV文件 */ function exportCsv() { // 需要导出的内容 $data = [ ['name' => '张三', 'score' => '80'], ['name' => '李四', 'score' => '90'], ['name' => '王五', 'score' => '60'], ]; // 文件名,…

关于windows下 python3安装 cython的说明

针对python3.6希望在windows环境下安装cython,但是网上任何关于mingw的尝试都没有生效.所以只能下载 vs, 1.去官网https://visualstudio.microsoft.com/zh-hans/downloads/?rr=https%3A%2F%2Fblog.easyaspy.org%2Fpost%2F16%2F2019-05-15-compiling-python-code-with-cython 选择vs2019 社区免费版就好了,只不过安装的时候选择"De…

windows下ncl生成tiff图（案例）

一:安装软件和准备数据 1.需要安装Vapor(注意安装路径不要存在空格) 注:版本2.4.2及以后 2.安装NCL,方法见http://www.cnblogs.com/striver-zhu/p/4574819.html 注: a.得包含这两个可执行文件:convert && psplit,一般安装时会自行安装进去 b. NCL_5.1.0版本存在一个问题:wrf2geotiff.ncl中的492行的str_lower需要去掉,否则运行时报错 3.下载数据:jamingWRF2 4.3个…

python3 简单实现从csv文件中读取内容，并对内容进行分类统计

新手python刚刚上路,在实际工作中遇到如题所示的问题,尝试使用python3简单实现如下,欢迎高手前来优化import csv #打开文件,用with打开可以不用去特意关闭file了,python3不支持file()打开文件,只能用open() with open("dk0519_1.csv","r",encoding="utf-8") as csv_file: #读取csv文件,返回的是迭代类型 read = csv.reader(csv_…

Windows下Python3.7的安装

1.下载Python3官网地址:www.python.org当前最新版本为Python 3.7.3. Windows下有个6个下载链接Windows x86-64 embeddable zip fileWindows x86-64 executable installerWindows x86-64 web-based installerWindows x86 embeddable zip file WindowsWindows x86 executable installerWindows x…