locale遇到的问题

今天工作上遇到一个 locale 相关的问题,关于字符串格式化的。不过让我们先从 locale 说起。

locale 简介

什么是locale

locale 这个单词中文翻译成地区或者地域,其实这个单词包含的意义要宽泛很多。locale 是根据计算机用户所使用的语言,所在国家或者地区,以及当地的文化传统所定义的一个软件运行时的语言环境。通常情况下它可以按照涉及使用习惯分为12大类:

- 语言符号及其分类(LC_CTYPE)
- 数字(LC_NUMBERIC)
- 比较习惯(LC_COLLATE)
- 时间显示格式(LC_TIME)
- 货币单位(LC_MONETARY)
- 信息主要是提示信息,错误信息,状态信息,标题,标签,按钮和菜单等(LC_MESSAGES)
- 行么书写方式(LC_NAME)
- 地址书写方式(LC_ADDRESS)
- 电话号码书写方式(LC_TELEPHONE)
-度量衡表达方式(LC_MEASUREMENT)
- 默认纸张尺寸大小(LC_PAPER)
- 对locale 自身包含信息的概述(LC_IDENTIFICATION)
- 除此之外还有一个LANGUAGE参数,它与LC_MESSAGES相似

比如像下面的例子里:

在“简体中文”环境,运行date 命令,显示的是:
2016年11月24日 星期四 22时59分26秒 CST 而在英文环境下,运行date 命令,显示的是
Thu Nov 24 23:05:12 CST 2016

简单来说, locale 为计算机上提供了国际化和本地化转化的环境

locale 相关命令

在Unix下可以通过命令 locale 来查看当前语言环境,我的Mac上的显示如下:

➜  locale
LANG=
LC_COLLATE="zh_CN.UTF-8"
LC_CTYPE="zh_CN.UTF-8"
LC_MESSAGES="zh_CN.UTF-8"
LC_MONETARY="zh_CN.UTF-8"
LC_NUMERIC="zh_CN.UTF-8"
LC_TIME="zh_CN.UTF-8"
LC_ALL="zh_CN.UTF-8"

locale值格式类似为: 语言_地区.字符集

可以这样来查看系统支持locals值

locale -a

可以用如下的方式来临时改变shell的locale设定:

➜  test git:(master) ✗ LC_ALL=C
➜ test git:(master) ✗ export LC_ALL
➜ test git:(master) ✗ locale
LANG=
LC_COLLATE="C"
LC_CTYPE="C"
LC_MESSAGES="C"
LC_MONETARY="C"
LC_NUMERIC="C"
LC_TIME="C"
LC_ALL="C"

设置的时候注意以下几点:

  • LANG,LC*的默认值,是最低级别的设置,如果LC*没有设置,则使用该值。类似于 LCALL
  • LCALL,它是一个宏,如果该值设置了,则该值会覆盖所有LC*的设置值。注意,LANG的值不受该宏影响
  • LCALL=C 意思是去除所有本地化的设置

Python locale

python提供了 locale 这个模块,可以用来操作locale相关数据,官方文档参见这里

其中主要的结果方法如下

import locale

# 返回当前环境locale categorg相关的设定,category默认为 LC_CTYPE
# LC_CTYPE 决定字符处理函数相关行为,比如 string 函数
locale.getlocale([category]) # 尝试判断默认的locale设置,并且以元组的形式返回(language code, encoding)
locale.getdefaultlocale([envvars]) # 修改locale category 的设定为 locale的值, 比如locale.setlocale(locale.LC_ALL, 'C'), C 代表去除所有本地化设置
# 如果第二个参数locale没有提供,那么会返回category的设置
locale.setlocale(category[, locale]) # 很多程序会像下面这样开头,这样做会将所有的locale设置成用户默认的设置(通常是环境变量LANF的值)。
# 但setlocale() 不能在所有系统上保证线程安全性,这点要注意
import locale
locale.setlocale(locale.LC_ALL, '')

当在shell里启动python repl(交互器)时,默认的环境local设置为'C', 也就是没有本地化设置,这时候可以通过 locale.getdefaultlocale() 来查看shell当前环境的locale设置, 并通过 locale.setlocale(locale.LC_ALL, '') 将python解释器的locale设置成shell环境的locale,具体事例如下:

Python 2.7.10 (default, Oct 23 2015, 19:19:21)
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import locale >>> locale.getlocale()
(None, None) >>> locale.getdefaultlocale()
('zh_CN', 'UTF-8') >>> locale.setlocale(locale.LC_ALL, '')
'zh_CN.UTF-8' >>> locale.getdefaultlocale()
('zh_CN', 'UTF-8') >>> locale.getlocale()
('zh_CN', 'UTF-8')

我踩的坑

strptime 和 strftime

正所谓当局者迷,今天当我遇到同样的代码,不同的环境(shell执行和pycharm执行)居然有不同的执行结果时,我百思不得其姐(嘿嘿)。

代码片段是关于 strptime 的:

import time
time.strptime('Thu, 24 Nov 2016 07:01:59 GMT', '%a, %d %b %Y %H:%M:%S GMT')

其实呢,strptime或者strftime格式化参数里有一些是跟locale相关的,比如这里的 %a %b 等,所以在不对的 locale 环境下,格式化出现了错误。

可以参考下面的示例:

Python 2.7.10 (default, Oct 23 2015, 19:19:21)
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import time
>>> time.strptime('Thu, 24 Nov 2016 07:01:59 GMT', '%a, %d %b %Y %H:%M:%S GMT')
time.struct_time(tm_year=2016, tm_mon=11, tm_mday=24, tm_hour=7, tm_min=1, tm_sec=59, tm_wday=3, tm_yday=329, tm_isdst=-1)
>>> import locale
>>> locale.setlocale(locale.LC_ALL, '')
'zh_CN.UTF-8'
>>> time.strptime('Thu, 24 Nov 2016 07:01:59 GMT', '%a, %d %b %Y %H:%M:%S GMT')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/_strptime.py", line 467, in _strptime_time
return _strptime(data_string, format)[0]
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/_strptime.py", line 325, in _strptime
(data_string, format))
ValueError: time data 'Thu, 24 Nov 2016 07:01:59 GMT' does not match format '%a, %d %b %Y %H:%M:%S GMT'
>>> time.strptime('2016 07:01:59', '%Y %H:%M:%S')
time.struct_time(tm_year=2016, tm_mon=1, tm_mday=1, tm_hour=7, tm_min=1, tm_sec=59, tm_wday=4, tm_yday=1, tm_isdst=-1)
>>>

阿里云oss sdk 使用遇到的问题

阿里云oss-python-SDK上传文件时,当我本地locale设置成 zh_CN.UTF-8 时,就回一直出问题,原因就在于上述的 strptime, 阿里云sdk代码片段如下:

def to_unixtime(time_string, format_string):
with _STRPTIME_LOCK:
return int(calendar.timegm(time.strptime(time_string, format_string)))

然而从oss服务器上获得的timestring是这样的: Thu, 24 Nov 2016 07:01:59 GMT, 所以在我的环境里做格式化就会出错,所以我对代码做了如下修改:

def to_unixtime(time_string, format_string):
with _STRPTIME_LOCK:
time_locale = locale.setlocale(locale.LC_TIME)
if time_locale.find('en') != 0 and time_locale != 'C':
locale.setlocale(locale.LC_TIME, 'en_US')
unixtime = int(calendar.timegm(time.strptime(time_string, format_string)))
locale.setlocale(locale.LC_TIME, time_locale)
else:
unixtime = int(calendar.timegm(time.strptime(time_string, format_string)))
return unixtime

在调用 strptime 这个方法前增加了兼容,先检查locale,如果不是英文类型并且不是默认的"C"类型时,将 LC_TIME 切换成英文,执行完 strptime 后再还原回来。

参考资料

Python locale 多语言模块和我遇到的坑的更多相关文章

  1. SpaceVim 语言模块 python

    原文连接: https://spacevim.org/cn/layers/lang/python/ 模块简介 功能特性 依赖安装及启用模块 启用模块 语法检查 代码格式化 格式化 imports 快捷 ...

  2. Python学习笔记-常用模块

    1.python模块 如果你退出 Python 解释器并重新进入,你做的任何定义(变量和方法)都会丢失.因此,如果你想要编写一些更大的程序,为准备解释器输入使用一个文本编辑器会更好,并以那个文件替代作 ...

  3. Day5 - Python基础5 常用模块学习

    Python 之路 Day5 - 常用模块学习   本节大纲: 模块介绍 time &datetime模块 random os sys shutil json & picle shel ...

  4. python 学习day5(模块)

    一.模块介绍 模块,用一砣代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合.而对于一个复杂的功能来,可能 ...

  5. Python基础5-常用模块

    本节大纲 模块介绍 time &datetime模块 random os sys shutil shelve xml处理 yaml处理 configparser hashlib subproc ...

  6. python学习笔记_week5_模块

    模块 一.定义: 模块:用来从逻辑上组织python代码(变量,函数,类,逻辑:实现一个功能), 本质就是.py结尾的python文件(文件名:test.py,对应模块名:test) 包:用来从逻辑上 ...

  7. Python基础5 常用模块学习

    本节大纲: 模块介绍 time &datetime模块 random os sys shutil json & picle shelve xml处理 yaml处理 configpars ...

  8. Python正则表达式与re模块介绍

    Python中通过re模块实现了正则表达式的功能.re模块提供了一些根据正则表达式进行查找.替换.分隔字符串的函数.本文主要介绍正则表达式先关内容以及re模块中常用的函数和函数常用场景. 正则表达式基 ...

  9. Python(五)模块

    本章内容: 模块介绍 time & datetime random os sys json & picle hashlib XML requests ConfigParser logg ...

随机推荐

  1. Azure 进阶攻略 | 电脑跑分你会,但虚拟机存储性能跑分的正确姿势你造吗?

    想学生时代,小编最爱做的就是研究电脑硬件,然后给自己.朋友和童鞋装机.装好后呢?当然要第一时间跑分了!各种跑分软件运行一遍,不断优化,不断测试.终于得到一个满意成绩,截图分享到网上显摆一下.当年为啥就 ...

  2. 显示、更改ubuntu linux主机名(计算机名)

    在bash中输入hostname可以显示计算机名.Linux和windows都可以使用这条指令. 主机名保存在/etc/hostname文件中 需要进入Root权限才可以修改该文件. sudo ged ...

  3. MySQL入门很简单: 15 java访问MySQL数据库

    1. 连接数据库 1.1 下载安装驱动 java通过JDBC(Java Database Connectivity,Java数据库连接)来访问MySQL数据库.JDBC的编程接口提供的接口和类与MyS ...

  4. Leetcode 128. Longest Consecutive Sequence (union find)

    Given an unsorted array of integers, find the length of the longest consecutive elements sequence. Y ...

  5. php之判断点在多边形内的api

    1.判断点在多边形内的数学思想:以那个点为顶点,作任意单向射线,如果它与多边形交点个数为奇数个,那么那个点在多边形内,相关公式: <?php class AreaApi{ //$area是一个多 ...

  6. E. New Reform_贪心,深搜,广搜。

    E. New Reform time limit per test 1 second memory limit per test 256 megabytes input standard input ...

  7. 【[SCOI2015]小凸玩矩阵】

    题目 第\(k\)大显然没有什么办法直接求,于是多一个\(log\)来二分一波 现在的问题变成了判断一个\(mid\)是否能成为第\(k\)大 这还是一个非常经典的棋盘模型,于是经典的做法就是转化成二 ...

  8. P1909 买铅笔

    题目描述 P老师需要去商店买n支铅笔作为小朋友们参加NOIP的礼物.她发现商店一共有 33种包装的铅笔,不同包装内的铅笔数量有可能不同,价格也有可能不同.为了公平起 见,P老师决定只买同一种包装的铅笔 ...

  9. RandomUserAgentMiddleware练习

    # 请求头添加随机user-agent class RandomUserAgentMiddleware(object): def __init__(self, agents): self.agent ...

  10. css权值问题

    继承是没有权值的,比通配符的的权值0还要低. 选择器是不分上下级的.只管优先级. 第一等:代表内联样式,如: style=””,权值为1000. 第二等:代表ID选择器,如:#content,权值为0 ...