从身份证号码中获取性别、出生日期、籍贯，并更新mongodb

　　有这样的需求，人员信息是存在mongodb中，需要存放人员的身份证、性别、出生日期、籍贯等信息。通过脚本导入这些信息，但是只导入了身份证号码，其他信息空缺。现在需要补全其他信息。

　　其实身份证信息就包含了性别、出生日期、籍贯信息。公民身份号码是特征组合码，由前十七位数字本体码和最后一位数字校验码组成。排列顺序从左至右依次为六位数字地址码，八位数字出生日期码，三位数字顺序码和一位数字校验码。

　　地址码： 表示编码对象常住户口所在县(市、旗、区)的行政区划代码。

　　出生日期码：表示编码对象出生的年、月、日，年、月、日代码之间不用分隔符，格式为YYYYMMDD，如19880328。

　　顺序码： 表示在同一地址码所标识的区域范围内，对同年、同月、同日出生的人编定的顺序号，顺序码的奇数分配给男性，偶数分配给女性。

　　校验码： 根据本体码，通过采用ISO 7064:1983,MOD 11-2校验码系统计算出校验码。前面有提到数字校验码，我们知道校验码也有X的，实质上为罗马字符X，相当于10.

　　实现思路很简单了，就是得到所有有身份证号码等纪录，解析身份证号码，获取性别、出生日期、籍贯信息，再更新mongodb。

想到了两种技术方案解决：python脚本和JavaScript。

1、python脚本

　　python需要使用pymongo，用于操作mongodb，需要引入。python代码直接在终端执行就行。python test.py

 # encoding=utf-8

 '''
 Created on 2017年12月22日
 mongodb中存放人像信息，有身份证号码，无性别、籍贯、出生日期，需要根据mongodb中身份证字段，获取性别、籍贯、出生日期，更新到mongodb中

 @author: tim
 '''

 import re
 from pymongo import MongoClient  #需要引入pymongo，用于连接mongodb
 from datetime import datetime

 logPath = "/Users/tim/updatemongo/log/log.txt" #日志

 #身份证前两位代表的省市，作为籍贯
 area = {"":"北京", "":"天津", "":"河北", "":"山西", "":"内蒙古", "":"辽宁", "":"吉林", "":"黑龙江", "":"上海", "":"江苏", "":"浙江", "":"安徽", "":"福建", "":"江西", "":"山东", "":"河南", "":"湖北", "":"湖南", "":"广东", "":"广西", "":"海南", "":"重庆", "":"四川", "":"贵州", "":"云南", "":"西藏", "":"陕西", "":"甘肃", "":"青海", "":"宁夏", "":"新疆", "":"台湾", "":"香港", "":"澳门", "":"国外"}

 # 身份证有效性校验
 def checkIdcard(idcard):
     Messages = ['验证通过!', '身份证号码位数不对!', '身份证号码出生日期超出范围或含有非法字符!', '身份证号码校验错误!', '身份证地区非法!']

     idcard = str(idcard) #身份证号码转成字符串
     idcard = idcard.strip() #移除字符串头尾指定的字符（默认为空格）
     idcard_list = list(idcard) #转成列表

     # 地区校验
     if(not area[(idcard)[0:2]]):
         return Messages[4]

     # 15位身份号码检测
     if(len(idcard) == 15):
         if((int(idcard[6:8]) + 1900) % 4 == 0 or((int(idcard[6:8]) + 1900) % 100 == 0 and (int(idcard[6:8]) + 1900) % 4 == 0)):
             ereg = re.compile('[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}$')
         else:
             ereg = re.compile('[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}$')

         # 测试出生日期的合法性
         if(re.match(ereg, idcard)):
             return Messages[0]
         else:
             return Messages[2]

     # 18位身份号码检测
     elif(len(idcard) == 18):
         # 出生日期的合法性检查
         # 闰年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))
         # 平年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))
         if(int(idcard[6:10]) % 4 == 0 or (int(idcard[6:10]) % 100 == 0 and int(idcard[6:10]) % 4 == 0)):
             ereg = re.compile('[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}[0-9Xx]$')  # //闰年出生日期的合法性正则表达式
         else:
             ereg = re.compile('[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}[0-9Xx]$')  # //平年出生日期的合法性正则表达式

         # 测试出生日期的合法性
         if(re.match(ereg, idcard)):
             # 计算校验位
             S = (int(idcard_list[0]) + int(idcard_list[10])) * 7 + (int(idcard_list[1]) + int(idcard_list[11])) * 9 + (int(idcard_list[2]) + int(idcard_list[12])) * 10 + (int(idcard_list[3]) + int(idcard_list[13])) * 5 + (int(idcard_list[4]) + int(idcard_list[14])) * 8 + (int(idcard_list[5]) + int(idcard_list[15])) * 4 + (int(idcard_list[6]) + int(idcard_list[16])) * 2 + int(idcard_list[7]) * 1 + int(idcard_list[8]) * 6 + int(idcard_list[9]) * 3
             Y = S % 11
             M = "F"
             JYM = "10X98765432"
             M = JYM[Y]  # 判断校验位
             if(M == idcard_list[17]):  # 检测ID的校验位
                 return Messages[0]
             else:
                 return Messages[3]
         else:
             return Messages[2]
     else:
         return Messages[1]

 # 获取身份证信息
 def getIdInfo(idcard):
     checkresult = checkIdcard(idcard)
     if checkresult == '验证通过!':
         idcard = str(idcard)
         idcard = idcard.strip()
         ID_address = (idcard)[0:2]  # 前两位是籍贯
         ID_sex = idcard[14:17]  # 14位之后表示性别

         if(len(idcard) == 15):
             ID_birth = '' + idcard[6:12]  # 获取15位身份证出生年月日，补全19
         else:
             ID_birth = idcard[6:14]  # 获取18位身份证出生年月日

         strAddress = area[ID_address]  # 籍贯
         strGender = 'male'  # 性别

         year = ID_birth[0:4]
         moon = ID_birth[4:6]
         day = ID_birth[6:8]
         strBirthDate = year + '-' + moon + '-' + day  # 出生日期

         if int(ID_sex) % 2 == 0:
             strGender = 'female'
         else:
             strGender = 'male'

         # print '籍贯', strAddress
         # print '性别', strGender
         # print '出生日期', strBirthDate

         idInfo = [strAddress, strGender, strBirthDate]

         return idInfo
     else:
         writeLog("异常:"+idcard+checkresult)

         print idcard, checkresult
         return 0;

 # 读取mongodb身份证信息，更新mongodb
 # serverIp mongodb服务器IP
 # port mongodb服务器端口
 # dbName 要连接的数据库名称
 # collectionName 数据库集合名称
 def updateMongoInfo(serverIp, port, dbName, collectionName):
     client = MongoClient(serverIp, port)  # 连接mongodb数据库
     db = client[dbName]  # 指定数据库名称
     collection = db[collectionName]  # 获取集合名

     log = open(logPath, 'a')
     log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), "，开始更新……", "\n"])
     print datetime.now().strftime('%Y-%m-%d %H:%M:%S'), "，开始更新……", "\n"

     # 查找身份证号码不为空的记录，才执行
     for i in collection.find({'id_card':{"$ne":""}}):
         result = getIdInfo(i['id_card'])
         if(result != 0):
             log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), "，更新，", i['idcard'], result[0], result[1], result[2], "\n"])
             print i['id_card'], result
             collection.update({"id_card":i['id_card']}, {"$set":{"address":result[0], "gender":result[1], "birth_date":result[2]}})

     log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), "，更新结束……", "\n"])
     log.close()
     print datetime.now().strftime('%Y-%m-%d %H:%M:%S'), "，更新结束……", "\n"

 # 写日志
 def writeLog(content):
     with open(logPath, 'w+') as log:
         log.writelines([datetime.now().strftime('%Y-%m-%d %H:%M:%S'), " ", content, "\n"])

 # 入口函数
 def start(logPath,serverIp, port, dbName, collectionName):
     logPath=logPath
     updateMongoInfo(serverIp, port, dbName, collectionName)

 # 测试
 start('/Users/tim/updatemongo/log/log.txt','127.0.0.1', 27017, 'tim', 'person')
         

2、javascript代码

　　mongodb是支持Javascript代码的，见我的另一篇博客：Mongodb常用操作

 //----------------------------------------------------------
 //    功能：检查身份证号码
 //    参数：idcard
 //    返回值：检验信息
 //----------------------------------------------------------
 function checkIdCard(idcard){
 　　var Errors=new Array(
 　　　　"验证通过!",
 　　　　"身份证号码位数不对!",
 　　　　"身份证号码出生日期超出范围或含有非法字符!",
 　　　　"身份证号码校验错误!",
 　　　　"身份证地区非法!"
 　　);

 　　var area={11:"北京",12:"天津",13:"河北",14:"山西",15:"内蒙古",21:"辽宁",22:"吉林",23:"黑龙江",
 　　　　　　31:"上海",32:"江苏",33:"浙江",34:"安徽",35:"福建",36:"江西",37:"山东",
 　　　　　　41:"河南",42:"湖北",43:"湖南",44:"广东",45:"广西",46:"海南",50:"重庆",51:"四川",52:"贵州",53:"云南",54:"西藏",
 　　　　　　61:"陕西",62:"甘肃",63:"青海",64:"宁夏",65:"新疆",71:"台湾",81:"香港",82:"澳门",91:"国外"};

 　　var idcard,Y,JYM;
 　　var S,M;
 　　var idcard_array = new Array();
 　　idcard_array = idcard.split("");
 　　//地区检验
 　　if(area[parseInt(idcard.substr(0,2))]==null) return Errors[4];
 　　//身份号码位数及格式检验
 　　switch(idcard.length){
 　　　　case 15:
 　　　　　　if ( (parseInt(idcard.substr(6,2))+1900) % 4 == 0 || ((parseInt(idcard.substr(6,2))+1900) % 100 == 0 &&
 　　　　　　　　　　(parseInt(idcard.substr(6,2))+1900) % 4 == 0 )){
 　　　　　　　　ereg=/^[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}$/;//测试出生日期的合法性
 　　　　　　} else {
 　　　　　　　　ereg=/^[1-9][0-9]{5}[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}$/;//测试出生日期的合法性
 　　　　　　}
 　　　　　　if(ereg.test(idcard)) return Errors[0];
 　　　　　　else return Errors[2]; 

 　　　　　　break;
 　　　　case 18:
 　　//18位身份号码检测
 　　//出生日期的合法性检查
 　　//闰年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))
 　　//平年月日:((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))
 　　　　　　if ( parseInt(idcard.substr(6,4)) % 4 == 0 || (parseInt(idcard.substr(6,4)) % 100 == 0 &&
 　　　　　　　　　　parseInt(idcard.substr(6,4))%4 == 0 )){
 　　　　　　　　ereg=/^[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}[0-9Xx]$/;//闰年出生日期的合法性正则表达式
 　　　　　　} else {
 　　　　　　　　ereg=/^[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}[0-9Xx]$/;//平年出生日期的合法性正则表达式
 　　　　　　}
 　　　　　　if(ereg.test(idcard)){//测试出生日期的合法性
 　　　　　　//计算校验位
 　　　　　　S = (parseInt(idcard_array[0]) + parseInt(idcard_array[10])) * 7
 　　　　　　　　+ (parseInt(idcard_array[1]) + parseInt(idcard_array[11])) * 9
 　　　　　　　　+ (parseInt(idcard_array[2]) + parseInt(idcard_array[12])) * 10
 　　　　　　　　+ (parseInt(idcard_array[3]) + parseInt(idcard_array[13])) * 5
 　　　　　　　　+ (parseInt(idcard_array[4]) + parseInt(idcard_array[14])) * 8
 　　　　　　　　+ (parseInt(idcard_array[5]) + parseInt(idcard_array[15])) * 4
 　　　　　　　　+ (parseInt(idcard_array[6]) + parseInt(idcard_array[16])) * 2
 　　　　　　　　+ parseInt(idcard_array[7]) * 1
 　　　　　　　　+ parseInt(idcard_array[8]) * 6
 　　　　　　　　+ parseInt(idcard_array[9]) * 3 ;
 　　　　　　　　Y = S % 11;
 　　　　　　　　M = "F";
 　　　　　　　　JYM = "10X98765432";
 　　　　　　　　M = JYM.substr(Y,1);//判断校验位
 　　　　　　if(M == idcard_array[17]) return Errors[0]; //检测ID的校验位
 　　　　　　else return Errors[3];
 　　　　}
 　　　　else return Errors[2];
 　　　　break;
 　　　　default:
 　　　　return Errors[1];
 　　　　break;
 　　} 

 }

 //----------------------------------------------------------
 //    功能：根据身份证号获得出生日期
 //    参数：身份证号 psidno
 //    返回值：出生日期
 //----------------------------------------------------------
  function getBirthday(psidno){
     var birthdayno,birthdaytemp;
     if(psidno.length==18){
         birthdayno=psidno.substring(6,14);
     }else if(psidno.length==15){
         birthdaytemp=psidno.substring(6,12);
         birthdayno="19"+birthdaytemp;
     }else{
         print("错误的身份证号码，请核对！");
         return false;
     }

     var birthday=birthdayno.substring(0,4)+"-"+birthdayno.substring(4,6)+"-"+birthdayno.substring(6,8);
     return birthday;
 }

 //----------------------------------------------------------
 //    功能：根据身份证号获得性别
 //    参数：身份证号 psidno
 //    返回值：性别
 //----------------------------------------------------------
 function getGender(psidno){
     var sexno,sex;
     if(psidno.length==18){
         sexno=psidno.substring(16,17);
     }else if(psidno.length==15){
         sexno=psidno.substring(14,15);
     }else{
         print(psidno+"错误的身份证号码，请核对！");
         return false;
     }
     var tempid=sexno%2;
     if(tempid==0){
         sex='female';
     }else{
         sex='male';
     }

     return sex;
 }

 //----------------------------------------------------------
 //     功能：获取籍贯
 //     参数：身份证号 psidno
 //     返回值：籍贯
 function getProvinceNameByIdNo(idcard) {
     var area = { 11: "北京", 12: "天津", 13: "河北", 14: "山西", 15: "内蒙古",
         21: "辽宁", 22: "吉林", 23: "黑龙江", 31: "上海", 32: "江苏",
         33: "浙江", 34: "安徽", 35: "福建", 36: "江西", 37: "山东", 41: "河南", 42: "湖北",
         43: "湖南", 44: "广东", 45: "广西",
         46: "海南", 50: "重庆", 51: "四川", 52: "贵州", 53: "云南", 54: "西藏", 61: "陕西",
         62: "甘肃", 63: "青海", 64: "宁夏",
         65: "新疆", 71: "台湾", 81: "香港", 82: "澳门", 91: "国外"
     };

     var provinceName = "";
     var provinceNo = idcard.substr(0, 2);
     if (area[parseInt(provinceNo)] != null) {
         provinceName = area[parseInt(provinceNo)];
     }

     return provinceName;
 }

 //去掉空格
 function trim(s) {
     return s.replace(/^\s+|\s+$/g, "");
 }

 //入口函数
 //查询mongodb，根据身份证号码，先检验身份证，再提取性别、出生日期、籍贯，再更新mongodb
 function start(collectionName){
   var cursor = db.getCollection(collectionName).find({'id_card':{'$ne':''}});//查询身份证号码不为空的集合
   while (cursor.hasNext()) {
       var strCardId=cursor.next()["id_card"];
       var card_id=trim(strCardId);//去掉空格后

       if (card_id.length > 0) {
         var checkResult=checkIdCard(card_id);
         if (checkResult!='验证通过!') {
             print(strCardId+checkResult);
             continue;
          }
          else {
             var birthday = getBirthday(card_id);
             var provinceName = getProvinceNameByIdNo(card_id);
             var gender=getGender(card_id);
             print(strCardId+":"+birthday+","+provinceName+","+gender);

             //更新mongodb
             //这里的id_card使用原始的，避免原始的身份证号码带空格，update找不到记录
             db.getCollection(collectionName).updateMany({"id_card":strCardId}, {"$set":{"address":provinceName, "gender":gender, "birth_date":birthday}});
          }
        }
   }
 }

 //入口，传入集合名称
 start('person');