新手学python（2）：C语言调用完成数据库操作

继续介绍本人的python学习过程。本节介绍如何利用python调用c代码。内容还是基于音乐信息提取的过程，架构如图一。Python调用c实现的功能是利用python访问c语言完成mysql数据库操作。

在利用python调用c语言之前，我们需要首先完成c语言功能代码，然后再考虑语言的转换问题，所以我们先介绍c语言实现的数据库访问代码。数据库操作主要包括DDL和DML，DDL在创建数据库和表时完成，c语言完成的是DML。在具体的实现中，c语言主要完成了：连接数据库，insert和select三个操作。可以认为音乐信息数据库是一个read-only数据库，只允许添加和检索，不允许删除（删除可以通过直接操作数据库完成）。

1. 数据库设计

关于音乐信息的数据库只有一个表格：all_music，创建表的SQL语句如下：

create table all_music(
    id integer auto_increment not null primary key,
    original_name varchar(100),
    name varchar(500) not null,
    artist varchar(500),
    genre varchar(30),
    album varchar(500),
    release_date date,
    directory varchar(300),
    size integer
);

由于音乐没有很好的主键，所以我们采用surrogate key，并设定其为自动增长的字段。其他信息主要包括音乐名，歌手，专辑，类型和发行时间等。

2. C语言操作数据库

定义完数据库表格，我们就可以实现访问该表格的c代码，相关代码如下：

#include <mysql.h>

typedef struct
{
    char original_name[100];
    char name[500];
    char artist[500];
    char genre[30];
    char album[500];
    char date[20];
    char directory[300];
    int size;
}music;

typedef struct
{
    char id[20];
    char original_name[100];
    char directory[300];
}row_result;

char* column_name[8]={"original_name","name","artist","genre","album","release_date","directory","size"};

MYSQL * connect_to(char* host,char* database,char* user,char* password)
{
    MYSQL* con_ptr;
    con_ptr=mysql_init(NULL);

    if((con_ptr=mysql_real_connect(con_ptr,host,user,password,database,3306,NULL,0))==NULL)
    {
        fprintf(stderr,"connect failed:%s\n",mysql_error(con_ptr));
        exit(-1);
    }

    return con_ptr;
}

void close_connect(MYSQL * con_ptr)
{
    mysql_close(con_ptr);
}

void insert(MYSQL * con_ptr,char* table,music* m)
{
    int res;

    char sql[2000];
    sprintf(sql,"insert into %s(%s,%s,%s,%s,%s,%s,%s,%s) values ('%s','%s','%s','%s','%s','%s','%s','%d')",table,column_name[0],column_name[1],column_name[2],column_name[3],column_name[4],column_name[5],column_name[6],column_name[7],m->original_name,m->name,m->artist,m->genre,m->album,m->date,m->directory,m->size);

    res=mysql_query((MYSQL*)con_ptr,sql);

    if(res)
    {
        fprintf(stderr,"insert failed:%s",mysql_error(con_ptr));
        return;
    }
}

MYSQL_RES * select_music(MYSQL * con_ptr,char* table)
{
    int res;

    char sql[100];
    sprintf(sql,"select id,original_name,directory from %s ",table);

    res=mysql_query((MYSQL*)con_ptr,sql);

    if(res)
    {
        fprintf(stderr,"select failed:%s",mysql_error(con_ptr));
        return NULL;
    }
    else
    {
        MYSQL_RES* result=mysql_store_result((MYSQL*)con_ptr);

        if(result) return result;
        else return NULL;
    }
}

row_result * fetch_row(MYSQL_RES * result)
{
    MYSQL_ROW mysql_row;

    if(result==NULL)
        return NULL;

    mysql_row=mysql_fetch_row((MYSQL_RES*)result);

    if(mysql_row)
    {
        row_result* row=(row_result*)malloc(sizeof(row_result));
        strcpy(row->id,mysql_row[0]);
        strcpy(row->original_name,mysql_row[1]);
        strcpy(row->directory,mysql_row[2]);

        return row;
    }
    else
    {
        fprintf(stderr,"no rows to return!\n");
        return NULL;
    }
}

void free_row(row_result * row)
{
    free(row);
}

void free_result(MYSQL_RES * result)
{
    mysql_free_result(result);
}

上述代码首先定义了一个music结构体，对应要访问数据库表的一行，每一个元素的大小也和数据库表的定义一致。之后定义了一个表示返回结果的结构体row_result。此外，为了方便操作数据库表格，还定义了一个column_name数组表示数据库表的每一列。

后面开始具体的数据库操作。connect_to函数建立与数据库的连接（特别注意不要将自定义的函数名字与库函数重名，否则会带来非常难找的bug！），并返回数据库连接指针。close_connect断开数据库连接。

Insert函数将一个music结构体对应的行插入数据库表中，代码的关键是构造一个没有错误的sql语句，构造sql语句时容易存在的问题是sql中如果存在“’”就会导致实际插入时的格式错误。这是因为当我们在指定某列的值时，需要采用类似'%s'这样的格式，如果要插入的数值也包括“’”就会导致错误的匹配。解决方案就是利用转义字符，python的mysql库为我们提供了一个可用的函数，在介绍python调用时会再次介绍。C语言貌似没有很好的函数解决该问题。

select_music函数会检索表中所有的行，我们利用mysql_store_result一次获得所有的行；另外一个可以利用的函数是mysql_use_result，这个函数会一次返回一行结果。两种函数的对比显而易见，但是在测试mysql_use_result时，它总会在返回部分结果后终止，不太可靠，因而采用了mysql_store_result函数。mysql_store_result返回的并不是可以直接访问的行数据，而是所有行的一个结果集，我们还需要利用fetch_row遍历结果集，获得每一行的真正数据。free_row和free_result分别释放每一行的空间和整个结果集。

最后，将上述代码打包成动态链接库，以供python调用。编译代码为：

gcc -I/usr/include/mysql  -g -pipe -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -D_GNU_SOURCE -D_FILE_OFFSET_BITS=64 -D_LARGEFILE_SOURCE -fno-strict-aliasing -fwrapv db_operation.c -rdynamic -L/usr/lib64/mysql -lmysqlclient -lz -lcrypt -lnsl -lm -L/usr/lib64 -lssl -lcrypto -fPIC  -shared -o libdb_operation.so

3. Python调用C代码

3.1 数据类型的对应

在调用c代码时，我们需要创建music数据结构来存放插入的音乐信息，也需要row_result结构体来保存select返回的结果。如果利用python调用上面的c代码，我们不可避免地要创建上面两个结构体。为了将python中的数据结构映射到c中的数据结构，python提供了一个叫ctypes的包，用以实现数据类型的转换。ctypes是Python的一个外部库，提供和C语言兼容的数据类型，可以很方便地调用C DLL中的函数。针对上面定义的music结构体，python中对应的数据类型如下：

#!/usr/bin/python2.6

from ctypes import *

class Music(Structure):
    _fields_=[
            ('original_name',c_char*100),
            ('name',c_char*500),
            ('artist',c_char*500),
            ('genre',c_char*30),
            ('album',c_char*500),
            ('release_date',c_char*20),
            ('directory',c_char*300),
            ('size',c_int)
            ]

    def setAttr(self,original_name,name,artist,genre,album,release_date,directory,size):
        self.original_name=original_name;
        self.name=name;
        self.artist=artist;
        self.genre=genre;
        self.album=album;
        self.release_date=release_date;
        self.directory=directory;
        self.size=size;

我们需要定义一个表示结构体的类Music，设置其_fields_属性，每一个属性的设置都包括属性名和属性类型。由于该类是在c中使用，所以数据类型都被转换为c语言可识别的类型，如c_char和c_int等。ctypes的类型对应如下:

和Music类似，表示返回结果的结构体在python中也有对应的类：

#!/usr/bin/python2.6

from ctypes import *

class Row(Structure):
    _fields_=[
            ('id',c_char*20),
            ('original_name',c_char*100),
            ('directory',c_char*300)
            ]

3.2 函数调用

完成数据结构的对应之后，下面就可以实现具体的python函数：

#!/usr/bin/python2.6

import sys
import ctypes
import music as m
import row
import MySQLdb as mysql

class CallDB:

    connect_lib=ctypes.cdll.LoadLibrary('./libdb_operation.so');
    connect_lib.fetch_row.restype=ctypes.POINTER(row.Row);#capitalized POINTER

    @staticmethod
    def connectTo(host,database,user,password):
        c_host=ctypes.c_char_p(host);
        c_database=ctypes.c_char_p(database);
        c_user=ctypes.c_char_p(user);
        c_password=ctypes.c_char_p(password);
        c_con_ptr =CallDB.connect_lib.connect_to(c_host,c_database,c_user,c_password);
        return c_con_ptr;

    @staticmethod
    def insert(c_con_ptr,table,music):
        c_table=ctypes.c_char_p(table);
        CallDB.connect_lib.insert(c_con_ptr,c_table,ctypes.pointer(music));

    @staticmethod
    def closeConnect(c_con_ptr):
        CallDB.connect_lib.close_connect(c_con_ptr);

    @staticmethod
    def select(c_con_ptr,table):
        c_table=ctypes.c_char_p(table);
        c_result=CallDB.connect_lib.select_music(c_con_ptr,c_table);
        return c_result;

    @staticmethod
    def fetchRow(c_result):
        c_row_result=CallDB.connect_lib.fetch_row(c_result);
        return c_row_result if c_row_result else None;

    @staticmethod
    def freeRow(c_row_result):
        CallDB.connect_lib.free_row(c_row_result);

    @staticmethod
    def freeResult(c_result):
        CallDB.connect_lib.free_result(c_result);

上述代码首先引入几个必要的包，然后定义一个类CallDB。类的开始定义了一个全局变量connect_lib表示加载的动态链接库。C语言实现的函数就是通过该全局变量进行访问。下一行代码稍后再做解释。

第一个静态函数实现数据库的连接，调用的是c语言的connect_to函数。由于connect_to的参数都是c语言下的数据类型，我们不能直接传递python下的数据类型，需要首先利用ctypes将其转换成c语言可识别的类型。返回值c_con_ptr在c语言是一个MYSQL指针，python不知道其具体类型。由于我们在python中不会访问该指针，所以我们无需指定其具体类型。后面的静态函数通过调用c函数实现了数据库的插入和检索。

可以看出，利用python实现基本的c调用很简单，但是需要注意两点。第一，非基本数据类型指针参数的传递。在insert函数中，music参数通过ctypes.pointer函数被转化成一个指针类型。虽然我们实现了c语言下music结构体在python下对应的类Music，但是python没有指针的概念，传递的参数必须被手动转换成指针。下面的代码演示了insert函数的具体使用：

music=m.Music();
directory=mysql.escape_string(results[0]);
album=mysql.escape_string(results[1].encode('utf-8'));
release_date=results[2][4:8]+results[2][2:4]+results[2][0:2];
name=mysql.escape_string(results[i][0].encode('utf-8'));
genre=mysql.escape_string(results[i][1]);
artist=mysql.escape_string(results[i][2].encode('utf-8'));
original_name=mysql.escape_string(results[i][3]);
size=int(results[i][4]);
music.setAttr(original_name,name,artist,genre,album,release_date,directory,size);
db.CallDB.insert(MyRequestHandler.c_con_ptr,'all_music',music);

在前面我们提到过SQL语句中转义字符的问题，MySQLdb为我们提供了一个函数escape_string可以解决转义的问题。第二，使用c代码的返回值。函数fetchRow在c语言下的返回值是一个row_result结构体指针。虽然这个指针在python下有对应的类Row，但是这需要我们手工指定，这就是开头代码

connect_lib.fetch_row.restype=ctypes.POINTER(row.Row);

的作用。特别注意，这个地方的POINTER需要大写，小写会报错。在获得返回值之后，访问对应的属性可通过下面的代码完成：

c_row_result=db.CallDB.fetchRow(MyRequestHandler.c_row_result);
if c_row_result:
     print c_row_result.contents.original_name;

如果是基本类型，如int，char则无需指定，可以直接访问返回值；如果返回类型是char*，则我们也需要手工指定返回类型为c_char_p。

当然，如果单纯从数据库操作来看，完全可以利用MySQLdb包完成同样的功能，在此只是演示python如何调用c代码。