跟我一起读postgresql源码(一)——psql命令
进公司以来做的都是postgresql相关的东西,每次都是测试、修改边边角角的东西,这样感觉只能留在表面,不能深入了解这个开源数据库的精髓,遂想着看看postgresql的源码,以加深对数据库的理解,也算是好好提高自己。
但是目标很性感,现实很残酷,postgesql的源码都已经百万级了。单单.c文件都有1000+。怎么办,硬着头皮看吧,所幸postgrsql的源码很规范,这应该会给我省不少事。给自己顶一个小目标:每天看一点源码,每天都更新做不到,每周都更新吧,每周至少一篇。希望看到我的博客的朋友们也和我一起学习,我有什么理解不对的地方,也希望大家提出意见~
大部分人初次接触postgresql一般都是接触psql这个命令行工具吧,那么我们今天就从psql程序的源码开始看吧。
对了,这里要说一下,我看的代码指的是postgresql9.5.4这个版本,不同版本的代码当然是有区别的~
psql的源码分为两部分,一部分是psql的前台处理代码,代码都放在/src/bin/psql下;另一部分就是后台的查询处理过程的代码,代码较多,过程也较为复杂。这部分代码分布在/src/backend/目录下的许多子目录中。这篇博客是试水的文章,就先看看前台的代码吧。后台的代码放在后面的博客(如果有的话~)里再细细的说吧。
让我们先打开/src/bin/psql目录,这下面放的就是psql的前端程序代码。基本所有的程序都有个main函数,psql的main函数就放在startup.c里面。
我们先看两个数据结构:
enum _actions
{
ACT_NOTHING = 0,
ACT_SINGLE_SLASH,
ACT_LIST_DB,
ACT_SINGLE_QUERY,
ACT_FILE
};
struct adhoc_opts
{
char *dbname;
char *host;
char *port;
char *username;
char *logfilename;
enum _actions action;
char *action_string;
bool no_readline;
bool no_psqlrc;
bool single_txn;
};
其中:
枚举类型_actions代表psql命令行程序当前所处的状态;
结构体adhoc_opts 储存了当前命令行程序的一些登录信息,比如登陆的数据库、主机、端口和日志文件的位置等等。
同样还有几个小函数:
static void parse_psql_options(int argc, char *argv[], //解析命令行选项
struct adhoc_opts * options);
static void process_psqlrc(char *argv0); //载入.psqlrc文件,如果存在的话
static void process_psqlrc_file(char *filename); //被process_psqlrc()调用
static void showVersion(void); //格式化输出PostgreSQL的版本
static void EstablishVariableSpace(void); //
对了,开头的两个宏定义指明了对psql命令行窗口的定制化信息:
#ifndef WIN32
#define SYSPSQLRC "psqlrc"
#define PSQLRC ".psqlrc"
#else
#define SYSPSQLRC "psqlrc"
#define PSQLRC "psqlrc.conf"
#endif
通过这两个文件可以定制自己的命令行窗口(分别指linux和windows下)的信息显示式样,很方便实用。
不废话,进main函数。
第一个if显示的很显然是psql的help和version命令。
在后面有一个变量很重要:pset。它的数据结构PsqlSettings的定义放在src/bin/psql/settings.h里面。这个数据结构主要要表达的是当前psql命令行属性和状态集,通过这些属性和状态集判断和处理来控制程序的走向。
typedef struct _psqlSettings
{
PGconn *db; /* connection to backend */
int encoding; /* client_encoding */
FILE *queryFout; /* where to send the query results */
bool queryFoutPipe; /* queryFout is from a popen() */
FILE *copyStream; /* Stream to read/write for \copy command */
printQueryOpt popt;
char *gfname; /* one-shot file output argument for \g */
char *gset_prefix; /* one-shot prefix argument for \gset */
bool notty; /* stdin or stdout is not a tty (as determined on startup) */
enum trivalue getPassword; /* prompt the user for a username and password */
FILE *cur_cmd_source; /* describe the status of the current main loop */
bool cur_cmd_interactive;
int sversion; /* backend server version */
const char *progname; /* in case you renamed psql */
char *inputfile; /* file being currently processed, if any */
uint64 lineno; /* also for error reporting */
uint64 stmt_lineno; /* line number inside the current statement */
bool timing; /* enable timing of all queries */
FILE *logfile; /* session log file handle */
VariableSpace vars; /* "shell variable" repository */
/*
* The remaining fields are set by assign hooks associated with entries in
* "vars". They should not be set directly except by those hook
* functions.
*/
bool autocommit;
bool on_error_stop;
bool quiet;
bool singleline;
bool singlestep;
int fetch_count;
PSQL_ECHO echo;
PSQL_ECHO_HIDDEN echo_hidden;
PSQL_ERROR_ROLLBACK on_error_rollback;
PSQL_COMP_CASE comp_case;
HistControl histcontrol;
const char *prompt1;
const char *prompt2;
const char *prompt3;
PGVerbosity verbosity; /* current error verbosity level */
} PsqlSettings;
main主要干了哪些事儿呢?:比如你输入:
psql -U postgres -p 26500 -w
程序在读取psql后面这一大串参数之前,先初始化一些环境变量,当确定不是--version和--help这种输出帮助信息就结束的参数时,利用输入的参数,初始化前面提到的_psqlSettings类型的变量pset。然后验证登录密码(如果指定了的话),
进入334行的MainLoop函数。这个函数的定义在统计文件夹的mainloop.c文件中。这个函数的主要成分就是一个大的循环:
循环读取命令行的查询请求-->将请求发往后端-->从后端获取请求的结果。
值得一说的是,MainLoop维护PQExpBuffer类型的query_buf,previous_buf,history_buf三个buffer。这三个buffer的定义在src/interfaces/libpq/pqexpbuffer.h。定义如下:
typedef struct PQExpBufferData
{
char *data;
size_t len;
size_t maxlen;
} PQExpBufferData;
typedef PQExpBufferData *PQExpBuffer;
其中history_buf保存的是以前的历史操作。previous_buf 保存的当前操作,由于psql中每个命令可以有多行(通过”\”+”Enter”进行分割),所以previous_buf 会一行一行的添加进char* line中的输入,当一个命令满足发出条件时,再把previous_buf中的数据送到query_buf中去。
在获取到sql命令后,首先使用函数psql_scan_setup对启动对指定行的词法分析。然后调用psql_scan函数返回语句的状态。返回的状态有下面几种:
PSCAN_SEMICOLON 以分号结束的命令
PSCAN_BACKSLASH 以反斜杆结束的命令
PSCAN_INCOMPLETE 到达行尾并没有完成的命令
PSCAN_EOL 遇到了EOL结束符
MainLoop函数就是根据返回值控制Buffer,当一个命令输入完毕以后发送到后台去执行。
在完成词法分析后,调用SendQuery(const char *query)函数执行命令,该函数处理没有连接数据库、事务处理等具体细节。再调用results = PQexec(pset.db, query),获取数据库后台返回的结果。在命令执行以后,使用ProcessCopyResult(results)把运行结果显示在屏幕上。
如果后台完成查询任务,会通知前端它已经空闲,这时前端可以发送新的查询命令。下面给出了backend返回给前端的数据结构,前端按照该结构显示结果。值得说一句的是,虽然对于psql交互窗口显示出的结果可以完全看作是一串字符串,并不需要区分出表中结果每一个域。但psql和backend的通信协议是所有前台(包括基于GUI界面)和后台的通信协议。只不过psql显示时把它转换成字符串的表现形式。
struct pg_result
{
int ntups;
int numAttributes;
PGresAttDesc *attDescs;
PGresAttValue **tuples; /* each PGresTuple is an array of
* PGresAttValue's */
int tupArrSize; /* allocated size of tuples array */
int numParameters;
PGresParamDesc *paramDescs;
ExecStatusType resultStatus;
char cmdStatus[CMDSTATUS_LEN]; /* cmd status from the query */
int binary; /* binary tuple values if binary == 1,
* otherwise text */
/*
* These fields are copied from the originating PGconn, so that operations
* on the PGresult don't have to reference the PGconn.
*/
PGNoticeHooks noticeHooks;
PGEvent *events;
int nEvents;
int client_encoding; /* encoding id */
/*
* Error information (all NULL if not an error result). errMsg is the
* "overall" error message returned by PQresultErrorMessage. If we have
* per-field info then it is stored in a linked list.
*/
char *errMsg; /* error message, or NULL if no error */
PGMessageField *errFields; /* message broken into fields */
/* All NULL attributes in the query result point to this null string */
char null_field[1];
/*
* Space management information. Note that attDescs and error stuff, if
* not null, point into allocated blocks. But tuples points to a
* separately malloc'd block, so that we can realloc it.
*/
PGresult_data *curBlock; /* most recently allocated block */
int curOffset; /* start offset of free space in block */
int spaceLeft; /* number of free bytes remaining in block */
};
该数据结构定义在src/interfaces/libpq/libpq-int.h中。
总之呢,前台就是这个样子,和后台的查询处理的逻辑相比要简单得多。
第一次写对源码解析的东西,思路比较乱,写的也比较杂乱无章,基本是想到哪写到哪。看来以后还得进一步加强写作的锻炼。这次感觉好像源码贴的有点多,下次尽量注意哈。这次就先这样了,不管怎么说总算开了个头,明天早起在修改修改吧。
希望自己能坚持下去。
跟我一起读postgresql源码(一)——psql命令的更多相关文章
- 跟我一起读postgresql源码(八)——Executor(查询执行模块之——可优化语句的执行)
2.可优化语句的执行 可优化语句的共同特点是它们被查询编译器处理后都会生成査询计划树,这一类语句由执行器(Executor)处理.该模块对外提供了三个接口: ExecutorStart.Executo ...
- 跟我一起读postgresql源码(十)——Executor(查询执行模块之——Scan节点(下))
接前文跟我一起读postgresql源码(九)--Executor(查询执行模块之--Scan节点(上)) ,本篇把剩下的七个Scan节点结束掉. T_SubqueryScanState, T_Fun ...
- 跟我一起读postgresql源码(九)——Executor(查询执行模块之——Scan节点(上))
从前面介绍的可优化语句处理相关的背景知识.实现思想和执行流程,不难发现可优化语句执行的核心内容是对于各种计划节点的处理,由于使用了节点表示.递归调用.统一接口等设计,计划节点的功能相对独立.代码总体流 ...
- 跟我一起读postgresql源码(五)——Planer(查询规划模块)(下)
上一篇我们介绍了查询规划模块的总体流程和预处理部分的源码.查询规划模块再执行完预处理之后,可以进入正式的查询规划处理流程了. 查询规划的主要工作由grouping_planner函数完成.在具体实现的 ...
- 跟我一起读postgresql源码(三)——Rewrite(查询重写模块)
上一篇博文我们阅读了postgresql中查询分析模块的源码.查询分析模块对前台送来的命令进行词法分析.语法分析和语义分析后获得对应的查询树(Query).在获得查询树之后,程序开始对查询树进行查询重 ...
- 跟我一起读postgresql源码(十二)——Executor(查询执行模块之——Materialization节点(下))
接前文,我们继续说剩下的4个Materialization节点. 7.SetOp节点 SetOp节点用于处理集合操作,对应于SQL语句中的EXCEPT.INTERSECT两种集合操作,至于另一种集合操 ...
- 跟我一起读postgresql源码(四)——Planer(查询规划模块)(上)
时间一晃周末就过完了,时间过得太快,不由得让人倍加珍惜.时间真是不够用哈~ 好的不废话,这次我们开始看查询规划模块的源码吧. 查询规划部分的在整个查询处理模块应该是在一个非常重要的地位上,这一步直接决 ...
- 跟我一起读postgresql源码(二)——Parser(查询分析模块)
上篇博客简要的介绍了下psql命令行客户端的前台代码.这一次,我们来看看后台的代码吧. 十分不好意思的是,上篇博客我们只说明了前台登陆的代码,没有介绍前台登陆过程中,后台是如何工作的.即:后台接到前台 ...
- 跟我一起读postgresql源码(七)——Executor(查询执行模块之——数据定义语句的执行)
1.数据定义语句的执行 数据定义语句(也就是之前我提到的非可优化语句)是一类用于定义数据模式.函数等的功能性语句.不同于元组增删査改的操作,其处理方式是为每一种类型的描述语句调用相应的处理函数. 数据 ...
随机推荐
- c# tcp udp 的使用场景
之前用tcp实现了一个案例(远程协助),后来我考虑用udp去实现它,于是又研究了下udp,我发现理论上udp可以做到,但是有一些问题不知道会不会有瓶颈 我参照网上写了一个简单的示例如下 服务端接收.发 ...
- Python常用算法
本节内容 算法定义 时间复杂度 空间复杂度 常用算法实例 1.算法定义 算法(Algorithm)是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机 ...
- solr facet查询及solrj 读取facet数据(相当有用)
原文出自:http://www.coin163.com/java/docs/201310/d_3010029802.html 一. Facet 简介 Facet 是 solr 的高级搜索功能之一 ...
- laravel中的数据库操作(增删改查)方法一
导入命名空间和DBnamespace App\Http\Controllers; use Illuminate\Support\Facades\DB; public function index(){ ...
- 2014蓝桥杯B组初赛试题《切面条》
题目描述: 一根高筋拉面,中间切一刀,可以得到2根面条. 如果先对折1次,中间切一刀,可以得到3根面条. 如果连续对折2次,中间切一刀,可以得到5根面条. 那么,连续对折10次 ...
- Python学习笔记_操作Excel
Python 操作Exel,涉及下面几个库: 1.xlrd 读取Excel文件 2.xlwt 向Excel文件写入,并设置格式 3.xlutils 一组Excel高级操作工具,需要先安装xlrd和xl ...
- Linux tmux
一.简介 Tmux是一个用于终端复用的软件,它允许一个用户在一个终端窗口或远程终端会话中使用多个不同的终端会话.在同一个命令行接口处理多个程序,以及将程序从已经开始运行另外的程序的Unix shell ...
- Entity Framework 6.0 Tutorials(2):Async query and Save
Async query and Save: You can take advantage of asynchronous execution of .Net 4.5 with Entity Frame ...
- 简单的Cooki案例——记录用户上次访问该网页的时间
功能: 帮助网站实现提示客户端计算机上次访问网站的时间 实现原理: 将每一个会话作为一次访问过程,将每次会话的开始时间作为每次访问网站的时间,然后将这个时间以Cookie的形式存储到客户端的计算机中, ...
- C# 随机数 Radom 循环生成同一的数字
错误:在一个循环结构中,利用下列代码生成随机数,发生生成的随机数是一样的! for (int i = 0; i < myArray.Length; i++) //给数组赋值 { Random m ...