Flex 和 Bison 使用方法
背景知识
在学编译原理的时候,同时在做南京大学的编译原理课程实验,这里是链接,整个实验的效果是实现一个完整的 C--
语法的编译器。C--
语法是他们老师指定的一种类 C 语言。
Flex 和 Bison 是两个在编译前期最常实验的工具,分别是用来做 lexical analyse 和 semantic analyse 的,这两个工具的使用基本不需要很深的编译知识,只需要掌握正则表达式的书写(lexical analyse阶段使用)和上下文无关文法(semantic analyse 阶段使用),就可以完成这两个阶段的分析了。
Flex大体介绍
Flex 主要是用在词法分析阶段,不需要我们去手写分析器,只需要制定好相应的正则表达式规则,他可以自动对输入文件进行词法分析。
Flex 主要在 Linux 系统下工作,安装方式也很简单。
sudo apt-get install flex
安装好 flex 之后,我们创建一个 .l
后缀的文件,这个文件里面主要由三部分组成,定义了词法分析的规则,整个文件的结构如下。
definitions
%%
rules
%%
user subroutines
在编写好文件后,可以使用命令 flex file.l
进行编译,编译之后,我们会得到一个名为 file.yy.c
的文件,这个文件代码中,我们只需要使用里面的 yylex()
函数,这个函数可以读入文件中的一个词法单元,然后进行规则匹配,即词法分析。
我们可以在外部定义一个自己的 main()
进行调用,可也以在第三部分 {user subroutines}
中书写 main()
函数进行调用。便于文件的组织,这里我们使用外部文件的方式定义一个新的主函数。
主要的代码框架如下
extern File* yyin;
int main(int argc, char ** args) {
if (argc > 1) {
if( ! (yyin = fopen(argv[1], "r"))) {
perror(argv[1]);
return 1;
}
}
while(yylex()!= 0);
return 0;
}
这个 yyin 可以理解成输入文件的文件指针,用来读取文件,在 file.yy.c
中定义。
然后我们进行整体的编译
gcc main.c file.yy.c -lfl -o scanner
-lfl 参数是指定一个库函数,对于 MacOS 用户,可以使用 -ll 参数进行代替。
这样之后,对某个文件进行词法分析就可以直接运行 ./scanner test.cmm
了。
Flex 规则部分
我们需要注意的是对 Flex 中的规则的编写,整个 FLex 文件分别由三个部分,第一个部分通常定义一些之后常用的正则表达式,可以简化书写,定义格式为:
name definition
defintion
是一个具体的正则表达式,而 name
是其别名,比如,如果想定义一个识别任意数字的正则表达式,可以这样定义
digit [0-9]
这个 digit
就是这个正则表达式的别名,和这个正则表达式的效果一样,会和任意一个数字进行匹配。
第二部分是规则部分,即针对每一个特定的语法单元,我们对其有什么样的操作。定义格式为
pattern {action}
这个pattern
和我们上面的一样,都是正则表达式,而对应的 action
则指定了如果遇到了这个 pattern
之后,我们的应对方法。这个 pattern
我们可以重新定义,也可以直接使用在第一部分定义好的对应的 name
,如果使用 name
,则格式为 {name}
。针对一些没有匹配任何规则的词法元素,我们可以使用 .
这个 pattern
指定对应的动作。
第三部分是用户自定义的代码部分,而这部分定义的方法,函数,都应该在第一部分中进行声明,声明格式为
%{
%}
这样,声明后的变量,函数和自定义的代码片段都会在 file.yy.c
中生成,方便我们调用。
完成了这三个部分后,我们就可以生成一个简单的语法分析器了。下面给出一个使用 flex 进行单词统计的完整文件。
%{
int chars = 0;
int words = 0;
int lines = 0;
%}
letter [a-zA-Z]
%%
{letter}+ {words ++; chars += yyleng; }
\n {chars++; lines ++;}
. {chars++;}
%%
int main(int argc, char** argv) {
if (argc > 1) {
if (!(yyin = fopen(argv[1], "r"))) {
perror(argv[1]);
return 1;
}
}
yylex();
printf("lines are %d words are %d chars are %d\n", lines, words, chars);
return 0;
}
这里的 yyleng
是 flex 内置提供的变量,记录当前单词的长度。
这样,整个词法分析的过程就结束了,我们可以输入对应的词法流,在语法分析阶段进行下一步的分析。而语法分析所用的工具,就是 bison。
Flex 和 Bison 使用方法的更多相关文章
- 在windows下安装flex和bison
学习Stellar-core 需要依赖项flex .bison .gcc三个依赖项 下载得网址:链接: https://pan.baidu.com/s/1mitCLcs 密码: 3jaj 通过 w ...
- 在windows下安装flex和bison、GCC
学习Stellar-core 需要依赖项flex .bison .gcc三个依赖项 下载得网址:链接: https://pan.baidu.com/s/1mitCLcs 密码: 3jaj 通过 w ...
- Flex内存泄露解决方法和内存释放优化原则
Flex内存泄露解决方法和内存释放优化原则 你对Flex内存泄露的概念是否了解,这里和大家分享一下Flex内存释放优化原则和Flex内存泄露解决方法,希望本文的介绍能让你有所收获. Flex内存释放优 ...
- flex and bison学习笔记01
工作需要,学习一下Flex and bison,以前在编译原理的课上听老师说过他们的前辈,lex and yacc.Flex and bison就是lex and yacc的升级版. 参考书:flex ...
- flex与bison
flex与bison 中文版 目录: 第一章:flex和bison简介 第二章:使用flex 第三章:使用bison 第四章:分析sql 第五章:flex规范参考 第六章:bison规范参考 第七章: ...
- flex 和bison的安装和使用
1.在ubutu上安装 yacc的命令: sudo apt-get install flex bison flex:词法分析器 flex是一个词法分析器.用来将一个.l文件生成一个.c程序文件.即生成 ...
- win7下面安装flex和bison
通过Cygwin工具进行安装 下载地址cygwin 安装截图: 搜索flex,选择相应的版本进行安装 搜索bison 然后下一步 安装完成后,将D:\cygwin64\bin路径添加到PATH环境变量 ...
- 使用flex和bison实现的sql引擎解析
因为老师要求,近期在做oceanbase存储过程的实现,在oceanbase 0.4曾经是不支持存储过程的.实现的主要步骤主要包含 1.语法解析 2.词法解析 3.详细运行语法树的步骤 如今先来说说语 ...
- flex与bison的学习
获取bison http://www.gnu.org/software/bison 获取flex http://flex.sourceforge.net/ 本书的范例 ftp://ftp.iecc.c ...
随机推荐
- SpringBoot导入jsp依赖始终报错
先粘出我自己的pom代码: <?xml version="1.0" encoding="UTF-8"?> <project xmlns=&qu ...
- Java 学习笔记之 Synchronized锁重入
Synchronized锁重入: 当一个线程得到一个对象锁后,再次请求此对象锁时是可以再次得到该对象的锁.这也证明在一个Synchronized方法/块的内部调用本类的其他Synchronized方法 ...
- Android中内存泄露与如何有效避免OOM总结
一.关于OOM与内存泄露的概念 我们在Android开发过程中经常会遇到OOM的错误,这是因为我们在APP中没有考虑dalvik虚拟机内存消耗的问题. 1.什么是OOM OOM:即OutOfMemoe ...
- Cutting Sticks UVA - 10003
题文: 见:https://uva.onlinejudge.org/index.php?option=com_onlinejudge&Itemid=8&page=show_proble ...
- 加密解密 之base系列编码
Base16 Base16编码使用16个ASCII可打印字符(数字0-9和字母A-F)对任意字节数据进行编码.Base16先获取输入字符串每个字节的二进制值(不足8比特在高位补0),然后将其串联进来, ...
- from..import 语句
from..import 语句 如果你希望直接将 argv 变量导入你的程序(为了避免每次都要输入 sys.),那么你可以通过使用 from sys import argv 语句来实现这一点. 警告: ...
- python学习(数据类型)
基本数据类型 (1)numbers 数字 %d 整型 int 长整型 Long 布尔型 boor True False %f 浮点型 float 3.1415926 4.2E-10 复数 comple ...
- 代码审计-凡诺CMS 2.1文件包含漏洞
0x01代码审计 后台账号密码: admin admin 安装好了是这样的 漏洞文件:/channel.php if (ism()) { include($dir.$t_mpath.$c_mcmode ...
- Maven安装和在IDEA配置Maven
一.Windows安装Maven 1.下载Maven 这里需要注意:不要去官网下载最新的版本,因为会出现与IDEA不兼容的现象. 这里提供下载地址:https://archive.apache.org ...
- 【Python秘籍】ASCII码与字符的转换
如何在python中显示ASCII码呢?其实你只需要记住两个函数即可:ord()和 chr(),这两个函数都是python内置的函数,不需要引入任何的包,直接就可以使用. 一.显示ASCII码 显示A ...