Lexer的设计--下(5)
一个礼拜之后我终于从成都回来了, 从今天开始更新会恢复...
一点小的改进
写lex()的时候距离我上一次写已经一个礼拜了, 所以我回顾了一下之前的代码, 发现还是有瑕疵. 比如考虑到一个较短的程序, 短到小于BUFFERSIZE(256), 这时其实我的程序是有错的, 因为此时buffer中的内容有一部分是未定义的... 所以为了防止这种情况我又添加了一个变量, 叫做num, 它代表的是目前buffer中实际有效的字符数.
只有几个地方进行了修改, 很简单 :
Lexer(std::ifstream& ifs):ifs(ifs), EndOfFile(false), idx(0), row(1), column(0){
updateBuffer();
lex();
}
void updateBuffer(){
// first read...
if(num == 0 && !EndOfFile){
ifs.read(buffer, BUFFERSIZE);
num = ifs.gcount();
if(ifs.eof()){
EndOfFile = true;
}
return;
}
if(idx <= LIMITSIZE || EndOfFile){
return;
}
idx -= LIMITSIZE;
strncpy(buffer, buffer + LIMITSIZE, COPYLENGTH);
ifs.read(buffer + COPYLENGTH, LIMITSIZE);
num = COPYLENGTH + ifs.gcount();
if(ifs.eof()){
EndOfFile = true;
}
}
void Lexer::eatSpace(){
char ch = 0;
//change here!!!
while(idx != num && (ch = buffer[idx++])){
updateBuffer();
switch (ch){
case '\n':{
++row;
column = 0;
break;
}
case ' ':{
}
case '\t':{
++column;
break;
}
default:{
--idx;
return;
}
}
}
}
char getNextChar(){
updateBuffer();
++column;
//change here!!!
if(idx == num){
// error.
}
return buffer[idx++];
}
所以改动的地方都已经使用备注标出, 主要思路在于 :
- 增加了
updateBuffer初始化buffer功能, 所以关于缓冲中有效字符数量(num), 是否达到文件末尾(EndOfFile)等变量的设置都会在这个函数, 也只会这个函数中进行. - 源代码的结束只出现在
eatSpace()中和每一次循环的开头, 所以在getNextChar()中出现只有一种情况, 就是源代码有错.
lex()的设计
最后的任务就是设计这个关键的函数lex(), 我个人想到的最清晰易懂的方式就是通过预读然后调用相应的识别函数的方式来进行词法解析.
我们从简单的几个入手 :
void Lexer::lex() {
eatSpace();
char ch;
while(idx != num) {
ch = getNextChar();
switch (ch) {
case '+':
case '-':
case '*':
case '/': {
if (getNextChar() == '=') {
list.pushBack(Token(Token::OPERATOR, ch + "=", row, column));
} else {
backtrace();
list.pushBack(Token(Token::OPERATOR, ch + "", row, column));
}
break;
}
case '=':{
if(getNextChar() == ch){
list.pushBack(Token(Token::OPERATOR, ch + ch + "", row, column));
}else{
backtrace();
list.pushBack(Token(Token::OPERATOR, ch + "", row, column));
}
break;
}
case '&':
case '|':
case '!':
list.pushBack(Token(Token::OPERATOR, ch + "", row, column));
break;
case ';':
list.pushBack(Token(Token::SEMI, ch + "", row, column));
break;
case '(':
case ')':
case '{':
case '}':
case '[':
case ']':
list.pushBack(Token(Token::BRACKET, ch + "", row, column));
break;
}
eatSpace();
}
}
然后是字符串解析函数 :
std::string Lexer::stringParse() {
char ch;
std::string temp;
bool escape = false;
while(escape || (ch = getNextChar()) != '"'){
if(escape){
switch (ch){
case 'n':
temp += '\n';
break;
case 't':
temp += '\t';
break;
case '"':
temp += '\"';
break;
case '\\':
temp += '\\';
break;
default:
//error
;
}
escape = false;
continue;
}
switch (ch){
case '\\':
escape = true;
continue;
default:
temp += ch;
}
}
return temp;
}
此时的lexer() ...
void Lexer::lex() {
eatSpace();
char ch;
while(idx != num) {
ch = getNextChar();
switch (ch) {
case '+':
case '-':
case '*':
case '/': {
if (getNextChar() == '=') {
list.pushBack(Token(Token::OPERATOR, ch + "=", row, column));
} else {
backtrace();
list.pushBack(Token(Token::OPERATOR, ch + "", row, column));
}
break;
}
case '=':{
if(getNextChar() == ch){
list.pushBack(Token(Token::OPERATOR, ch + ch + "", row, column));
}else{
backtrace();
list.pushBack(Token(Token::OPERATOR, ch + "", row, column));
}
break;
}
case '&':
case '|':
case '!':
list.pushBack(Token(Token::OPERATOR, ch + "", row, column));
break;
case ';':
list.pushBack(Token(Token::SEMI, ch + "", row, column));
break;
case '(':
case ')':
case '{':
case '}':
case '[':
case ']':
list.pushBack(Token(Token::BRACKET, ch + "", row, column));
break;
case '0': {
// int or float
std::string temp("0");
if (getNextChar() == '.') {
temp += '.';
while (isDigit(ch = getNextChar())) {
temp += ch;
}
}
backtrace();
list.pushBack(Token(Token::INT, temp, row, column));
break;
}
case '"':
list.pushBack(Token(Token::STRING, stringParse(), row, column));
}
eatSpace();
}
}
由于int和float有两种情况, 所以这里分开设计, 先讨论了比较简单的0开头的情况.
然后把剩下的一些在switch的default中补齐.
void Lexer::lex() {
eatSpace();
char ch;
while(idx != num) {
ch = getNextChar();
switch (ch) {
case '+':
case '-':
case '*':
case '/': {
if (getNextChar() == '=') {
list.pushBack(Token(Token::OPERATOR, ch + std::string("="), row, column));
} else {
backtrace();
list.pushBack(Token(Token::OPERATOR, ch + std::string(""), row, column));
}
break;
}
case '=':{
if(getNextChar() == ch){
list.pushBack(Token(Token::OPERATOR, std::string("") + ch + ch , row, column));
}else{
backtrace();
list.pushBack(Token(Token::OPERATOR, ch + std::string(""), row, column));
}
break;
}
case '&':
case '|':
case '!':
list.pushBack(Token(Token::OPERATOR, ch + std::string(""), row, column));
break;
case ';':
list.pushBack(Token(Token::SEMI, ch + std::string(""), row, column));
break;
case '(':
case ')':
case '{':
case '}':
case '[':
case ']':
list.pushBack(Token(Token::BRACKET, ch + std::string(""), row, column));
break;
case '0': {
// int or float
bool isFloat = false;
std::string temp("0");
if (getNextChar() == '.') {
isFloat = true;
temp += '.';
while (isDigit(ch = getNextChar())) {
temp += ch;
}
}
backtrace();
isFloat ? list.pushBack(Token(Token::FLOAT, temp, row, column))
: list.pushBack(Token(Token::INT, temp, row, column));
break;
}
case '"':
list.pushBack(Token(Token::STRING, stringParse(), row, column));
default:{
if(isDigit(ch) && ch != 0){
bool isFloat = false;
std::string temp;
temp += ch;
while (isDigit(ch = getNextChar())) {
temp += ch;
}
if (getNextChar() == '.') {
isFloat = true;
temp += '.';
while (isDigit(ch = getNextChar())) {
temp += ch;
}
}
backtrace();
isFloat ? list.pushBack(Token(Token::FLOAT, temp, row, column))
: list.pushBack(Token(Token::INT, temp, row, column));
}
else if(isID(ch) && !isDigit(ch)){
std::string temp;
temp += ch;
while (isID(ch = getNextChar())) {
temp += ch;
}
backtrace();
list.pushBack(Token(Token::IDENTIFIER, temp, row, column));
}
else{
//error
}
}
}
eatSpace();
}
}
然后在进行了简单的测试 :
main.cpp :
#include <iostream>
#include <fstream>
#include "Font/Lexer/Lexer.h"
int main() {
std::ifstream ifstream("/Users/zhangzhimin/x.txt");
Lexer lexer(ifstream);
lexer.print();
return 0;
}
x.txt
int main(){
int x = 3;
x += 3.5;
a123b = 4.3333;
"\n1\t2\\\"";
> *= +++ <
return 0;
}
结果如下
int
main
(
)
{
int
x
=
3
x
+=
3
5
a123b
=
4
3333
1 2\"
;
*=
+
+
+
return
0
;
}
除了没有加入报错, 其他的都ok了, 我目前还不太了解C++中的异常机制, 毕竟才学了不到一个月, 其他的以后再说吧, 反正词法分析就告一段落了...
Lexer的设计--下(5)的更多相关文章
- Lexer的设计--上(3)
lexer的构造函数 有了上一节Token做铺垫, 可以开始设计lexer, 首先应该想到的是, 源代码是以文件流的格式传到编译器中的, 所以作为编译器的前段的第一个阶段, lexer必须负责处理输入 ...
- 客户端热更新框架之UI热更框架设计(下)
上一篇笔者介绍了关于什么是热更新,为什么需要热更新的技术文章.本篇就专门针对UI框架的热更新功能实现部分展开讨论,讨论的重点是热更新如何与UI框架进行结合? 现在笔者把设计“UI热更新框架”的整体设计 ...
- Java进阶专题(十八) 系统缓存架构设计 (下)
前言 上章节介绍了Redis相关知识,了解了Redis的高可用,高性能的原因.很多人认为提到缓存,就局限于Redis,其实缓存的应用不仅仅在于Redis的使用,比如还有Nginx缓存,缓存队列等等.这 ...
- div+css 设计下拉
css样式 <style type="text/css"> <!-- /* www.divcss5.com CSS下拉菜单实例 */ * { margin:; p ...
- Lexer的设计--中(4)
设计一个小型的内存池以及链表 上一节撸到万事俱备只欠真正的lex, 但是lex的作用是将源代码转化为Token流, 用什么保存Token? 这就涉及到我们要接触的第一个数据结构-链表, 虽然标准库中很 ...
- NoSql数据库使用半年后在设计上面的一些心得
NoSql数据库这个概念听闻许久了,也陆续看到很多公司和产品都在使用,优缺点似乎都被分析的清清楚楚.但我心里一直存有一个疑惑,它的出现究竟是为了解决什么问题? 这个疑惑非常大,为此我看了很多分析文章, ...
- 企业SOA架构设计理论
SOA简介 SOA(Service-Oriented Architecture,面向服务架构)是一种将信息系统模块化为服务的架构风格.拥有了服务之后,我们就可以迅速地将这些服务按不同方式重新组合,从而 ...
- ASP.NET SignalR 高可用设计
在 One ASP.NET 的架构图中,微软将 WebAPI 和 SignalR 归类到 Services 类型与 MVC.Web Forms 同列为一等公民,未来的 ASP.NET 5 尽管还在be ...
- 安卓app设计规范整理和Android APP设计篇(转)
随着安卓智能手机不停的更新换代.安卓手机系统越来越完美,屏幕尺寸也越来越大啦!比如最近小米的miui 6的发布和魅族手机系统的更新等等. 以小米MIUI6的安卓手机来说,MIUI6进行了全新设计,坚持 ...
随机推荐
- 浅谈python字符串存储形式
http://blog.csdn.net/zhonghuan1992 钟桓 2014年8月31日 浅谈python字符串存储形式 记录一下自己今的天发现疑问而且给出自己现有知识有的回答. 长话短说,用 ...
- HelloWorld RabbitMQ
RabbitMQ入门-从HelloWorld开始 从读者的反馈谈RabbitMQ 昨天发完<RabbitMQ入门-初识RabbitMQ>,我陆陆续续收到一些反馈.鉴于部分读者希望结合实例来 ...
- tcp长连接和短连接
tcp长连接和短连接 TCP在真正的读写操作之前,server与client之间必须建立一个连接, 当读写操作完成后,双方不再需要这个连接时它们可以释放这个连接, 连接的建立通过三次握手,释放则需要四 ...
- Web前端实践经验总结
最近用了不少业余时间,在加强Web前端.有个很大的感触就是,web前端比较麻烦,主要是布局和样式.最主要的原因,还是之前实践得比较少,熟能生巧,不得不服啊. 自己从头开始写布局和css太费心思了,比较 ...
- sqlserver中的存储过程 函数 事物 索引及视图
存储过程和函数具体的区别: 核心提示:本质上没区别.只是函数有限制只能返回一个标量,而存储过程可以返回多个.并且函数是可以 ...
- 2015-07-30Java 错题
2 推断对错.在java的多态调用中,new的是哪一个类就是调用的哪个类的方法. 正确答案: A 对 错 解析: java多态有两种情况:重载和覆写 在覆写中.运用的是动态单分配.是依据new的类型确 ...
- 关于Dagger 2的文章汇总
首先是我真正看懂了的第一篇文章 代码GG之家的 Dagger2图文详解 这篇文章很直接,还配有代码demo.至少我是看懂了. Dagger2 使用详解 这篇文章同样配有demo,同时文末还有很多有用的 ...
- Android Studio 使用教程(二十五)之运行Android Studio工程
一.Android虚拟设备入口 上期我们使用了Android Studio创建了HeloWorld工程,要想运行该工程,首先需要一个Android虚拟设备来模拟Android程序的运行. 重新打开An ...
- Java InputStream、String、File相互转化 --- good
String --> InputStreamByteArrayInputStream stream = new ByteArrayInputStream(str.getBytes()); Inp ...
- C# 创建文件释放 Dispose()
System.IO.File.Create("文件路径") 前提确保有此路径, 否则会报错 本以为创建文件是会自动释放的, 结果没有自动释放 , fs.Write(response ...