最近一直在学习Scala语言,偶然发现其Parser模块功能强大,乃为BNF而设计。啥是BNF,读大学的时候在课本上见过,那时候只觉得这个东西太深奥。没想到所有的计算机语言都是基于BNF而定义的一套规范。词法,语法,词法,语法。。。下面看看解析C++类声明的一个简单例子吧。


class CPlusPlusParser extends StandardTokenParsers{
//分隔符,用于repsep,和其它显示的地方
lexical.delimiters += (":","::","<",">","(",")","&","{","}",";",",","~")
//关键字集合,所有在解析方法中,以字符串形式出现的单词,都必须加入保留字集合,保留字大部分属于关键字
lexical.reserved += ("class","public","private","protected","operator","const","mutable","static") // 注意: 词法分析过程中,会自动删除空白,注释等不必要的内容。 /**
* 解析类,包含7个部分,解析的时候是按照顺序严格的匹配。
*1. class 关键字
*2. ident 标识符 被解析为类的名称
*3. opt(parserBaseClasses) 可选的基类集合
*4. { 类定义开始
*5.opt(parserClassBody) 可选的类内容,如果没有,就是一个空类了。
*6. } 和 ; 类定于的结束标记.
* */
def parserClass : Parser[Any] = {
"class"~ident~opt(parserBaseClasses)~"{"~opt(parserClassBody)~"}"~";"
} /**
* 解析基类集合
* 1. : 分隔符,用于分割类名称和基类集合,如果没有改分隔符则表明该类没有基类。
* 2. repsep(parserOneBaseClass,",") 解析一个或者多个基类,C++支持多继承,每个继承以逗号(,)分割
*/
def parserBaseClasses : Parser[Any] ={
":"~repsep(parserOneBaseClass,",")
} /**
* 解析单一继承
*1.opt("public"|"private"|"protected") 没有包含范围修饰符时,C++默认为private继承
*2.parserType 基类名称
*/
def parserOneBaseClass : Parser[Any] ={
opt("public"|"private"|"protected")~parserType
} /**
* 解析类型
* 1.rep(parserTypeNamespace) 可选的名称前缀,例如std::string,std::tr1::shared_ptr,包含了名称前缀
* 2.ident 类型名称
* 4.opt("<"~repsep(parserType,",")~">") 模板类型,及其嵌套解析,在此属于递归解析
*
* 次类型没有考虑解析“unsigned” 数据类型
*/
def parserType : Parser[Any] ={
rep(parserTypeNamespace)~ident~opt("<"~repsep(parserType,",")~">")
}
/*
* 解析单一名称空间*/
def parserTypeNamespace : Parser[Any] ={
ident~"::"
}
/*
* 解析类的内容,类的成员,如果没有public,private,protected等修饰符,则为默认private
* 1.rep(parserFun|parserField) 解析可能包含的默认的private范围的方法和字段
* 2.rep(parserSection) 后续可能包含其他public,private,protected修饰的字段。
*
* 例如一个类可以包含public:private: 等多个不同的范围修饰段
* */
def parserClassBody : Parser[Any] = {
rep(parserFun|parserField)~rep(parserSection)
} /**
* 解析每一个具体的范围访问段。可能是public、private或者protected,并且包含一些列的方法和字段
*/
def parserSection : Parser[Any] = {
("public"|"private"|"protected")~":" ~rep(parserFun|parserField)
}
/*
* 解析方法的声明,在此没有解析方法的定义,比较复杂。
* 1. opt(opt("virtual")~(parserReturnValue|"~")) 方法的返回值,之所以使用opt,是因为构造函数没有返回值,~用于析构函数的解析
* 2. ident 方法名称,在此没有解析操作符重载方法,如果需要,需要另外单独定义,
* 3. "("~repsep(parserFunParam,",")~")" 解析参数列表,不支持 (void) 模式的参数,请使用()替代(void)
* 4. opt("const") 可选的const修饰符
* 5.; 函数声明结束
*
* 没有包含静态方法(static),很容易根据此模板写出来
* */
def parserFun : Parser[Any] ={
opt(opt("virtual")~(parserReturnValue|"~"))~ident~"("~repsep(parserFunParam,",")~")"~opt("const")~";"
} /**
* 解析返回值
* 1.包含可选的const修饰符
* 2.返回值的具体类型
* 3.包含可选的引用
*/
def parserReturnValue : Parser[Any] ={
opt("const")~parserType~opt("&")
} /**
* 解析一个函数参数,数据类型与 parserReturnValue,不过多了参数名称和可选的默认值
*/
def parserFunParam : Parser[Any] = {
opt("const")~parserType~opt("&")~ident~opt("="~(numericLit|stringLit|ident)) // 默认参数支持false,true,数字,字符串
}
/*
* 解析字段定义
* 1.可选的字段修饰符
* 2.字段数据类型,不支持unsigned,相对容易。在此不给出
* 3.ident 字段名称
* 4.; 字段定义结束*/
def parserField : Parser[Any] ={
opt("const"|"mutable"|"static") ~parserType~ident~";"
}
def parserAll[T]( p : Parser[T], input :String) = {
phrase(p)( new lexical.Scanner(input))
} } object CPlusPlusParser {
def main( args : Array[String]) { val c = new CPlusPlusParser val r = c.parserAll(c.parserClass,
"""
|class MyClass : public A, public N {
|int a;
|void SetA( int v );
|int GetA()const;
|public :
|int a;
|void SetA( int v );
|int GetA()const;
|};
""".stripMargin) println(r) /* 测试输出
[11.11] parsed: ((((((class~MyClass)~Some((:~List((Some(public)~((List()~A)~None)), (Some(public)~((List()~N)~None))))))~{)~Some((List((((None~((List()~int)~None))~a)~;), ((((((Some((None~((None~((List()~void)~None))~None)))~SetA)~()~List(((((None~((List()~int)~None))~None)~v)~None)))~))~None)~;), ((((((Some((None~((None~((List()~int)~None))~None)))~GetA)~()~List())~))~Some(const))~;))~List(((public~:)~List((((None~((List()~int)~None))~a)~;), ((((((Some((None~((None~((List()~void)~None))~None)))~SetA)~()~List(((((None~((List()~int)~None))~None)~v)~None)))~))~None)~;), ((((((Some((None~((None~((List()~int)~None))~None)))~GetA)~()~List())~))~Some(const))~;)))))))~})~;) Process finished with exit code 0
*/
}
}

后续目标是分析头文件,提前所有类和枚举的定义。自动转换为protobuf接口,并且自动生成protobuf消息和类之间进行编解码的接口。还可以以类为蓝本生成其它语言的对象及其与protobuf消息之间的编解码。这样以后在涉及到客户机和服务器通信的时候,大部分的业务数据对象都只要写一次,其它自动生成,并小改动。

想要写个C++类的词法文法分析由来已久。一直找不到好的方法,之前尝试使用正则表达式来解析,但是有点受限,正则表达式过于复杂,而且一般是按行分析的。之所以要分析提取C++类的信息
 

Scala词法文法解析器 (二)分析C++类的声明的更多相关文章

  1. Scala词法文法解析器 (一)解析SparkSQL的BNF文法

    平台公式及翻译后的SparkSQL 平台公式的样子如下所示: if (XX1_m001[D003]="邢おb7肮α䵵薇" || XX1_m001[H003]<"2& ...

  2. 使用Hive的正则解析器RegexSerDe分析nginx日志

    1.环境: hadoop-2.6.0 + apache-hive-1.2.0-bin 2.使用Hive分析nginx日志,站点的訪问日志部分内容为: cat /home/hadoop/hivetest ...

  3. JAVA基础加强(张孝祥)_类加载器、分析代理类的作用与原理及AOP概念、分析JVM动态生成的类、实现类似Spring的可配置的AOP框架

    1.类加载器 ·简要介绍什么是类加载器,和类加载器的作用 ·Java虚拟机中可以安装多个类加载器,系统默认三个主要类加载器,每个类负责加载特定位置的类:BootStrap,ExtClassLoader ...

  4. C++写一个简单的解析器(分析C语言)

    该方案实现了一个分析C语言的词法分析+解析. 注意: 1.简单语法,部分秕.它可以在本文法的基础上进行扩展,此过程使用自上而下LL(1)语法. 2.自己主动能达到求First 集和 Follow 集. ...

  5. Java类载入器(二)——自己定义类载入器

      用户定制自己的ClassLoader能够实现以下的一些应用: 自己定义路径下查找自己定义的class类文件,或许我们须要的class文件并不总是在已经设置好的Classpath以下,那么我们必须想 ...

  6. SQL解析器的性能測试

    对同一个sql语句,使用3种解析器解析出ast语法树(这是编译原理上的说法,在sql解析式可能就是解析器自己定义的statement类型).运行100万次的时间对照. package demo.tes ...

  7. Mybatis框架基础支持层——解析器模块(2)

    解析器模块,核心类XPathParser /** * 封装了用于xml解析的类XPath.Document和EntityResolver */ public class XPathParser { / ...

  8. PHP 类与对象 全解析( 二)

    目录 PHP 类与对象 全解析( 一) PHP 类与对象 全解析( 二) PHP 类与对象 全解析(三 ) 7.Static关键字 声明类成员或方法为static,就可以不实例化类而直接访问.不能通过 ...

  9. 深入解析QML引擎, 第4部分: 自定义解析器

    原文 QML Engine Internals, Part 4: Custom Parsers ——————————————————————————————————————————— 上一篇 绑定类型 ...

随机推荐

  1. LeetCode 1290. Convert Binary Number in a Linked List to Integer

    题目 /** * Definition for singly-linked list. * struct ListNode { * int val; * ListNode *next; * ListN ...

  2. codeforces #579(div3)

    codeforces #579(div3) A. Circle of Students 题意: 给定一个n个学生的编号,学生编号1~n,如果他们能够在不改变顺序的情况下按编号(无论是正序还是逆序,但不 ...

  3. css中的baseline

    这是css中的一个容易被人忽略的概念,今天在知乎上看到一个问题,这个问题应该是关于baseline,才去补习了一下关于baseline的知识,首先我来还原一下问题: <div style=&qu ...

  4. i春秋-第三届“百越杯”福建省高校网络空间安全大赛-Do you know upload?

    进去提示有提示文件包含漏洞 拿到源码发现这里上传验证只有MIME验证 可直接抓包改 image/gif 绕过 接下来就是这次学到的点了 菜刀连接过后怎么都找不到flag文件,但是这里找到了数据库配置文 ...

  5. Docker--部署mongodb+.netcore+nginx

    前言 公司租用的阿里云的服务器,每年会更换一次,很麻烦,还容易出问题,想会不会有更方便的方式来迁移服务器,就这样接触到了docker. 参考网上的一些资料,自己琢磨了一段时间,记录下docker的部署 ...

  6. 5.1 RDD编程

    一.RDD编程基础 1.创建 spark采用textFile()方法来从文件系统中加载数据创建RDD,该方法把文件的URL作为参数,这个URL可以是: 本地文件系统的地址 分布式文件系统HDFS的地址 ...

  7. django中添加新的filter

    给模板传递了一个字典,却发现无法在模板中直接通过key获得value. 查阅资料后,这个问题可以通过添加自定义的filter来解决. 首先在app目录下创建一个templatetags目录,并在它的下 ...

  8. SQLAlchemy 应用创建

    1.首先创建app文件夹 同django 创建app 一样 创建文件 在创建的views中写入两个蓝图函数为了操作数据库的增删改查 acc.py from flask import Blueprint ...

  9. MAC自动化环境搭建

    UI自动化环境搭建 第一阶段:配置appium环境硬件配置mac系统电脑 java环境sunjiedeMacBook-Air:~ vicent$ java -versionjava version & ...

  10. c# 第18节 数组的操作

    本节内容: 1:遍历数组 2:查找数组元素 3:数组排序 4:数组合并与拆分 5:数组的添加 1:遍历数组 遍历数组方法: :数组.length ###获取数组长度 :数组.GetLowerBound ...