Atitit.词法分析的原理 理论 1. 分词 .词法分析lexical analysis 1 1.1. 分词主要流程 1 1.2. 分词的属性如下表token 1 1.3. 词法分析器主要包括:构造转换图与转换表.设计词法分析器算法. 2 2. 状态转换表 2 3. 词性划分 2 3.1. Token的类型,根据程序设计语言的特点,单词可以分为五类:关键字.标识符.常量.运算符.界符.以 2 3.2. 词法分析的第一阶段即扫描器 2 3.3. 词法分析的第二阶段评估器(Evaluator) 3…