JAVA实现一个简单的代数运算语言编译器（三）--词法分析

上一篇文章我们为编译器编写了保留字、系统符号、出错提示等系统预制类，这一篇文章我们主要介绍编译器的词法分析部分。

我们首先创建一个名为WordAnalysis的类，为这个类编写一个共有静态方法 wordAnalysis 用来提供对外的词法分析接口。该方法接收一个字符串参数，即经过了分割的一个语句。返回一个字符串队列，即通过了词法分析并逐词分割后的语句，队列中的每一个字符串即为一个词，具体到这个项目中，词有可能是变量名、运算符号、赋值符号、保留字。

由于JAVA的字符类型char可以直接进行ASCII码的比较，因此这里我们可以编写对应的方法分别判断一个字符是字母、数字、空白符还是系统符号：

        /*
  * 判断是否是字母
  * @param ch 需要判断的字符
  * @return true代表是字母，false代表不是字母
  */
 private static boolean isLetter(char ch) {
  if ((ch >= 65 && ch <= 90) || (ch >= 97 && ch <= 122)) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是数字
  * @param ch 需要判断的字符
  * @return true代表是数字，false代表不是数字
  */
 private static boolean isDigit(char ch) {
  if (ch >= 48 && ch <= 57) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是空格或换行
  * @param ch 需要判断的字符 
  * @return true代表是空白符，false代表不是
  */
 private static boolean isSpace(char ch) {
  if (ch == 32 || ch == 10) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是小数点
  * @param ch 需要判断的字符
  * @return true代表是小数点，false代表不是
  */
 private static boolean isPoint(char ch) {
  if (ch == 46) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是系统符号
  * @param ch 需要判断的字符
  * @return true代表是系统符号，false代表不是
  */
 private static boolean isSymbol(char ch) {
  for (char symbol : Symbol.symbols) {
   if (symbol == ch) {
    return true;
   }
  }
  return false;
 }

接下来是词法分析的重点，怎样进行分析？我选择逐字符扫描输入的字符串，扫描到的字符可能是字母、数字、符号或者是空白符。这里有一个问题，我们在扫描一个字符的时候怎么知道上一个扫描到的字符是什么呢？如果我们扫描到了一个字母，而上一次扫描到的也是一个字母，那么包含这两个字符的就应当是属于某个变量名或者是保留字的；但如果上一次扫描到的字符是一个数字的话，则这两个字符应当就是属于某个变量名，而这个变量名如果恰好是以上一个数字开头，那么编译器就应当报错！因为项目规定变量名只能以字母开头。

有了以上分析，我选择用两个静态StringBuffer变量variableRegister、digitRegister和一个静态boolean变量anySpace来临时保存状态，这里我们不如就叫它们变量寄存器、数字寄存器以及空白寄存器吧。这里我们以语句 re= nu*2 来举例分析。

一开始变量寄存器和数字寄存器都是空的，空白寄存器值为false。

1.扫描到第一个字符r,判断其是一个字母，此时变量寄存器和数字寄存器都是空的，因此将其存入变量寄存器。

2.扫描到字符e,判断其是一个字母，而此时变量寄存器非空，数字寄存器是空的，因此将其存入变量寄存器。

3.扫描到字符=，判断其是系统符号，此时数字寄存器是空的，而变量寄存器值为re,因此将re添加到要返回的字符串队列当中，并将变量寄存器清空。

4.扫描到一个空白符，而此时变量寄存器和数字寄存器都是空的，因此不会有词法错误，仅仅将空白寄存器的值设为true.

5.扫描到字母n，此时变量寄存器和数字寄存器都是空的，因此将其存入变量寄存器，并将空白寄存器重新设为false.

6.扫描到字符u,判断其是一个字母，而此时变量寄存器非空，数字寄存器是空的，因此将其存入变量寄存器。

7.扫描到字符*，判断其是系统符号，此时数字寄存器是空的，而变量寄存器值为nu,因此将re添加到要返回的字符串队列当中，并将变量寄存器清空。

8.扫描到字符2，判断其是一个数字，此时变量寄存器和数字寄存器都是空的，因此将其存入数字寄存器。

9.字符串扫描完毕，此时变量寄存器是空的，数字寄存器中的值是2，因此将2添加到要返回的字符串队列当中，并将数字寄存器清空。

10.返回结果字符串队列。

以上就是对语句 re= nu*2 的一个词法分析以及按词分割的过程。而实际情况中可能会出现各种各样的词法错误，如变量名不规范，数字以小数点结尾、错误的空白符等等，对于这些情况，我都写在了wordAnalysis方法中，感兴趣的小伙伴可以仔细看一看。

WordAnalysis类的完整代码如下：

package com.liu.analysis;


import java.util.ArrayList;
import java.util.List;

import com.liu.system.Error;
import com.liu.system.MyException;
import com.liu.system.Symbol;

/*
 * 词法分析类
 * 创建于2017.3.8
 * @author lyq
 * */
public class WordAnalysis {
 
 /* 变量名寄存字段，可临时寄存一个变量名 */
 private static StringBuffer variableRegister = new StringBuffer();

 /* 数字寄存字段，可临时寄存一个数字 */
 private static StringBuffer digitRegister = new StringBuffer();

 /* 是否存储有空白符 */
 private static boolean anySpace = false;

 /*
  * 判断是否是字母
  * @param ch 需要判断的字符
  * @return true代表是字母，false代表不是字母
  */
 private static boolean isLetter(char ch) {
  if ((ch >= 65 && ch <= 90) || (ch >= 97 && ch <= 122)) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是数字
  * @param ch 需要判断的字符
  * @return true代表是数字，false代表不是数字
  */
 private static boolean isDigit(char ch) {
  if (ch >= 48 && ch <= 57) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是空格或换行
  * @param ch 需要判断的字符 
  * @return true代表是空白符，false代表不是
  */
 private static boolean isSpace(char ch) {
  if (ch == 32 || ch == 10) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是小数点
  * @param ch 需要判断的字符
  * @return true代表是小数点，false代表不是
  */
 private static boolean isPoint(char ch) {
  if (ch == 46) {
   return true;
  }
  return false;
 }

 /*
  * 判断是否是系统符号
  * @param ch 需要判断的字符
  * @return true代表是系统符号，false代表不是
  */
 private static boolean isSymbol(char ch) {
  for (char symbol : Symbol.symbols) {
   if (symbol == ch) {
    return true;
   }
  }
  return false;
 }

 
 /*
  * 对一段输入的字符串进行词法分析
  * @param str 需要分析的字符串
  * @return 返回经过词法分析后的字符串队列
  * @exception 数字前有空白符时出现异常
  */
 public static List<String> wordAnalysis(String str) throws MyException {
  //用来存放分析结果
  List<String> result = new ArrayList<String>();
  
  for (int i = 0; i < str.length(); i++) {
   char ch = str.charAt(i);
   // 是字母
   if (isLetter(ch)) {
    if (!variableRegister.toString().equals("")) {
     // 字母-空白符-字母
     if (anySpace) {
      variableRegister.setLength(0);
      digitRegister.setLength(0);
      throw new MyException(Error.LETTER_SPACE_LETTER);
     }
     // 字母-字母
     else {
      variableRegister.append(ch);
      continue;
     }
    }
    if (!digitRegister.toString().equals("")) {
     // 数字-空白符-字母
     if (anySpace) {
      variableRegister.setLength(0);
      digitRegister.setLength(0);
      throw new MyException(Error.NUMBER_SPACE_LETTER);
     }
     // 数字-字母
     else {
      variableRegister.setLength(0);
      digitRegister.setLength(0);
      throw new MyException(Error.LETTER_AFTER_NUMBER);
     }
    }
    variableRegister.append(ch);
    anySpace = false;
    continue;
   }
   // 是数字
   if (isDigit(ch)) {
    if (!variableRegister.toString().equals("")) {
     // 字母-空白符-数字
     if (anySpace) {
      variableRegister.setLength(0);
      digitRegister.setLength(0);
      throw new MyException(Error.LETTER_SPACE_NUMBER);
     }
     // 字母-数字
     else {
      variableRegister.append(ch);
      continue;
     }
    }
    if (!digitRegister.toString().equals("")) {
     // 数字-空白符-数字
     if (anySpace) {
      variableRegister.setLength(0);
      digitRegister.setLength(0);
      throw new MyException(Error.NUMBER_SPACE_NUMBER);
     }
     // 数字-数字
     else {
      digitRegister.append(ch);
      continue;
     }
    }
    digitRegister.append(ch);
    anySpace = false;
    continue;
   }
   // 是空白符，记录出现了空格符，然后继续循环
   if (isSpace(ch)) {
    anySpace = true;
    continue;
   }
   //是小数点
   if(isPoint(ch)){
    if(anySpace){
     variableRegister.setLength(0);
     digitRegister.setLength(0);
     throw new MyException(Error.POINT_AFTER_SPACE);
    }
    else{
     if(!variableRegister.toString().equals("")){
      variableRegister.setLength(0);
      digitRegister.setLength(0);
      throw new MyException(Error.POINT_AFTER_LETTER);
     }
     if(!digitRegister.toString().equals("")){
      if(digitRegister.toString().contains(String.valueOf(Symbol.point))){
       variableRegister.setLength(0);
       digitRegister.setLength(0);
       throw new MyException(Error.POINT_AFTER_POINT);
      }
      digitRegister.append(ch);
      continue;
     }
    }
   }
   //是系统符号
   if(isSymbol(ch)){
    anySpace = false;
    //变量寄存器中存有变量
    if(!variableRegister.toString().equals("")){
     result.add(variableRegister.toString());
     //清空变量寄存器
     variableRegister.setLength(0);
    }
    //数字寄存器中存有数字
    if(!digitRegister.toString().equals("")){
     if(digitRegister.toString().endsWith(String.valueOf(Symbol.point))){
      variableRegister.setLength(0);
      digitRegister.setLength(0);
      throw new MyException(Error.NUMBER_END_POINT);
     }
     result.add(digitRegister.toString());
     //清空变量寄存器
     digitRegister.setLength(0);
    }
    result.add(String.valueOf(ch));
    continue;
   }
   variableRegister.setLength(0);
   digitRegister.setLength(0);
   throw new MyException(Error.CONTAIN_UNKNOWN_CAHR);
  }
  //变量寄存器中存有变量
  if(!variableRegister.toString().equals("")){
   result.add(variableRegister.toString());
   //清空变量寄存器
   variableRegister.setLength(0);
  }
  //数字寄存器中存有数字
  if(!digitRegister.toString().equals("")){
   if(digitRegister.toString().endsWith(String.valueOf(Symbol.point))){
    variableRegister.setLength(0);
    digitRegister.setLength(0);
    throw new MyException(Error.NUMBER_END_POINT);  
   }
   result.add(digitRegister.toString());
   digitRegister.setLength(0);
  }
  return result;
 }
}

以上就是整个的词法分析过程了，下一篇文章我们将介绍如何进行表达式的计算。

JAVA实现一个简单的代数运算语言编译器（三）--词法分析

浏览过的版块