4 Lex

最后更新于:2022-04-01 01:09:27

`lex.py`是用来将输入字符串标记化。例如,假设你正在设计一个编程语言,用户的输入字符串如下: ~~~ x = 3 + 42 * (s - t) ~~~ 标记器将字符串分割成独立的标记: ~~~ 'x','=', '3', '+', '42', '*', '(', 's', '-', 't', ')' ~~~ 标记通常用一组名字来命名和表示: ~~~ 'ID','EQUALS','NUMBER','PLUS','NUMBER','TIMES','LPAREN','ID','MINUS','ID','RPAREN' ~~~ 将标记名和标记值本身组合起来: ~~~ ('ID','x'), ('EQUALS','='), ('NUMBER','3'),('PLUS','+'), ('NUMBER','42), ('TIMES','*'),('LPAREN','('), ('ID','s'),('MINUS','-'),('ID','t'), ('RPAREN',') ~~~ 正则表达式是描述标记规则的典型方法,下一节展示如何用lex.py实现。
';