FLEX词法分析器
一、Lex和Yacc介绍
Lex 是一种生成扫描器的工具。扫描器是一种识别文本中的词汇模式的程序。 一种匹配的常规表达式可能会包含相关的动作。这一动作可能还包括返回一个标记。 当 Lex 接收到文件或文本形式的输入时,它试图将文本与常规表达式进行匹配。 它一次读入一个输入字符,直到找到一个匹配的模式。 如果能够找到一个匹配的模式,Lex 就执行相关的动作(可能包括返回一个标记)。 另一方面,如果没有可以匹配的常规表达式,将会停止进一步的处理,Lex 将显示一个错误消息。
Yacc代表 Yet Another Compiler Compiler 。 Yacc 的 GNU 版叫做 Bison。它是一种工具,将任何一种编程语言的所有语法翻译成针对此种语言的 Yacc 语 法解析器。
(下载下载flex和bison。网址分别是http://gnuwin32.sourceforge.net/packages/flex.htm和http://gnuwin32.sourceforge.net/packages/bison.htm。)
二、配置环境(win7)
① 下载flex和bison并安装到D:\GnuWin32(尽量是根目录)
② 由于我们使用的flex和bison都是GNU的工具,所以为了方便,采用的C/C++
编译器也 采用GNU的编译器GCC,当然我们需要的也是Windows版本的GCC了。所以提前准备好VC 6.0
③ 检验是否可以进行lex文件编译
1.新建文本文件,更改名称为lex.l,敲入下面代码
%{
int yywrap(void);
%}
%%
%%
int yywrap(void)
{
return 1;
}
2.新建文本文件,更改名称为yacc.y,敲入下面代码
%{
void yyerror(const char *s);
%}
%%
program:
;
%%
void yyerror(const char *s)
{
}
int main()
{
yyparse();
return 0;
}
我们暂且不讨论上面代码的意思。
打开控制台,进入到刚才所建立文件(lex.l,yacc.y)所在的文件夹。
1.输入 flex lex.l
2.输入 bison yacc.y
如果我们看到当前文件夹上多了两个文件(yacc.tab.c,lex.yy.c),那么说明lex&&yacc已经安装配置成功,接下来就可以进行实验了。
三、课本实例
1. 按课本p58 3.7.3代码,保存testscan.lex文件,然后放到与flex相同的文件夹下,然后进入DOS下,输入flex testscan.lex 并回车,即可生成lex.yy.c文件
2. 用C编译器(VC 6.0)编译并产生lexyy.exe
3. 建好aaa.txt输入文件,进入DOS下,进入到lexyy.exe所在目录,输入lexyy.exe aaa.txt bbb.txt即可。
{
int a;
a=10;
}
通过分析后:
{, {
int, int
NUM, a
;, ;
NUM, a
=, =
ID, 10
;, ;
}, }
4. 课本p61 7
按题目要求适当修改代码,然后在进入DOS下,进入到lexyy.exe所在目录,输入lexyy.exe abc.txt abcdef.txt,再打开abcdef.txt即可看到结果
int i=10;
do{
printf(i);
i++;
}while(i!>10)
if(1<2&&2<4)
else(1||2)
分析后:
int, int
NUM, i
=, =
ID, 10
;, ;
NUM, do
{, {
NUM, printf
(, (
NUM, i
), )
;, ;
NUM, i
+, +
+, +
;, ;
}, }
while, while
(, (
NUM, i
!, !
>, >
ID, 10
), )
if, if
(, (
ID, 1
<, <
ID, 2
&&ID, 2
<, <
ID, 4
), )
else, else
(, (
ID, 1
||ID, 2
), )
五、代码
%{
#include<stdio.h>
#ifndef FALSE
#define FALSE 0
#endif
#ifndef TRUE
#define TRUE 1
#endif
%}
digit [0-9]
number {digit}+
letter [a-zA-Z]
identifier {letter}({letter}|{digit})*
newline [\n]
whitespace [\t]+
%%
"if" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"else" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"for" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"while" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"int" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"=" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"+" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"-" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"*" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"/" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"<" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
">" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"(" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
")" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"{" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"}" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
";" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
":" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"‘" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"," {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"!" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"==" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
">=" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"<=" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
"!=" {fprintf(yyout,"%s, %s\n", yytext,yytext);}
{number} {fprintf(yyout,"%s, %s\n", "ID",yytext);}
{identifier} {fprintf(yyout,"%s, %s\n", "NUM",yytext);}
{whitespace} {/*跳过空白*/}
"/*" {char c ;
int done=FALSE;
do{
while((c=input())!=‘*‘);
while((c=input())==‘*‘);
if(c==‘/‘) done=TRUE;
}while(!done);
}
{fprintf(yyout,"%d, %s\n", 0,yytext);}
%%
main(argc,argv)
int argc;
char **argv;
{
++argv,--argc;
if(argc>0)
yyin=fopen(argv[0],"r");
else
yyin=stdin;
++argv,--argc;
if(argc>0)
yyout=fopen(argv[0],"w");
else
yyout=stdout;
yylex();
}
int yywrap()
{
return 1;
}