1、语法解析

2、词法解析

3、具体执行语法树的步骤

现在先来说说语法解析吧，在这一块主要是使用的flex（ 词法分析器生成工具） 和bison(语法分析器生成器) 这两个是对用户输入的存储过程语句进行解析的

来具体说说该怎么实现对sql语句的分析吧

1、首先建立一个lex的文件

[plain] view plain copy

 

1. %option noyywrap nodefault yylineno case-insensitive  
2.   
3. %{  
4.   
5. #include "prosql.tab.hpp"  
6. #include <stdarg.h>  
7. #include <string.h>  
8. #include <stdlib.h>  
9. #include <stdio.h>  
10. #include <malloc.h>  
11. //YYSTYPE yylval;  
12. int oldstate;  
13. extern "C" int yylex();  
14. //extern "C" int yyparse();  
15. extern "C" void yyerror(const char *s, ...);  
16. extern char globalInputText[10000];  
17. extern int readInputForLexer( char *buffer, int *numBytesRead, int maxBytesToRead );  
18. #undef YY_INPUT  
19. #define YY_INPUT(b,r,s) readInputForLexer(b,&r,s)  
20. %}  
21.   
22. %x COMMENT  
23.   
24. %%  
25.   
26. CREATE      { return CREATE; }  
27. PROCEDURE   { return PROCEDURE; }  
28. SQL     { return SQL; }  
29.   
30. DECLARE     { return DECLARE; }  
31. SET     { return SET; }  
32. BEGIN       { return BEGINT; }  
33. END     { return END; }  
34.   
35. INT     { return INT; }  
36. VARCHAR     { return VARCHAR; }  
37. DATE        { return DATE; }  
38. TIME        { return TIME; }  
39. DOUBLE      { return DOUBLE; }  
40.   
41. IF      { return IF; }  
42. THEN        { return THEN; }  
43. ELSE        { return ELSE; }  
44. ENDIF       { return ENDIF; }  
45. FOR     { return FOR; }  
46. WHEN        { return WHEN; }  
47. WHILE       { return WHILE; }  
48.   
49.   
50. [0-9]+  { yylval.strval = strdup(yytext);/*printf("number=%s\n",yylval.strval);*/ return INTNUM; }/*number*/  
51.   
52. [0-9]+"."[0-9]* |  
53. "."[0-9]+   |  
54. [0-9]+E[-+]?[0-9]+  |  
55. [0-9]+"."[0-9]*E[-+]?[0-9]+ |  
56. "."[0-9]*E[-+]?[0-9]+   { yylval.strval = strdup(yytext);/*printf("float=%s\n",yylval.strval);*/ return APPROXNUM; }/*double*/  
57.   
58. TRUE    { yylval.strval = "1";/*printf("bool=%s\n",yylval.strval);*/ return BOOL; }/*bool*/  
59.   
60. FALSE   { yylval.strval = "0";/*printf("bool=%s\n",yylval.strval);*/ return BOOL; }/*bool*/  
61.   
62. '(\\.|''|[^'\n])*'  |  
63. \"(\\.|\"\"|[^"\n])*\"  {  
64.                 char *temp = strdup(yytext);   
65.                 yylval.strval = strdup(yytext);  
66.   
67.                 //GetCorrectString(yylval.strval, temp);  
68.                   
69.                 /*printf("string=%s\n",yylval.strval);*/  
70.                 return STRING;  
71.             }/*string*/  
72. '(\\.|[^'\n])*$     { yyerror("Unterminated string %s", yytext); }  
73. \"(\\.|[^"\n])*$        { yyerror("Unterminated string %s", yytext); }  
74.   
75.   
76. X'[0-9A-F]+' |    
77. 0X[0-9A-F]+     { yylval.strval = strdup(yytext); return STRING; }  
78.   
79.   
80. 0B[01]+      |  
81. B'[01]+'     { yylval.strval = strdup(yytext); return STRING; }  
82.   
83.   
84. [-+&~|^/%*(),.;!]   { return yytext[0]; }  
85.   
86. "&&"    { return ANDOP; }  
87. "||"    { return OR; }  
88.   
89. "<"  { yylval.subtok = 1; return COMPARISON; }  
90. ">"  { yylval.subtok = 2; return COMPARISON; }  
91. "!="    |  
92. "<>"  { yylval.subtok = 3; return COMPARISON; }  
93. "=" { yylval.subtok = 4; return COMPARISON; }  
94. "<=" { yylval.subtok = 5; return COMPARISON; }  
95. ">=" { yylval.subtok = 6; return COMPARISON; }  
96. "<=>" { yylval.subtok = 12; return COMPARISON; }  
97.   
98. "<<"  { yylval.subtok = 1; return SHIFT; }  
99. ">>"  { yylval.subtok = 2; return SHIFT; }  
100.   
101.   
102. [A-Za-z][A-Za-z0-9_]*   { yylval.strval = strdup(yytext);  
103.               /*printf("name 1=%s\n",yylval.strval);*/  
104.                           return NAME; }  
105. `[^`/\\.\n]+`           { yylval.strval = strdup(yytext+1);  
106.               /*printf("name 2=%s\n",yylval.strval);*/  
107.                           yylval.strval[yyleng-2] = 0;  
108.                           return NAME; }  
109.   
110. `[^`\n]*$               { yyerror("unterminated quoted name %s", yytext); }  
111.   
112.   
113. @[0-9a-z_.$]+ |  
114. @\"[^"\n]+\" |  
115. @`[^`\n]+` |  
116. @'[^'\n]+' { yylval.strval = strdup(yytext+1);  return USERVAR; }  
117.   
118. @\"[^"\n]*$ { yyerror("unterminated quoted user variable %s", yytext); }  
119. @`[^`\n]*$ { yyerror("unterminated quoted user variable %s", yytext); }  
120. @'[^'\n]*$ { yyerror("unterminated quoted user variable %s", yytext); }  
121.   
122. ":="     { return ASSIGN; }  
123.   
124. #.*     ;  
125. "--"[ \t].* ;  
126.   
127. "/*"            { oldstate = YY_START; BEGIN COMMENT; }  
128. <COMMENT>"*/"   { BEGIN oldstate; }  
129. <COMMENT>.|\n   ;  
130. <COMMENT><<EOF>> { yyerror("unclosed comment"); }  
131.   
132.   
133. [ \t\n]         /* white space */  
134. .               { yyerror("mystery character '%c'", *yytext); }  
135.   
136. %%  

这一部分呢就是对 每个我们自定义的满足正则的识别

接下来是对词的语法识别

[plain] view plain copy

 

1. %{  
2. #include <stdlib.h>  
3. #include <stdarg.h>  
4. #include <string.h>  
5. #include <stdio.h>  
6. #include <malloc.h>  
7. char * parsetreeroot=NULL;  
8. extern "C" int yylex();  
9. extern "C" int yyparse();  
10. extern "C" void yyerror(const char *s, ...);  
11. char globalInputText[10000];  
12. int globalReadOffset;  
13. int readInputForLexer( char *buffer, int *numBytesRead, int maxBytesToRead );  
14. char * mystrcat(char *s1,char *s2)  
15. {  
16.     char *p1=(char *)malloc(strlen(s1)+strlen(s2)+1);  
17.     strcpy(p1,s1);  
18.     strcat(p1,s2);  
19.     return p1;  
20. }  
21. %}  
22. %locations  
23. %union {  
24.     int intval;       
25.     double floatval;      
26.     char *strval;  
27.     int subtok;  
28. }  
29. %token <strval> NAME  
30. %token <strval> STRING  
31. %token <strval> INTNUM  
32. %token <strval> BOOL  
33. %token <strval> APPROXNUM  
34. %token <strval> USERVAR  
35.   
36. %type <strval> stmt_root  create_stmt para_list definition  data_type pro_block pro_parameters declare_list set_list   
37. %type <strval> assign_var  pro_body pro_stmt_list sql_stmt expr  
38.   
39.   
40.   
41. %right ASSIGN  
42. %left OR  
43. %left XOR  
44. %left ANDOP  
45.   
46. %left NOT '!'  
47. %left BETWEEN  
48. %left <subtok> COMPARISON /* = <> < > <= >= <=> */  
49. %left '|'  
50. %left '&'  
51. %left <subtok> SHIFT /* << >> */  
52. %left '+' '-'  
53. %left '*' '/' '%' MOD  
54. %left '^'  
55.   
56. %token CREATE  
57. %token PROCEDURE  
58. %token PRONAME  
59. %token DECLARE  
60. %token SET  
61. %token BEGINT  
62. %token END  
63. %token SQL  
64.   
65. %token INT  
66. %token VARCHAR  
67. %token DATE  
68. %token TIME  
69. %token DOUBLE  
70.   
71. %token IF  
72. %token NOT  
73. %token EXISTS  
74. %token THEN  
75. %token ELSE  
76. %token ENDIF  
77. %token FOR  
78. %token WHEN  
79. %token WHILE  
80. %start stmt_root  
81. %%  
82.   
83. stmt_root: create_stmt pro_block { 
    =mystrcat($1,$2);parsetreeroot=
    ;}  
84. ;  
85. create_stmt: CREATE PROCEDURE  NAME '(' para_list ')'   
86.         {  
87.             char *temp=mystrcat("create procedure ",$3);  
88.             temp=mystrcat(temp,"(");  
89.             temp=mystrcat(temp,$5);  
90.             $$=mystrcat(temp,")(create)\n");  
91.         }  
92. ;  
93. /*  
94. opt_if_not_exists:        { $$ = 0; }   
95.    | IF NOT EXISTS            { $$ = 1; }   
96.    ;  
97. */  
98. para_list: definition { $$=$1; }  
99. |definition ',' para_list   
100.         {     
101.               
102.             char *temp=mystrcat($1,",");  
103.             $$=mystrcat(temp,$3);   
104.         }  
105. ;  
106. definition: USERVAR data_type   
107.         {     
108.               
109.             char *temp=mystrcat($1," ");  
110.             $$=mystrcat(temp,$2);  
111.               
112.         }  
113. ;  
114.   
115. data_type:  
116.    DATE                     {$$="date"; }  
117.    | TIME                   {$$="time"; }  
118.    | VARCHAR '(' INTNUM ')'             {$$="varchar"; }  
119.    | INT                    {$$="int"; }  
120.    | DOUBLE                     {$$="double"; }   
121.    ;  
122.   
123. pro_block: BEGINT pro_parameters pro_body END   
124.         {   
125.             char *temp=mystrcat("begin\n",$2);  
126.             temp=mystrcat(temp,"");  
127.             temp=mystrcat(temp,$3);  
128.             $$=mystrcat(temp,"end");  
129.             //printf("pro_body %s\n",$3);  
130.         }  
131. ;  
132.   
133. pro_parameters: declare_list ';' { $$=mystrcat($1,";(declare)\n");}  
134. |pro_parameters  declare_list ';'   
135.         {   
136.             char *temp=mystrcat($1,$2);  
137.             $$=mystrcat(temp,";(declare)\n");  
138.         }  
139. |pro_parameters  set_list ';'   
140.         {  
141.             char *temp=mystrcat($1,$2);  
142.             $$=mystrcat(temp,";(set)\n");  
143.         }  
144. ;  
145.   
146. declare_list:  
147. |DECLARE definition   
148.         {  
149.             $$=mystrcat("declare ",$2);  
150.         }  
151. |declare_list ',' definition   
152.         {   
153.             char *temp=mystrcat($1,",");  
154.             $$=mystrcat(temp,$3);   
155.         }  
156. ;  
157.   
158. set_list:  
159. |SET assign_var   
160.         {  
161.             $$=mystrcat("set ",$2);   
162.         }  
163. | set_list ',' assign_var   
164.         {     
165.             char *temp=mystrcat($1,",");  
166.             $$=mystrcat(temp,$3);   
167.         }  
168. ;  
169.   
170. assign_var : USERVAR COMPARISON expr  
171.         {     
172.             char *temp=mystrcat($1,"=");  
173.             $$=mystrcat(temp,$3);   
174.         }  
175. ;  
176.   
177. expr: NAME         { $$=$1;}  
178.    | STRING        { $$=$1;}  
179.    | INTNUM        { $$=$1;}  
180.    | APPROXNUM     { $$=$1;}      
181.    | BOOL          { $$=$1;}  
182.    ;  
183.   
184. pro_body :  pro_stmt_list { $$=$1; }  
185. ;  
186. pro_stmt_list: sql_stmt {$$=$1; }  
187. |pro_stmt_list  sql_stmt   
188.         {  
189.             $$=mystrcat($1,$2);  
190.         }  
191. ;  
192. sql_stmt:   
193. |SQL NAME ';' { $$=mystrcat($2,";(sql)\n");}  
194. ;  
195. %%  
196. /*  
197. int main(int argc, char* argv[])  
198. {  
199.     yyparse();  
200. }*/  
201. int readInputForLexer( char *buffer, int *numBytesRead, int maxBytesToRead ) {  
202.     int numBytesToRead = maxBytesToRead;  
203.     int bytesRemaining = strlen(globalInputText)-globalReadOffset;  
204.     int i;  
205.     if ( numBytesToRead > bytesRemaining ) { numBytesToRead = bytesRemaining; }  
206.     for ( i = 0; i < numBytesToRead; i++ ) {  
207.         buffer[i] = globalInputText[globalReadOffset+i];  
208.     }  
209.     *numBytesRead = numBytesToRead;  
210.     globalReadOffset += numBytesToRead;  
211.     return 0;  
212. }  
213. void yyerror(const char *s, ...)  
214. {  
215.     fprintf(stderr, "error: %s\n", s);  
216. }  
217. void zzerror(const char *s, ...)  
218. {  
219.     extern int  yylineno;  
220.   
221.     va_list ap;  
222.     va_start(ap, s);  
223.   
224.     fprintf(stderr, "%d: error: ", yylineno);  
225.     vfprintf(stderr, s, ap);  
226.     fprintf(stderr, "\n");  
227. }  
228.   
229. int yywrap(void)  
230. {  
231.     return 1;  
232. }  
233. char* getsql()  
234. {     
235.     return parsetreeroot;  
236. }  

这部分就是对上一个识别出来的词 进行顺序上的确定，构成一个完整的语法

这些需要在linux环境下进行调试

bison -d 文件名

flex 文件名