This commit is contained in:
Niels 2015-02-10 23:05:45 +01:00
parent 1aebb6e6ed
commit f9797f8eb2
2 changed files with 717 additions and 360 deletions

View file

@ -2402,7 +2402,8 @@ class basic_json
end_object,
name_separator,
value_separator,
parse_error
parse_error,
end_of_input
};
/// the type of a lexer character
@ -2603,16 +2604,21 @@ class basic_json
// set up RE2C
for (;;)
{
lexer_start:
// set current to the begin of the buffer
current_re2c = buffer_re2c;
if (current_re2c == buffer_re2c_limit)
{
return last_token = token_type::end_of_input;
}
{
lexer_char_t yych;
unsigned int yyaccept = 0;
static const unsigned char yybm[] = {
static const unsigned char yybm[] =
{
64, 64, 64, 64, 64, 64, 64, 64,
64, 192, 192, 64, 64, 192, 64, 64,
64, 64, 64, 64, 64, 64, 64, 64,
@ -2648,58 +2654,134 @@ class basic_json
};
yych = *buffer_re2c;
if (yych <= ':') {
if (yych <= '!') {
if (yych <= '\f') {
if (yych <= 0x08) goto json_parser_3;
if (yych <= '\n') goto json_parser_5;
goto json_parser_3;
} else {
if (yych <= '\r') goto json_parser_5;
if (yych == ' ') goto json_parser_5;
if (yych <= ':')
{
if (yych <= '!')
{
if (yych <= '\f')
{
if (yych <= 0x08)
{
goto json_parser_3;
}
} else {
if (yych <= '-') {
if (yych <= '"') goto json_parser_6;
if (yych <= '+') goto json_parser_3;
if (yych <= ',') goto json_parser_7;
if (yych <= '\n')
{
goto json_parser_5;
}
goto json_parser_3;
}
else
{
if (yych <= '\r')
{
goto json_parser_5;
}
if (yych == ' ')
{
goto json_parser_5;
}
goto json_parser_3;
}
}
else
{
if (yych <= '-')
{
if (yych <= '"')
{
goto json_parser_6;
}
if (yych <= '+')
{
goto json_parser_3;
}
if (yych <= ',')
{
goto json_parser_7;
}
goto json_parser_9;
} else {
if (yych <= '/') goto json_parser_3;
if (yych <= '0') goto json_parser_10;
if (yych <= '9') goto json_parser_12;
}
else
{
if (yych <= '/')
{
goto json_parser_3;
}
if (yych <= '0')
{
goto json_parser_10;
}
if (yych <= '9')
{
goto json_parser_12;
}
goto json_parser_13;
}
}
} else {
if (yych <= 'm') {
if (yych <= '\\') {
if (yych == '[') goto json_parser_15;
goto json_parser_3;
} else {
if (yych <= ']') goto json_parser_17;
if (yych == 'f') goto json_parser_19;
}
else
{
if (yych <= 'm')
{
if (yych <= '\\')
{
if (yych == '[')
{
goto json_parser_15;
}
goto json_parser_3;
}
} else {
if (yych <= 'z') {
if (yych <= 'n') goto json_parser_20;
if (yych == 't') goto json_parser_21;
else
{
if (yych <= ']')
{
goto json_parser_17;
}
if (yych == 'f')
{
goto json_parser_19;
}
goto json_parser_3;
} else {
if (yych <= '{') goto json_parser_22;
if (yych == '}') goto json_parser_24;
}
}
else
{
if (yych <= 'z')
{
if (yych <= 'n')
{
goto json_parser_20;
}
if (yych == 't')
{
goto json_parser_21;
}
goto json_parser_3;
}
else
{
if (yych <= '{')
{
goto json_parser_22;
}
if (yych == '}')
{
goto json_parser_24;
}
goto json_parser_3;
}
}
}
json_parser_2:
{ continue; }
{
goto lexer_start;
}
json_parser_3:
++buffer_re2c;
json_parser_4:
{ return last_token = token_type::parse_error; }
{
return last_token = token_type::parse_error;
}
json_parser_5:
yych = *++buffer_re2c;
goto json_parser_60;
@ -2709,254 +2791,521 @@ json_parser_6:
goto json_parser_51;
json_parser_7:
++buffer_re2c;
{ return last_token = token_type::value_separator; }
{
return last_token = token_type::value_separator;
}
json_parser_9:
yych = *++buffer_re2c;
if (yych <= '/') goto json_parser_4;
if (yych <= '0') goto json_parser_49;
if (yych <= '9') goto json_parser_40;
if (yych <= '/')
{
goto json_parser_4;
}
if (yych <= '0')
{
goto json_parser_49;
}
if (yych <= '9')
{
goto json_parser_40;
}
goto json_parser_4;
json_parser_10:
yyaccept = 1;
yych = *(marker = ++buffer_re2c);
if (yych <= 'D') {
if (yych == '.') goto json_parser_42;
} else {
if (yych <= 'E') goto json_parser_43;
if (yych == 'e') goto json_parser_43;
if (yych <= 'D')
{
if (yych == '.')
{
goto json_parser_42;
}
}
else
{
if (yych <= 'E')
{
goto json_parser_43;
}
if (yych == 'e')
{
goto json_parser_43;
}
}
json_parser_11:
{ return last_token = token_type::value_number; }
{
return last_token = token_type::value_number;
}
json_parser_12:
yyaccept = 1;
yych = *(marker = ++buffer_re2c);
goto json_parser_41;
json_parser_13:
++buffer_re2c;
{ return last_token = token_type::name_separator; }
{
return last_token = token_type::name_separator;
}
json_parser_15:
++buffer_re2c;
{ return last_token = token_type::begin_array; }
{
return last_token = token_type::begin_array;
}
json_parser_17:
++buffer_re2c;
{ return last_token = token_type::end_array; }
{
return last_token = token_type::end_array;
}
json_parser_19:
yyaccept = 0;
yych = *(marker = ++buffer_re2c);
if (yych == 'a') goto json_parser_35;
if (yych == 'a')
{
goto json_parser_35;
}
goto json_parser_4;
json_parser_20:
yyaccept = 0;
yych = *(marker = ++buffer_re2c);
if (yych == 'u') goto json_parser_31;
if (yych == 'u')
{
goto json_parser_31;
}
goto json_parser_4;
json_parser_21:
yyaccept = 0;
yych = *(marker = ++buffer_re2c);
if (yych == 'r') goto json_parser_26;
if (yych == 'r')
{
goto json_parser_26;
}
goto json_parser_4;
json_parser_22:
++buffer_re2c;
{ return last_token = token_type::begin_object; }
{
return last_token = token_type::begin_object;
}
json_parser_24:
++buffer_re2c;
{ return last_token = token_type::end_object; }
{
return last_token = token_type::end_object;
}
json_parser_26:
yych = *++buffer_re2c;
if (yych == 'u') goto json_parser_28;
if (yych == 'u')
{
goto json_parser_28;
}
json_parser_27:
buffer_re2c = marker;
if (yyaccept == 0) {
if (yyaccept == 0)
{
goto json_parser_4;
} else {
}
else
{
goto json_parser_11;
}
json_parser_28:
yych = *++buffer_re2c;
if (yych != 'e') goto json_parser_27;
if (yych != 'e')
{
goto json_parser_27;
}
++buffer_re2c;
{ return last_token = token_type::literal_true; }
{
return last_token = token_type::literal_true;
}
json_parser_31:
yych = *++buffer_re2c;
if (yych != 'l') goto json_parser_27;
if (yych != 'l')
{
goto json_parser_27;
}
yych = *++buffer_re2c;
if (yych != 'l') goto json_parser_27;
if (yych != 'l')
{
goto json_parser_27;
}
++buffer_re2c;
{ return last_token = token_type::literal_null; }
{
return last_token = token_type::literal_null;
}
json_parser_35:
yych = *++buffer_re2c;
if (yych != 'l') goto json_parser_27;
if (yych != 'l')
{
goto json_parser_27;
}
yych = *++buffer_re2c;
if (yych != 's') goto json_parser_27;
if (yych != 's')
{
goto json_parser_27;
}
yych = *++buffer_re2c;
if (yych != 'e') goto json_parser_27;
if (yych != 'e')
{
goto json_parser_27;
}
++buffer_re2c;
{ return last_token = token_type::literal_false; }
{
return last_token = token_type::literal_false;
}
json_parser_40:
yyaccept = 1;
marker = ++buffer_re2c;
yych = *buffer_re2c;
json_parser_41:
if (yybm[0+yych] & 32) {
if (yybm[0 + yych] & 32)
{
goto json_parser_40;
}
if (yych <= 'D') {
if (yych != '.') goto json_parser_11;
} else {
if (yych <= 'E') goto json_parser_43;
if (yych == 'e') goto json_parser_43;
if (yych <= 'D')
{
if (yych != '.')
{
goto json_parser_11;
}
}
else
{
if (yych <= 'E')
{
goto json_parser_43;
}
if (yych == 'e')
{
goto json_parser_43;
}
goto json_parser_11;
}
json_parser_42:
yych = *++buffer_re2c;
if (yych <= '/') goto json_parser_27;
if (yych <= '9') goto json_parser_47;
if (yych <= '/')
{
goto json_parser_27;
}
if (yych <= '9')
{
goto json_parser_47;
}
goto json_parser_27;
json_parser_43:
yych = *++buffer_re2c;
if (yych <= ',') {
if (yych != '+') goto json_parser_27;
} else {
if (yych <= '-') goto json_parser_44;
if (yych <= '/') goto json_parser_27;
if (yych <= '9') goto json_parser_45;
if (yych <= ',')
{
if (yych != '+')
{
goto json_parser_27;
}
}
else
{
if (yych <= '-')
{
goto json_parser_44;
}
if (yych <= '/')
{
goto json_parser_27;
}
if (yych <= '9')
{
goto json_parser_45;
}
goto json_parser_27;
}
json_parser_44:
yych = *++buffer_re2c;
if (yych <= '/') goto json_parser_27;
if (yych >= ':') goto json_parser_27;
if (yych <= '/')
{
goto json_parser_27;
}
if (yych >= ':')
{
goto json_parser_27;
}
json_parser_45:
++buffer_re2c;
yych = *buffer_re2c;
if (yych <= '/') goto json_parser_11;
if (yych <= '9') goto json_parser_45;
if (yych <= '/')
{
goto json_parser_11;
}
if (yych <= '9')
{
goto json_parser_45;
}
goto json_parser_11;
json_parser_47:
yyaccept = 1;
marker = ++buffer_re2c;
yych = *buffer_re2c;
if (yych <= 'D') {
if (yych <= '/') goto json_parser_11;
if (yych <= '9') goto json_parser_47;
if (yych <= 'D')
{
if (yych <= '/')
{
goto json_parser_11;
} else {
if (yych <= 'E') goto json_parser_43;
if (yych == 'e') goto json_parser_43;
}
if (yych <= '9')
{
goto json_parser_47;
}
goto json_parser_11;
}
else
{
if (yych <= 'E')
{
goto json_parser_43;
}
if (yych == 'e')
{
goto json_parser_43;
}
goto json_parser_11;
}
json_parser_49:
yyaccept = 1;
yych = *(marker = ++buffer_re2c);
if (yych <= 'D') {
if (yych == '.') goto json_parser_42;
if (yych <= 'D')
{
if (yych == '.')
{
goto json_parser_42;
}
goto json_parser_11;
} else {
if (yych <= 'E') goto json_parser_43;
if (yych == 'e') goto json_parser_43;
}
else
{
if (yych <= 'E')
{
goto json_parser_43;
}
if (yych == 'e')
{
goto json_parser_43;
}
goto json_parser_11;
}
json_parser_50:
++buffer_re2c;
yych = *buffer_re2c;
json_parser_51:
if (yybm[0+yych] & 64) {
if (yybm[0 + yych] & 64)
{
goto json_parser_50;
}
if (yych <= '"') goto json_parser_53;
if (yych <= '"')
{
goto json_parser_53;
}
++buffer_re2c;
yych = *buffer_re2c;
if (yych <= 'e') {
if (yych <= '/') {
if (yych == '"') goto json_parser_50;
if (yych <= '.') goto json_parser_27;
if (yych <= 'e')
{
if (yych <= '/')
{
if (yych == '"')
{
goto json_parser_50;
} else {
if (yych <= '\\') {
if (yych <= '[') goto json_parser_27;
}
if (yych <= '.')
{
goto json_parser_27;
}
goto json_parser_50;
} else {
if (yych == 'b') goto json_parser_50;
}
else
{
if (yych <= '\\')
{
if (yych <= '[')
{
goto json_parser_27;
}
goto json_parser_50;
}
else
{
if (yych == 'b')
{
goto json_parser_50;
}
goto json_parser_27;
}
}
} else {
if (yych <= 'q') {
if (yych <= 'f') goto json_parser_50;
if (yych == 'n') goto json_parser_50;
}
else
{
if (yych <= 'q')
{
if (yych <= 'f')
{
goto json_parser_50;
}
if (yych == 'n')
{
goto json_parser_50;
}
goto json_parser_27;
} else {
if (yych <= 's') {
if (yych <= 'r') goto json_parser_50;
}
else
{
if (yych <= 's')
{
if (yych <= 'r')
{
goto json_parser_50;
}
goto json_parser_27;
} else {
if (yych <= 't') goto json_parser_50;
if (yych <= 'u') goto json_parser_55;
}
else
{
if (yych <= 't')
{
goto json_parser_50;
}
if (yych <= 'u')
{
goto json_parser_55;
}
goto json_parser_27;
}
}
}
json_parser_53:
++buffer_re2c;
{ return last_token = token_type::value_string; }
{
return last_token = token_type::value_string;
}
json_parser_55:
++buffer_re2c;
yych = *buffer_re2c;
if (yych <= '@') {
if (yych <= '/') goto json_parser_27;
if (yych >= ':') goto json_parser_27;
} else {
if (yych <= 'F') goto json_parser_56;
if (yych <= '`') goto json_parser_27;
if (yych >= 'g') goto json_parser_27;
if (yych <= '@')
{
if (yych <= '/')
{
goto json_parser_27;
}
if (yych >= ':')
{
goto json_parser_27;
}
}
else
{
if (yych <= 'F')
{
goto json_parser_56;
}
if (yych <= '`')
{
goto json_parser_27;
}
if (yych >= 'g')
{
goto json_parser_27;
}
}
json_parser_56:
++buffer_re2c;
yych = *buffer_re2c;
if (yych <= '@') {
if (yych <= '/') goto json_parser_27;
if (yych >= ':') goto json_parser_27;
} else {
if (yych <= 'F') goto json_parser_57;
if (yych <= '`') goto json_parser_27;
if (yych >= 'g') goto json_parser_27;
if (yych <= '@')
{
if (yych <= '/')
{
goto json_parser_27;
}
if (yych >= ':')
{
goto json_parser_27;
}
}
else
{
if (yych <= 'F')
{
goto json_parser_57;
}
if (yych <= '`')
{
goto json_parser_27;
}
if (yych >= 'g')
{
goto json_parser_27;
}
}
json_parser_57:
++buffer_re2c;
yych = *buffer_re2c;
if (yych <= '@') {
if (yych <= '/') goto json_parser_27;
if (yych >= ':') goto json_parser_27;
} else {
if (yych <= 'F') goto json_parser_58;
if (yych <= '`') goto json_parser_27;
if (yych >= 'g') goto json_parser_27;
if (yych <= '@')
{
if (yych <= '/')
{
goto json_parser_27;
}
if (yych >= ':')
{
goto json_parser_27;
}
}
else
{
if (yych <= 'F')
{
goto json_parser_58;
}
if (yych <= '`')
{
goto json_parser_27;
}
if (yych >= 'g')
{
goto json_parser_27;
}
}
json_parser_58:
++buffer_re2c;
yych = *buffer_re2c;
if (yych <= '@') {
if (yych <= '/') goto json_parser_27;
if (yych <= '9') goto json_parser_50;
if (yych <= '@')
{
if (yych <= '/')
{
goto json_parser_27;
} else {
if (yych <= 'F') goto json_parser_50;
if (yych <= '`') goto json_parser_27;
if (yych <= 'f') goto json_parser_50;
}
if (yych <= '9')
{
goto json_parser_50;
}
goto json_parser_27;
}
else
{
if (yych <= 'F')
{
goto json_parser_50;
}
if (yych <= '`')
{
goto json_parser_27;
}
if (yych <= 'f')
{
goto json_parser_50;
}
goto json_parser_27;
}
json_parser_59:
++buffer_re2c;
yych = *buffer_re2c;
json_parser_60:
if (yybm[0+yych] & 128) {
if (yybm[0 + yych] & 128)
{
goto json_parser_59;
}
goto json_parser_2;
}
}
}
inline static std::string token_type_name(token_type t)
{
@ -2988,6 +3337,8 @@ json_parser_60:
return ",";
case (token_type::parse_error):
return "<parse error>";
case (token_type::end_of_input):
return "<end of input>";
}
}

View file

@ -2402,7 +2402,8 @@ class basic_json
end_object,
name_separator,
value_separator,
parse_error
parse_error,
end_of_input
};
/// the type of a lexer character
@ -2611,15 +2612,19 @@ class basic_json
re2c:define:YYLIMIT = buffer_re2c_limit;
*/
for (;;)
{
lexer_start:
// set current to the begin of the buffer
current_re2c = buffer_re2c;
if (current_re2c == buffer_re2c_limit)
{
return last_token = token_type::end_of_input;
}
/*!re2c
// whitespace
ws = [ \t\n\r]*;
ws { continue; }
ws { goto lexer_start; }
// structural characters
"[" { return last_token = token_type::begin_array; }
@ -2661,7 +2666,6 @@ class basic_json
* { return last_token = token_type::parse_error; }
*/
}
}
inline static std::string token_type_name(token_type t)
{
@ -2693,6 +2697,8 @@ class basic_json
return ",";
case (token_type::parse_error):
return "<parse error>";
case (token_type::end_of_input):
return "<end of input>";
}
}