diff --git a/src/json.hpp b/src/json.hpp index 15b93bab..ab5debde 100644 --- a/src/json.hpp +++ b/src/json.hpp @@ -2402,7 +2402,8 @@ class basic_json end_object, name_separator, value_separator, - parse_error + parse_error, + end_of_input }; /// the type of a lexer character @@ -2601,361 +2602,709 @@ class basic_json const lexer_char_t* marker; // set up RE2C - - for (;;) + +lexer_start: + // set current to the begin of the buffer + current_re2c = buffer_re2c; + + if (current_re2c == buffer_re2c_limit) { - // set current to the begin of the buffer - current_re2c = buffer_re2c; + return last_token = token_type::end_of_input; + } - -{ - lexer_char_t yych; - unsigned int yyaccept = 0; - static const unsigned char yybm[] = { - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 192, 192, 64, 64, 192, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 192, 64, 0, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 96, 96, 96, 96, 96, 96, 96, 96, - 96, 96, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 0, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - 64, 64, 64, 64, 64, 64, 64, 64, - }; - yych = *buffer_re2c; - if (yych <= ':') { - if (yych <= '!') { - if (yych <= '\f') { - if (yych <= 0x08) goto json_parser_3; - if (yych <= '\n') goto json_parser_5; - goto json_parser_3; - } else { - if (yych <= '\r') goto json_parser_5; - if (yych == ' ') goto json_parser_5; - goto json_parser_3; - } - } else { - if (yych <= '-') { - if (yych <= '"') goto json_parser_6; - if (yych <= '+') goto json_parser_3; - if (yych <= ',') goto json_parser_7; - goto json_parser_9; - } else { - if (yych <= '/') goto json_parser_3; - if (yych <= '0') goto json_parser_10; - if (yych <= '9') goto json_parser_12; - goto json_parser_13; - } - } - } else { - if (yych <= 'm') { - if (yych <= '\\') { - if (yych == '[') goto json_parser_15; - goto json_parser_3; - } else { - if (yych <= ']') goto json_parser_17; - if (yych == 'f') goto json_parser_19; - goto json_parser_3; - } - } else { - if (yych <= 'z') { - if (yych <= 'n') goto json_parser_20; - if (yych == 't') goto json_parser_21; - goto json_parser_3; - } else { - if (yych <= '{') goto json_parser_22; - if (yych == '}') goto json_parser_24; - goto json_parser_3; - } - } - } + { + lexer_char_t yych; + unsigned int yyaccept = 0; + static const unsigned char yybm[] = + { + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 192, 192, 64, 64, 192, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 192, 64, 0, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 96, 96, 96, 96, 96, 96, 96, 96, + 96, 96, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 0, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + 64, 64, 64, 64, 64, 64, 64, 64, + }; + + yych = *buffer_re2c; + if (yych <= ':') + { + if (yych <= '!') + { + if (yych <= '\f') + { + if (yych <= 0x08) + { + goto json_parser_3; + } + if (yych <= '\n') + { + goto json_parser_5; + } + goto json_parser_3; + } + else + { + if (yych <= '\r') + { + goto json_parser_5; + } + if (yych == ' ') + { + goto json_parser_5; + } + goto json_parser_3; + } + } + else + { + if (yych <= '-') + { + if (yych <= '"') + { + goto json_parser_6; + } + if (yych <= '+') + { + goto json_parser_3; + } + if (yych <= ',') + { + goto json_parser_7; + } + goto json_parser_9; + } + else + { + if (yych <= '/') + { + goto json_parser_3; + } + if (yych <= '0') + { + goto json_parser_10; + } + if (yych <= '9') + { + goto json_parser_12; + } + goto json_parser_13; + } + } + } + else + { + if (yych <= 'm') + { + if (yych <= '\\') + { + if (yych == '[') + { + goto json_parser_15; + } + goto json_parser_3; + } + else + { + if (yych <= ']') + { + goto json_parser_17; + } + if (yych == 'f') + { + goto json_parser_19; + } + goto json_parser_3; + } + } + else + { + if (yych <= 'z') + { + if (yych <= 'n') + { + goto json_parser_20; + } + if (yych == 't') + { + goto json_parser_21; + } + goto json_parser_3; + } + else + { + if (yych <= '{') + { + goto json_parser_22; + } + if (yych == '}') + { + goto json_parser_24; + } + goto json_parser_3; + } + } + } json_parser_2: - { continue; } + { + goto lexer_start; + } json_parser_3: - ++buffer_re2c; + ++buffer_re2c; json_parser_4: - { return last_token = token_type::parse_error; } + { + return last_token = token_type::parse_error; + } json_parser_5: - yych = *++buffer_re2c; - goto json_parser_60; + yych = *++buffer_re2c; + goto json_parser_60; json_parser_6: - yyaccept = 0; - yych = *(marker = ++buffer_re2c); - goto json_parser_51; + yyaccept = 0; + yych = *(marker = ++buffer_re2c); + goto json_parser_51; json_parser_7: - ++buffer_re2c; - { return last_token = token_type::value_separator; } + ++buffer_re2c; + { + return last_token = token_type::value_separator; + } json_parser_9: - yych = *++buffer_re2c; - if (yych <= '/') goto json_parser_4; - if (yych <= '0') goto json_parser_49; - if (yych <= '9') goto json_parser_40; - goto json_parser_4; + yych = *++buffer_re2c; + if (yych <= '/') + { + goto json_parser_4; + } + if (yych <= '0') + { + goto json_parser_49; + } + if (yych <= '9') + { + goto json_parser_40; + } + goto json_parser_4; json_parser_10: - yyaccept = 1; - yych = *(marker = ++buffer_re2c); - if (yych <= 'D') { - if (yych == '.') goto json_parser_42; - } else { - if (yych <= 'E') goto json_parser_43; - if (yych == 'e') goto json_parser_43; - } + yyaccept = 1; + yych = *(marker = ++buffer_re2c); + if (yych <= 'D') + { + if (yych == '.') + { + goto json_parser_42; + } + } + else + { + if (yych <= 'E') + { + goto json_parser_43; + } + if (yych == 'e') + { + goto json_parser_43; + } + } json_parser_11: - { return last_token = token_type::value_number; } + { + return last_token = token_type::value_number; + } json_parser_12: - yyaccept = 1; - yych = *(marker = ++buffer_re2c); - goto json_parser_41; + yyaccept = 1; + yych = *(marker = ++buffer_re2c); + goto json_parser_41; json_parser_13: - ++buffer_re2c; - { return last_token = token_type::name_separator; } + ++buffer_re2c; + { + return last_token = token_type::name_separator; + } json_parser_15: - ++buffer_re2c; - { return last_token = token_type::begin_array; } + ++buffer_re2c; + { + return last_token = token_type::begin_array; + } json_parser_17: - ++buffer_re2c; - { return last_token = token_type::end_array; } + ++buffer_re2c; + { + return last_token = token_type::end_array; + } json_parser_19: - yyaccept = 0; - yych = *(marker = ++buffer_re2c); - if (yych == 'a') goto json_parser_35; - goto json_parser_4; + yyaccept = 0; + yych = *(marker = ++buffer_re2c); + if (yych == 'a') + { + goto json_parser_35; + } + goto json_parser_4; json_parser_20: - yyaccept = 0; - yych = *(marker = ++buffer_re2c); - if (yych == 'u') goto json_parser_31; - goto json_parser_4; + yyaccept = 0; + yych = *(marker = ++buffer_re2c); + if (yych == 'u') + { + goto json_parser_31; + } + goto json_parser_4; json_parser_21: - yyaccept = 0; - yych = *(marker = ++buffer_re2c); - if (yych == 'r') goto json_parser_26; - goto json_parser_4; + yyaccept = 0; + yych = *(marker = ++buffer_re2c); + if (yych == 'r') + { + goto json_parser_26; + } + goto json_parser_4; json_parser_22: - ++buffer_re2c; - { return last_token = token_type::begin_object; } + ++buffer_re2c; + { + return last_token = token_type::begin_object; + } json_parser_24: - ++buffer_re2c; - { return last_token = token_type::end_object; } + ++buffer_re2c; + { + return last_token = token_type::end_object; + } json_parser_26: - yych = *++buffer_re2c; - if (yych == 'u') goto json_parser_28; + yych = *++buffer_re2c; + if (yych == 'u') + { + goto json_parser_28; + } json_parser_27: - buffer_re2c = marker; - if (yyaccept == 0) { - goto json_parser_4; - } else { - goto json_parser_11; - } + buffer_re2c = marker; + if (yyaccept == 0) + { + goto json_parser_4; + } + else + { + goto json_parser_11; + } json_parser_28: - yych = *++buffer_re2c; - if (yych != 'e') goto json_parser_27; - ++buffer_re2c; - { return last_token = token_type::literal_true; } + yych = *++buffer_re2c; + if (yych != 'e') + { + goto json_parser_27; + } + ++buffer_re2c; + { + return last_token = token_type::literal_true; + } json_parser_31: - yych = *++buffer_re2c; - if (yych != 'l') goto json_parser_27; - yych = *++buffer_re2c; - if (yych != 'l') goto json_parser_27; - ++buffer_re2c; - { return last_token = token_type::literal_null; } + yych = *++buffer_re2c; + if (yych != 'l') + { + goto json_parser_27; + } + yych = *++buffer_re2c; + if (yych != 'l') + { + goto json_parser_27; + } + ++buffer_re2c; + { + return last_token = token_type::literal_null; + } json_parser_35: - yych = *++buffer_re2c; - if (yych != 'l') goto json_parser_27; - yych = *++buffer_re2c; - if (yych != 's') goto json_parser_27; - yych = *++buffer_re2c; - if (yych != 'e') goto json_parser_27; - ++buffer_re2c; - { return last_token = token_type::literal_false; } + yych = *++buffer_re2c; + if (yych != 'l') + { + goto json_parser_27; + } + yych = *++buffer_re2c; + if (yych != 's') + { + goto json_parser_27; + } + yych = *++buffer_re2c; + if (yych != 'e') + { + goto json_parser_27; + } + ++buffer_re2c; + { + return last_token = token_type::literal_false; + } json_parser_40: - yyaccept = 1; - marker = ++buffer_re2c; - yych = *buffer_re2c; + yyaccept = 1; + marker = ++buffer_re2c; + yych = *buffer_re2c; json_parser_41: - if (yybm[0+yych] & 32) { - goto json_parser_40; - } - if (yych <= 'D') { - if (yych != '.') goto json_parser_11; - } else { - if (yych <= 'E') goto json_parser_43; - if (yych == 'e') goto json_parser_43; - goto json_parser_11; - } + if (yybm[0 + yych] & 32) + { + goto json_parser_40; + } + if (yych <= 'D') + { + if (yych != '.') + { + goto json_parser_11; + } + } + else + { + if (yych <= 'E') + { + goto json_parser_43; + } + if (yych == 'e') + { + goto json_parser_43; + } + goto json_parser_11; + } json_parser_42: - yych = *++buffer_re2c; - if (yych <= '/') goto json_parser_27; - if (yych <= '9') goto json_parser_47; - goto json_parser_27; + yych = *++buffer_re2c; + if (yych <= '/') + { + goto json_parser_27; + } + if (yych <= '9') + { + goto json_parser_47; + } + goto json_parser_27; json_parser_43: - yych = *++buffer_re2c; - if (yych <= ',') { - if (yych != '+') goto json_parser_27; - } else { - if (yych <= '-') goto json_parser_44; - if (yych <= '/') goto json_parser_27; - if (yych <= '9') goto json_parser_45; - goto json_parser_27; - } + yych = *++buffer_re2c; + if (yych <= ',') + { + if (yych != '+') + { + goto json_parser_27; + } + } + else + { + if (yych <= '-') + { + goto json_parser_44; + } + if (yych <= '/') + { + goto json_parser_27; + } + if (yych <= '9') + { + goto json_parser_45; + } + goto json_parser_27; + } json_parser_44: - yych = *++buffer_re2c; - if (yych <= '/') goto json_parser_27; - if (yych >= ':') goto json_parser_27; + yych = *++buffer_re2c; + if (yych <= '/') + { + goto json_parser_27; + } + if (yych >= ':') + { + goto json_parser_27; + } json_parser_45: - ++buffer_re2c; - yych = *buffer_re2c; - if (yych <= '/') goto json_parser_11; - if (yych <= '9') goto json_parser_45; - goto json_parser_11; + ++buffer_re2c; + yych = *buffer_re2c; + if (yych <= '/') + { + goto json_parser_11; + } + if (yych <= '9') + { + goto json_parser_45; + } + goto json_parser_11; json_parser_47: - yyaccept = 1; - marker = ++buffer_re2c; - yych = *buffer_re2c; - if (yych <= 'D') { - if (yych <= '/') goto json_parser_11; - if (yych <= '9') goto json_parser_47; - goto json_parser_11; - } else { - if (yych <= 'E') goto json_parser_43; - if (yych == 'e') goto json_parser_43; - goto json_parser_11; - } + yyaccept = 1; + marker = ++buffer_re2c; + yych = *buffer_re2c; + if (yych <= 'D') + { + if (yych <= '/') + { + goto json_parser_11; + } + if (yych <= '9') + { + goto json_parser_47; + } + goto json_parser_11; + } + else + { + if (yych <= 'E') + { + goto json_parser_43; + } + if (yych == 'e') + { + goto json_parser_43; + } + goto json_parser_11; + } json_parser_49: - yyaccept = 1; - yych = *(marker = ++buffer_re2c); - if (yych <= 'D') { - if (yych == '.') goto json_parser_42; - goto json_parser_11; - } else { - if (yych <= 'E') goto json_parser_43; - if (yych == 'e') goto json_parser_43; - goto json_parser_11; - } + yyaccept = 1; + yych = *(marker = ++buffer_re2c); + if (yych <= 'D') + { + if (yych == '.') + { + goto json_parser_42; + } + goto json_parser_11; + } + else + { + if (yych <= 'E') + { + goto json_parser_43; + } + if (yych == 'e') + { + goto json_parser_43; + } + goto json_parser_11; + } json_parser_50: - ++buffer_re2c; - yych = *buffer_re2c; + ++buffer_re2c; + yych = *buffer_re2c; json_parser_51: - if (yybm[0+yych] & 64) { - goto json_parser_50; - } - if (yych <= '"') goto json_parser_53; - ++buffer_re2c; - yych = *buffer_re2c; - if (yych <= 'e') { - if (yych <= '/') { - if (yych == '"') goto json_parser_50; - if (yych <= '.') goto json_parser_27; - goto json_parser_50; - } else { - if (yych <= '\\') { - if (yych <= '[') goto json_parser_27; - goto json_parser_50; - } else { - if (yych == 'b') goto json_parser_50; - goto json_parser_27; - } - } - } else { - if (yych <= 'q') { - if (yych <= 'f') goto json_parser_50; - if (yych == 'n') goto json_parser_50; - goto json_parser_27; - } else { - if (yych <= 's') { - if (yych <= 'r') goto json_parser_50; - goto json_parser_27; - } else { - if (yych <= 't') goto json_parser_50; - if (yych <= 'u') goto json_parser_55; - goto json_parser_27; - } - } - } + if (yybm[0 + yych] & 64) + { + goto json_parser_50; + } + if (yych <= '"') + { + goto json_parser_53; + } + ++buffer_re2c; + yych = *buffer_re2c; + if (yych <= 'e') + { + if (yych <= '/') + { + if (yych == '"') + { + goto json_parser_50; + } + if (yych <= '.') + { + goto json_parser_27; + } + goto json_parser_50; + } + else + { + if (yych <= '\\') + { + if (yych <= '[') + { + goto json_parser_27; + } + goto json_parser_50; + } + else + { + if (yych == 'b') + { + goto json_parser_50; + } + goto json_parser_27; + } + } + } + else + { + if (yych <= 'q') + { + if (yych <= 'f') + { + goto json_parser_50; + } + if (yych == 'n') + { + goto json_parser_50; + } + goto json_parser_27; + } + else + { + if (yych <= 's') + { + if (yych <= 'r') + { + goto json_parser_50; + } + goto json_parser_27; + } + else + { + if (yych <= 't') + { + goto json_parser_50; + } + if (yych <= 'u') + { + goto json_parser_55; + } + goto json_parser_27; + } + } + } json_parser_53: - ++buffer_re2c; - { return last_token = token_type::value_string; } + ++buffer_re2c; + { + return last_token = token_type::value_string; + } json_parser_55: - ++buffer_re2c; - yych = *buffer_re2c; - if (yych <= '@') { - if (yych <= '/') goto json_parser_27; - if (yych >= ':') goto json_parser_27; - } else { - if (yych <= 'F') goto json_parser_56; - if (yych <= '`') goto json_parser_27; - if (yych >= 'g') goto json_parser_27; - } + ++buffer_re2c; + yych = *buffer_re2c; + if (yych <= '@') + { + if (yych <= '/') + { + goto json_parser_27; + } + if (yych >= ':') + { + goto json_parser_27; + } + } + else + { + if (yych <= 'F') + { + goto json_parser_56; + } + if (yych <= '`') + { + goto json_parser_27; + } + if (yych >= 'g') + { + goto json_parser_27; + } + } json_parser_56: - ++buffer_re2c; - yych = *buffer_re2c; - if (yych <= '@') { - if (yych <= '/') goto json_parser_27; - if (yych >= ':') goto json_parser_27; - } else { - if (yych <= 'F') goto json_parser_57; - if (yych <= '`') goto json_parser_27; - if (yych >= 'g') goto json_parser_27; - } + ++buffer_re2c; + yych = *buffer_re2c; + if (yych <= '@') + { + if (yych <= '/') + { + goto json_parser_27; + } + if (yych >= ':') + { + goto json_parser_27; + } + } + else + { + if (yych <= 'F') + { + goto json_parser_57; + } + if (yych <= '`') + { + goto json_parser_27; + } + if (yych >= 'g') + { + goto json_parser_27; + } + } json_parser_57: - ++buffer_re2c; - yych = *buffer_re2c; - if (yych <= '@') { - if (yych <= '/') goto json_parser_27; - if (yych >= ':') goto json_parser_27; - } else { - if (yych <= 'F') goto json_parser_58; - if (yych <= '`') goto json_parser_27; - if (yych >= 'g') goto json_parser_27; - } + ++buffer_re2c; + yych = *buffer_re2c; + if (yych <= '@') + { + if (yych <= '/') + { + goto json_parser_27; + } + if (yych >= ':') + { + goto json_parser_27; + } + } + else + { + if (yych <= 'F') + { + goto json_parser_58; + } + if (yych <= '`') + { + goto json_parser_27; + } + if (yych >= 'g') + { + goto json_parser_27; + } + } json_parser_58: - ++buffer_re2c; - yych = *buffer_re2c; - if (yych <= '@') { - if (yych <= '/') goto json_parser_27; - if (yych <= '9') goto json_parser_50; - goto json_parser_27; - } else { - if (yych <= 'F') goto json_parser_50; - if (yych <= '`') goto json_parser_27; - if (yych <= 'f') goto json_parser_50; - goto json_parser_27; - } + ++buffer_re2c; + yych = *buffer_re2c; + if (yych <= '@') + { + if (yych <= '/') + { + goto json_parser_27; + } + if (yych <= '9') + { + goto json_parser_50; + } + goto json_parser_27; + } + else + { + if (yych <= 'F') + { + goto json_parser_50; + } + if (yych <= '`') + { + goto json_parser_27; + } + if (yych <= 'f') + { + goto json_parser_50; + } + goto json_parser_27; + } json_parser_59: - ++buffer_re2c; - yych = *buffer_re2c; + ++buffer_re2c; + yych = *buffer_re2c; json_parser_60: - if (yybm[0+yych] & 128) { - goto json_parser_59; - } - goto json_parser_2; -} - + if (yybm[0 + yych] & 128) + { + goto json_parser_59; + } + goto json_parser_2; } + } inline static std::string token_type_name(token_type t) @@ -2988,6 +3337,8 @@ json_parser_60: return ","; case (token_type::parse_error): return ""; + case (token_type::end_of_input): + return ""; } } diff --git a/src/json.hpp.re2c b/src/json.hpp.re2c index d76cd09a..257ea300 100644 --- a/src/json.hpp.re2c +++ b/src/json.hpp.re2c @@ -2402,7 +2402,8 @@ class basic_json end_object, name_separator, value_separator, - parse_error + parse_error, + end_of_input }; /// the type of a lexer character @@ -2611,56 +2612,59 @@ class basic_json re2c:define:YYLIMIT = buffer_re2c_limit; */ - for (;;) +lexer_start: + // set current to the begin of the buffer + current_re2c = buffer_re2c; + + if (current_re2c == buffer_re2c_limit) { - // set current to the begin of the buffer - current_re2c = buffer_re2c; - - /*!re2c - // whitespace - ws = [ \t\n\r]*; - ws { continue; } - - // structural characters - "[" { return last_token = token_type::begin_array; } - "]" { return last_token = token_type::end_array; } - "{" { return last_token = token_type::begin_object; } - "}" { return last_token = token_type::end_object; } - "," { return last_token = token_type::value_separator; } - ":" { return last_token = token_type::name_separator; } - - // literal names - "null" { return last_token = token_type::literal_null; } - "true" { return last_token = token_type::literal_true; } - "false" { return last_token = token_type::literal_false; } - - // number - decimal_point = [.]; - digit = [0-9]; - digit_1_9 = [1-9]; - e = [eE]; - minus = [-]; - plus = [+]; - zero = [0]; - exp = e (minus|plus)? digit+; - frac = decimal_point digit+; - int = (zero|digit_1_9 digit*); - number = minus? int frac? exp?; - number { return last_token = token_type::value_number; } - - // string - quotation_mark = [\"]; - escape = [\\]; - unescaped = [^\"\\]; - escaped = escape ([\"\\/bfnrt] | [u][0-9a-fA-F]{4}); - char = unescaped | escaped; - string = quotation_mark char* quotation_mark; - string { return last_token = token_type::value_string; } - - // anything else is an error - * { return last_token = token_type::parse_error; } - */ + return last_token = token_type::end_of_input; } + + /*!re2c + // whitespace + ws = [ \t\n\r]*; + ws { goto lexer_start; } + + // structural characters + "[" { return last_token = token_type::begin_array; } + "]" { return last_token = token_type::end_array; } + "{" { return last_token = token_type::begin_object; } + "}" { return last_token = token_type::end_object; } + "," { return last_token = token_type::value_separator; } + ":" { return last_token = token_type::name_separator; } + + // literal names + "null" { return last_token = token_type::literal_null; } + "true" { return last_token = token_type::literal_true; } + "false" { return last_token = token_type::literal_false; } + + // number + decimal_point = [.]; + digit = [0-9]; + digit_1_9 = [1-9]; + e = [eE]; + minus = [-]; + plus = [+]; + zero = [0]; + exp = e (minus|plus)? digit+; + frac = decimal_point digit+; + int = (zero|digit_1_9 digit*); + number = minus? int frac? exp?; + number { return last_token = token_type::value_number; } + + // string + quotation_mark = [\"]; + escape = [\\]; + unescaped = [^\"\\]; + escaped = escape ([\"\\/bfnrt] | [u][0-9a-fA-F]{4}); + char = unescaped | escaped; + string = quotation_mark char* quotation_mark; + string { return last_token = token_type::value_string; } + + // anything else is an error + * { return last_token = token_type::parse_error; } + */ } inline static std::string token_type_name(token_type t) @@ -2693,6 +2697,8 @@ class basic_json return ","; case (token_type::parse_error): return ""; + case (token_type::end_of_input): + return ""; } }