1 : /**********************************************************************
2 : utf8.c - Oniguruma (regular expression library)
3 : **********************************************************************/
4 : /*-
5 : * Copyright (c) 2002-2009 K.Kosako <sndgk393 AT ybb DOT ne DOT jp>
6 : * All rights reserved.
7 : *
8 : * Redistribution and use in source and binary forms, with or without
9 : * modification, are permitted provided that the following conditions
10 : * are met:
11 : * 1. Redistributions of source code must retain the above copyright
12 : * notice, this list of conditions and the following disclaimer.
13 : * 2. Redistributions in binary form must reproduce the above copyright
14 : * notice, this list of conditions and the following disclaimer in the
15 : * documentation and/or other materials provided with the distribution.
16 : *
17 : * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
18 : * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
19 : * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
20 : * ARE DISCLAIMED. IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
21 : * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
22 : * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
23 : * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
24 : * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
25 : * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
26 : * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
27 : * SUCH DAMAGE.
28 : */
29 :
30 : #include "regenc.h"
31 :
32 : #define USE_INVALID_CODE_SCHEME
33 :
34 : #ifdef USE_INVALID_CODE_SCHEME
35 : /* virtual codepoint values for invalid encoding byte 0xfe and 0xff */
36 : #define INVALID_CODE_FE 0xfffffffe
37 : #define INVALID_CODE_FF 0xffffffff
38 : #define VALID_CODE_LIMIT 0x7fffffff
39 : #endif
40 :
41 : #define utf8_islead(c) ((UChar )((c) & 0xc0) != 0x80)
42 :
43 : static const int EncLen_UTF8[] = {
44 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
45 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
46 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
47 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
48 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
49 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
50 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
51 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
52 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
53 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
54 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
55 : 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
56 : 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
57 : 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
58 : 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3,
59 : 4, 4, 4, 4, 4, 4, 4, 4, 5, 5, 5, 5, 6, 6, 1, 1
60 : };
61 :
62 : static int
63 : utf8_mbc_enc_len(const UChar* p)
64 5441 : {
65 5441 : return EncLen_UTF8[*p];
66 : }
67 :
68 : static int
69 : utf8_is_mbc_newline(const UChar* p, const UChar* end)
70 18 : {
71 18 : if (p < end) {
72 18 : if (*p == 0x0a) return 1;
73 :
74 : #ifdef USE_UNICODE_ALL_LINE_TERMINATORS
75 : if (*p == 0x0d) return 1;
76 : if (p + 1 < end) {
77 : if (*(p+1) == 0x85 && *p == 0xc2) /* U+0085 */
78 : return 1;
79 : if (p + 2 < end) {
80 : if ((*(p+2) == 0xa8 || *(p+2) == 0xa9)
81 : && *(p+1) == 0x80 && *p == 0xe2) /* U+2028, U+2029 */
82 : return 1;
83 : }
84 : }
85 : #endif
86 : }
87 :
88 18 : return 0;
89 : }
90 :
91 : static OnigCodePoint
92 : utf8_mbc_to_code(const UChar* p, const UChar* end)
93 2009 : {
94 : int c, len;
95 : OnigCodePoint n;
96 :
97 2009 : len = enc_len(ONIG_ENCODING_UTF8, p);
98 2009 : c = *p++;
99 2009 : if (len > 1) {
100 412 : len--;
101 412 : n = c & ((1 << (6 - len)) - 1);
102 1602 : while (len--) {
103 778 : c = *p++;
104 778 : n = (n << 6) | (c & ((1 << 6) - 1));
105 : }
106 412 : return n;
107 : }
108 : else {
109 : #ifdef USE_INVALID_CODE_SCHEME
110 1597 : if (c > 0xfd) {
111 0 : return ((c == 0xfe) ? INVALID_CODE_FE : INVALID_CODE_FF);
112 : }
113 : #endif
114 1597 : return (OnigCodePoint )c;
115 : }
116 : }
117 :
118 : static int
119 : utf8_code_to_mbclen(OnigCodePoint code)
120 169 : {
121 169 : if ((code & 0xffffff80) == 0) return 1;
122 73 : else if ((code & 0xfffff800) == 0) {
123 65 : if (code <= 0xff && code >= 0xfe)
124 1 : return 1;
125 64 : return 2;
126 : }
127 8 : else if ((code & 0xffff0000) == 0) return 3;
128 0 : else if ((code & 0xffe00000) == 0) return 4;
129 0 : else if ((code & 0xfc000000) == 0) return 5;
130 0 : else if ((code & 0x80000000) == 0) return 6;
131 : #ifdef USE_INVALID_CODE_SCHEME
132 0 : else if (code == INVALID_CODE_FE) return 1;
133 0 : else if (code == INVALID_CODE_FF) return 1;
134 : #endif
135 : else
136 0 : return ONIGENCERR_TOO_BIG_WIDE_CHAR_VALUE;
137 : }
138 :
139 : #if 0
140 : static int
141 : utf8_code_to_mbc_first(OnigCodePoint code)
142 : {
143 : if ((code & 0xffffff80) == 0)
144 : return code;
145 : else {
146 : if ((code & 0xfffff800) == 0)
147 : return ((code>>6)& 0x1f) | 0xc0;
148 : else if ((code & 0xffff0000) == 0)
149 : return ((code>>12) & 0x0f) | 0xe0;
150 : else if ((code & 0xffe00000) == 0)
151 : return ((code>>18) & 0x07) | 0xf0;
152 : else if ((code & 0xfc000000) == 0)
153 : return ((code>>24) & 0x03) | 0xf8;
154 : else if ((code & 0x80000000) == 0)
155 : return ((code>>30) & 0x01) | 0xfc;
156 : else {
157 : return ONIGENCERR_TOO_BIG_WIDE_CHAR_VALUE;
158 : }
159 : }
160 : }
161 : #endif
162 :
163 : static int
164 : utf8_code_to_mbc(OnigCodePoint code, UChar *buf)
165 0 : {
166 : #define UTF8_TRAILS(code, shift) (UChar )((((code) >> (shift)) & 0x3f) | 0x80)
167 : #define UTF8_TRAIL0(code) (UChar )(((code) & 0x3f) | 0x80)
168 :
169 0 : if ((code & 0xffffff80) == 0) {
170 0 : *buf = (UChar )code;
171 0 : return 1;
172 : }
173 : else {
174 0 : UChar *p = buf;
175 :
176 0 : if ((code & 0xfffff800) == 0) {
177 0 : *p++ = (UChar )(((code>>6)& 0x1f) | 0xc0);
178 : }
179 0 : else if ((code & 0xffff0000) == 0) {
180 0 : *p++ = (UChar )(((code>>12) & 0x0f) | 0xe0);
181 0 : *p++ = UTF8_TRAILS(code, 6);
182 : }
183 0 : else if ((code & 0xffe00000) == 0) {
184 0 : *p++ = (UChar )(((code>>18) & 0x07) | 0xf0);
185 0 : *p++ = UTF8_TRAILS(code, 12);
186 0 : *p++ = UTF8_TRAILS(code, 6);
187 : }
188 0 : else if ((code & 0xfc000000) == 0) {
189 0 : *p++ = (UChar )(((code>>24) & 0x03) | 0xf8);
190 0 : *p++ = UTF8_TRAILS(code, 18);
191 0 : *p++ = UTF8_TRAILS(code, 12);
192 0 : *p++ = UTF8_TRAILS(code, 6);
193 : }
194 0 : else if ((code & 0x80000000) == 0) {
195 0 : *p++ = (UChar )(((code>>30) & 0x01) | 0xfc);
196 0 : *p++ = UTF8_TRAILS(code, 24);
197 0 : *p++ = UTF8_TRAILS(code, 18);
198 0 : *p++ = UTF8_TRAILS(code, 12);
199 0 : *p++ = UTF8_TRAILS(code, 6);
200 : }
201 : #ifdef USE_INVALID_CODE_SCHEME
202 0 : else if (code == INVALID_CODE_FE) {
203 0 : *p = 0xfe;
204 0 : return 1;
205 : }
206 0 : else if (code == INVALID_CODE_FF) {
207 0 : *p = 0xff;
208 0 : return 1;
209 : }
210 : #endif
211 : else {
212 0 : return ONIGENCERR_TOO_BIG_WIDE_CHAR_VALUE;
213 : }
214 :
215 0 : *p++ = UTF8_TRAIL0(code);
216 0 : return p - buf;
217 : }
218 : }
219 :
220 : static int
221 : utf8_mbc_to_normalize(OnigAmbigType flag, const UChar** pp, const UChar* end, UChar* lower)
222 0 : {
223 0 : const UChar* p = *pp;
224 :
225 0 : if (ONIGENC_IS_MBC_ASCII(p)) {
226 0 : if (end > p + 1 &&
227 : (flag & ONIGENC_AMBIGUOUS_MATCH_COMPOUND) != 0 &&
228 : ((*p == 's' && *(p+1) == 's') ||
229 : ((flag & ONIGENC_AMBIGUOUS_MATCH_ASCII_CASE) != 0 &&
230 : (*p == 'S' && *(p+1) == 'S')))) {
231 0 : *lower++ = '\303';
232 0 : *lower = '\237';
233 0 : (*pp) += 2;
234 0 : return 2;
235 : }
236 :
237 0 : if ((flag & ONIGENC_AMBIGUOUS_MATCH_ASCII_CASE) != 0) {
238 0 : *lower = ONIGENC_ASCII_CODE_TO_LOWER_CASE(*p);
239 : }
240 : else {
241 0 : *lower = *p;
242 : }
243 0 : (*pp)++;
244 0 : return 1; /* return byte length of converted char to lower */
245 : }
246 : else {
247 : int len;
248 :
249 0 : if (*p == 195) { /* 195 == '\303' */
250 0 : int c = *(p + 1);
251 0 : if (c >= 128) {
252 0 : if (c <= (UChar )'\236' && /* upper */
253 : (flag & ONIGENC_AMBIGUOUS_MATCH_NONASCII_CASE) != 0) {
254 0 : if (c != (UChar )'\227') {
255 0 : *lower++ = *p;
256 0 : *lower = (UChar )(c + 32);
257 0 : (*pp) += 2;
258 0 : return 2;
259 : }
260 : }
261 : #if 0
262 : else if (c == (UChar )'\237' &&
263 : (flag & ONIGENC_AMBIGUOUS_MATCH_COMPOUND) != 0) {
264 : *lower++ = '\303';
265 : *lower = '\237';
266 : (*pp) += 2;
267 : return 2;
268 : }
269 : #endif
270 : }
271 : }
272 :
273 0 : len = enc_len(ONIG_ENCODING_UTF8, p);
274 0 : if (lower != p) {
275 : int i;
276 0 : for (i = 0; i < len; i++) {
277 0 : *lower++ = *p++;
278 : }
279 : }
280 0 : (*pp) += len;
281 0 : return len; /* return byte length of converted char to lower */
282 : }
283 : }
284 :
285 : static int
286 : utf8_is_mbc_ambiguous(OnigAmbigType flag, const UChar** pp, const UChar* end)
287 3 : {
288 3 : const UChar* p = *pp;
289 :
290 3 : if (ONIGENC_IS_MBC_ASCII(p)) {
291 0 : if (end > p + 1 &&
292 : (flag & ONIGENC_AMBIGUOUS_MATCH_COMPOUND) != 0 &&
293 : ((*p == 's' && *(p+1) == 's') ||
294 : ((flag & ONIGENC_AMBIGUOUS_MATCH_ASCII_CASE) != 0 &&
295 : (*p == 'S' && *(p+1) == 'S')))) {
296 0 : (*pp) += 2;
297 0 : return TRUE;
298 : }
299 :
300 0 : (*pp)++;
301 0 : if ((flag & ONIGENC_AMBIGUOUS_MATCH_ASCII_CASE) != 0) {
302 0 : return ONIGENC_IS_ASCII_CODE_CASE_AMBIG(*p);
303 : }
304 : }
305 : else {
306 3 : (*pp) += enc_len(ONIG_ENCODING_UTF8, p);
307 :
308 3 : if (*p == 195) { /* 195 == '\303' */
309 0 : int c = *(p + 1);
310 0 : if (c >= 128) {
311 0 : if ((flag & ONIGENC_AMBIGUOUS_MATCH_NONASCII_CASE) != 0) {
312 0 : if (c <= (UChar )'\236') { /* upper */
313 0 : if (c == (UChar )'\227') return FALSE;
314 0 : return TRUE;
315 : }
316 0 : else if (c >= (UChar )'\240' && c <= (UChar )'\276') { /* lower */
317 0 : if (c == (UChar )'\267') return FALSE;
318 0 : return TRUE;
319 : }
320 : }
321 0 : else if (c == (UChar )'\237' &&
322 : (flag & ONIGENC_AMBIGUOUS_MATCH_COMPOUND) != 0) {
323 0 : return TRUE;
324 : }
325 : }
326 : }
327 : }
328 :
329 3 : return FALSE;
330 : }
331 :
332 :
333 : static const OnigCodePoint EmptyRange[] = { 0 };
334 :
335 : static const OnigCodePoint SBAlnum[] = {
336 : 3,
337 : 0x0030, 0x0039,
338 : 0x0041, 0x005a,
339 : 0x0061, 0x007a
340 : };
341 :
342 : static const OnigCodePoint MBAlnum[] = {
343 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
344 : 411,
345 : #else
346 : 6,
347 : #endif
348 : 0x00aa, 0x00aa,
349 : 0x00b5, 0x00b5,
350 : 0x00ba, 0x00ba,
351 : 0x00c0, 0x00d6,
352 : 0x00d8, 0x00f6,
353 : 0x00f8, 0x0236
354 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
355 : ,
356 : 0x0250, 0x02c1,
357 : 0x02c6, 0x02d1,
358 : 0x02e0, 0x02e4,
359 : 0x02ee, 0x02ee,
360 : 0x0300, 0x0357,
361 : 0x035d, 0x036f,
362 : 0x037a, 0x037a,
363 : 0x0386, 0x0386,
364 : 0x0388, 0x038a,
365 : 0x038c, 0x038c,
366 : 0x038e, 0x03a1,
367 : 0x03a3, 0x03ce,
368 : 0x03d0, 0x03f5,
369 : 0x03f7, 0x03fb,
370 : 0x0400, 0x0481,
371 : 0x0483, 0x0486,
372 : 0x0488, 0x04ce,
373 : 0x04d0, 0x04f5,
374 : 0x04f8, 0x04f9,
375 : 0x0500, 0x050f,
376 : 0x0531, 0x0556,
377 : 0x0559, 0x0559,
378 : 0x0561, 0x0587,
379 : 0x0591, 0x05a1,
380 : 0x05a3, 0x05b9,
381 : 0x05bb, 0x05bd,
382 : 0x05bf, 0x05bf,
383 : 0x05c1, 0x05c2,
384 : 0x05c4, 0x05c4,
385 : 0x05d0, 0x05ea,
386 : 0x05f0, 0x05f2,
387 : 0x0610, 0x0615,
388 : 0x0621, 0x063a,
389 : 0x0640, 0x0658,
390 : 0x0660, 0x0669,
391 : 0x066e, 0x06d3,
392 : 0x06d5, 0x06dc,
393 : 0x06de, 0x06e8,
394 : 0x06ea, 0x06fc,
395 : 0x06ff, 0x06ff,
396 : 0x0710, 0x074a,
397 : 0x074d, 0x074f,
398 : 0x0780, 0x07b1,
399 : 0x0901, 0x0939,
400 : 0x093c, 0x094d,
401 : 0x0950, 0x0954,
402 : 0x0958, 0x0963,
403 : 0x0966, 0x096f,
404 : 0x0981, 0x0983,
405 : 0x0985, 0x098c,
406 : 0x098f, 0x0990,
407 : 0x0993, 0x09a8,
408 : 0x09aa, 0x09b0,
409 : 0x09b2, 0x09b2,
410 : 0x09b6, 0x09b9,
411 : 0x09bc, 0x09c4,
412 : 0x09c7, 0x09c8,
413 : 0x09cb, 0x09cd,
414 : 0x09d7, 0x09d7,
415 : 0x09dc, 0x09dd,
416 : 0x09df, 0x09e3,
417 : 0x09e6, 0x09f1,
418 : 0x0a01, 0x0a03,
419 : 0x0a05, 0x0a0a,
420 : 0x0a0f, 0x0a10,
421 : 0x0a13, 0x0a28,
422 : 0x0a2a, 0x0a30,
423 : 0x0a32, 0x0a33,
424 : 0x0a35, 0x0a36,
425 : 0x0a38, 0x0a39,
426 : 0x0a3c, 0x0a3c,
427 : 0x0a3e, 0x0a42,
428 : 0x0a47, 0x0a48,
429 : 0x0a4b, 0x0a4d,
430 : 0x0a59, 0x0a5c,
431 : 0x0a5e, 0x0a5e,
432 : 0x0a66, 0x0a74,
433 : 0x0a81, 0x0a83,
434 : 0x0a85, 0x0a8d,
435 : 0x0a8f, 0x0a91,
436 : 0x0a93, 0x0aa8,
437 : 0x0aaa, 0x0ab0,
438 : 0x0ab2, 0x0ab3,
439 : 0x0ab5, 0x0ab9,
440 : 0x0abc, 0x0ac5,
441 : 0x0ac7, 0x0ac9,
442 : 0x0acb, 0x0acd,
443 : 0x0ad0, 0x0ad0,
444 : 0x0ae0, 0x0ae3,
445 : 0x0ae6, 0x0aef,
446 : 0x0b01, 0x0b03,
447 : 0x0b05, 0x0b0c,
448 : 0x0b0f, 0x0b10,
449 : 0x0b13, 0x0b28,
450 : 0x0b2a, 0x0b30,
451 : 0x0b32, 0x0b33,
452 : 0x0b35, 0x0b39,
453 : 0x0b3c, 0x0b43,
454 : 0x0b47, 0x0b48,
455 : 0x0b4b, 0x0b4d,
456 : 0x0b56, 0x0b57,
457 : 0x0b5c, 0x0b5d,
458 : 0x0b5f, 0x0b61,
459 : 0x0b66, 0x0b6f,
460 : 0x0b71, 0x0b71,
461 : 0x0b82, 0x0b83,
462 : 0x0b85, 0x0b8a,
463 : 0x0b8e, 0x0b90,
464 : 0x0b92, 0x0b95,
465 : 0x0b99, 0x0b9a,
466 : 0x0b9c, 0x0b9c,
467 : 0x0b9e, 0x0b9f,
468 : 0x0ba3, 0x0ba4,
469 : 0x0ba8, 0x0baa,
470 : 0x0bae, 0x0bb5,
471 : 0x0bb7, 0x0bb9,
472 : 0x0bbe, 0x0bc2,
473 : 0x0bc6, 0x0bc8,
474 : 0x0bca, 0x0bcd,
475 : 0x0bd7, 0x0bd7,
476 : 0x0be7, 0x0bef,
477 : 0x0c01, 0x0c03,
478 : 0x0c05, 0x0c0c,
479 : 0x0c0e, 0x0c10,
480 : 0x0c12, 0x0c28,
481 : 0x0c2a, 0x0c33,
482 : 0x0c35, 0x0c39,
483 : 0x0c3e, 0x0c44,
484 : 0x0c46, 0x0c48,
485 : 0x0c4a, 0x0c4d,
486 : 0x0c55, 0x0c56,
487 : 0x0c60, 0x0c61,
488 : 0x0c66, 0x0c6f,
489 : 0x0c82, 0x0c83,
490 : 0x0c85, 0x0c8c,
491 : 0x0c8e, 0x0c90,
492 : 0x0c92, 0x0ca8,
493 : 0x0caa, 0x0cb3,
494 : 0x0cb5, 0x0cb9,
495 : 0x0cbc, 0x0cc4,
496 : 0x0cc6, 0x0cc8,
497 : 0x0cca, 0x0ccd,
498 : 0x0cd5, 0x0cd6,
499 : 0x0cde, 0x0cde,
500 : 0x0ce0, 0x0ce1,
501 : 0x0ce6, 0x0cef,
502 : 0x0d02, 0x0d03,
503 : 0x0d05, 0x0d0c,
504 : 0x0d0e, 0x0d10,
505 : 0x0d12, 0x0d28,
506 : 0x0d2a, 0x0d39,
507 : 0x0d3e, 0x0d43,
508 : 0x0d46, 0x0d48,
509 : 0x0d4a, 0x0d4d,
510 : 0x0d57, 0x0d57,
511 : 0x0d60, 0x0d61,
512 : 0x0d66, 0x0d6f,
513 : 0x0d82, 0x0d83,
514 : 0x0d85, 0x0d96,
515 : 0x0d9a, 0x0db1,
516 : 0x0db3, 0x0dbb,
517 : 0x0dbd, 0x0dbd,
518 : 0x0dc0, 0x0dc6,
519 : 0x0dca, 0x0dca,
520 : 0x0dcf, 0x0dd4,
521 : 0x0dd6, 0x0dd6,
522 : 0x0dd8, 0x0ddf,
523 : 0x0df2, 0x0df3,
524 : 0x0e01, 0x0e3a,
525 : 0x0e40, 0x0e4e,
526 : 0x0e50, 0x0e59,
527 : 0x0e81, 0x0e82,
528 : 0x0e84, 0x0e84,
529 : 0x0e87, 0x0e88,
530 : 0x0e8a, 0x0e8a,
531 : 0x0e8d, 0x0e8d,
532 : 0x0e94, 0x0e97,
533 : 0x0e99, 0x0e9f,
534 : 0x0ea1, 0x0ea3,
535 : 0x0ea5, 0x0ea5,
536 : 0x0ea7, 0x0ea7,
537 : 0x0eaa, 0x0eab,
538 : 0x0ead, 0x0eb9,
539 : 0x0ebb, 0x0ebd,
540 : 0x0ec0, 0x0ec4,
541 : 0x0ec6, 0x0ec6,
542 : 0x0ec8, 0x0ecd,
543 : 0x0ed0, 0x0ed9,
544 : 0x0edc, 0x0edd,
545 : 0x0f00, 0x0f00,
546 : 0x0f18, 0x0f19,
547 : 0x0f20, 0x0f29,
548 : 0x0f35, 0x0f35,
549 : 0x0f37, 0x0f37,
550 : 0x0f39, 0x0f39,
551 : 0x0f3e, 0x0f47,
552 : 0x0f49, 0x0f6a,
553 : 0x0f71, 0x0f84,
554 : 0x0f86, 0x0f8b,
555 : 0x0f90, 0x0f97,
556 : 0x0f99, 0x0fbc,
557 : 0x0fc6, 0x0fc6,
558 : 0x1000, 0x1021,
559 : 0x1023, 0x1027,
560 : 0x1029, 0x102a,
561 : 0x102c, 0x1032,
562 : 0x1036, 0x1039,
563 : 0x1040, 0x1049,
564 : 0x1050, 0x1059,
565 : 0x10a0, 0x10c5,
566 : 0x10d0, 0x10f8,
567 : 0x1100, 0x1159,
568 : 0x115f, 0x11a2,
569 : 0x11a8, 0x11f9,
570 : 0x1200, 0x1206,
571 : 0x1208, 0x1246,
572 : 0x1248, 0x1248,
573 : 0x124a, 0x124d,
574 : 0x1250, 0x1256,
575 : 0x1258, 0x1258,
576 : 0x125a, 0x125d,
577 : 0x1260, 0x1286,
578 : 0x1288, 0x1288,
579 : 0x128a, 0x128d,
580 : 0x1290, 0x12ae,
581 : 0x12b0, 0x12b0,
582 : 0x12b2, 0x12b5,
583 : 0x12b8, 0x12be,
584 : 0x12c0, 0x12c0,
585 : 0x12c2, 0x12c5,
586 : 0x12c8, 0x12ce,
587 : 0x12d0, 0x12d6,
588 : 0x12d8, 0x12ee,
589 : 0x12f0, 0x130e,
590 : 0x1310, 0x1310,
591 : 0x1312, 0x1315,
592 : 0x1318, 0x131e,
593 : 0x1320, 0x1346,
594 : 0x1348, 0x135a,
595 : 0x1369, 0x1371,
596 : 0x13a0, 0x13f4,
597 : 0x1401, 0x166c,
598 : 0x166f, 0x1676,
599 : 0x1681, 0x169a,
600 : 0x16a0, 0x16ea,
601 : 0x1700, 0x170c,
602 : 0x170e, 0x1714,
603 : 0x1720, 0x1734,
604 : 0x1740, 0x1753,
605 : 0x1760, 0x176c,
606 : 0x176e, 0x1770,
607 : 0x1772, 0x1773,
608 : 0x1780, 0x17b3,
609 : 0x17b6, 0x17d3,
610 : 0x17d7, 0x17d7,
611 : 0x17dc, 0x17dd,
612 : 0x17e0, 0x17e9,
613 : 0x180b, 0x180d,
614 : 0x1810, 0x1819,
615 : 0x1820, 0x1877,
616 : 0x1880, 0x18a9,
617 : 0x1900, 0x191c,
618 : 0x1920, 0x192b,
619 : 0x1930, 0x193b,
620 : 0x1946, 0x196d,
621 : 0x1970, 0x1974,
622 : 0x1d00, 0x1d6b,
623 : 0x1e00, 0x1e9b,
624 : 0x1ea0, 0x1ef9,
625 : 0x1f00, 0x1f15,
626 : 0x1f18, 0x1f1d,
627 : 0x1f20, 0x1f45,
628 : 0x1f48, 0x1f4d,
629 : 0x1f50, 0x1f57,
630 : 0x1f59, 0x1f59,
631 : 0x1f5b, 0x1f5b,
632 : 0x1f5d, 0x1f5d,
633 : 0x1f5f, 0x1f7d,
634 : 0x1f80, 0x1fb4,
635 : 0x1fb6, 0x1fbc,
636 : 0x1fbe, 0x1fbe,
637 : 0x1fc2, 0x1fc4,
638 : 0x1fc6, 0x1fcc,
639 : 0x1fd0, 0x1fd3,
640 : 0x1fd6, 0x1fdb,
641 : 0x1fe0, 0x1fec,
642 : 0x1ff2, 0x1ff4,
643 : 0x1ff6, 0x1ffc,
644 : 0x2071, 0x2071,
645 : 0x207f, 0x207f,
646 : 0x20d0, 0x20ea,
647 : 0x2102, 0x2102,
648 : 0x2107, 0x2107,
649 : 0x210a, 0x2113,
650 : 0x2115, 0x2115,
651 : 0x2119, 0x211d,
652 : 0x2124, 0x2124,
653 : 0x2126, 0x2126,
654 : 0x2128, 0x2128,
655 : 0x212a, 0x212d,
656 : 0x212f, 0x2131,
657 : 0x2133, 0x2139,
658 : 0x213d, 0x213f,
659 : 0x2145, 0x2149,
660 : 0x3005, 0x3006,
661 : 0x302a, 0x302f,
662 : 0x3031, 0x3035,
663 : 0x303b, 0x303c,
664 : 0x3041, 0x3096,
665 : 0x3099, 0x309a,
666 : 0x309d, 0x309f,
667 : 0x30a1, 0x30fa,
668 : 0x30fc, 0x30ff,
669 : 0x3105, 0x312c,
670 : 0x3131, 0x318e,
671 : 0x31a0, 0x31b7,
672 : 0x31f0, 0x31ff,
673 : 0x3400, 0x4db5,
674 : 0x4e00, 0x9fa5,
675 : 0xa000, 0xa48c,
676 : 0xac00, 0xd7a3,
677 : 0xf900, 0xfa2d,
678 : 0xfa30, 0xfa6a,
679 : 0xfb00, 0xfb06,
680 : 0xfb13, 0xfb17,
681 : 0xfb1d, 0xfb28,
682 : 0xfb2a, 0xfb36,
683 : 0xfb38, 0xfb3c,
684 : 0xfb3e, 0xfb3e,
685 : 0xfb40, 0xfb41,
686 : 0xfb43, 0xfb44,
687 : 0xfb46, 0xfbb1,
688 : 0xfbd3, 0xfd3d,
689 : 0xfd50, 0xfd8f,
690 : 0xfd92, 0xfdc7,
691 : 0xfdf0, 0xfdfb,
692 : 0xfe00, 0xfe0f,
693 : 0xfe20, 0xfe23,
694 : 0xfe70, 0xfe74,
695 : 0xfe76, 0xfefc,
696 : 0xff10, 0xff19,
697 : 0xff21, 0xff3a,
698 : 0xff41, 0xff5a,
699 : 0xff66, 0xffbe,
700 : 0xffc2, 0xffc7,
701 : 0xffca, 0xffcf,
702 : 0xffd2, 0xffd7,
703 : 0xffda, 0xffdc,
704 : 0x10000, 0x1000b,
705 : 0x1000d, 0x10026,
706 : 0x10028, 0x1003a,
707 : 0x1003c, 0x1003d,
708 : 0x1003f, 0x1004d,
709 : 0x10050, 0x1005d,
710 : 0x10080, 0x100fa,
711 : 0x10300, 0x1031e,
712 : 0x10330, 0x10349,
713 : 0x10380, 0x1039d,
714 : 0x10400, 0x1049d,
715 : 0x104a0, 0x104a9,
716 : 0x10800, 0x10805,
717 : 0x10808, 0x10808,
718 : 0x1080a, 0x10835,
719 : 0x10837, 0x10838,
720 : 0x1083c, 0x1083c,
721 : 0x1083f, 0x1083f,
722 : 0x1d165, 0x1d169,
723 : 0x1d16d, 0x1d172,
724 : 0x1d17b, 0x1d182,
725 : 0x1d185, 0x1d18b,
726 : 0x1d1aa, 0x1d1ad,
727 : 0x1d400, 0x1d454,
728 : 0x1d456, 0x1d49c,
729 : 0x1d49e, 0x1d49f,
730 : 0x1d4a2, 0x1d4a2,
731 : 0x1d4a5, 0x1d4a6,
732 : 0x1d4a9, 0x1d4ac,
733 : 0x1d4ae, 0x1d4b9,
734 : 0x1d4bb, 0x1d4bb,
735 : 0x1d4bd, 0x1d4c3,
736 : 0x1d4c5, 0x1d505,
737 : 0x1d507, 0x1d50a,
738 : 0x1d50d, 0x1d514,
739 : 0x1d516, 0x1d51c,
740 : 0x1d51e, 0x1d539,
741 : 0x1d53b, 0x1d53e,
742 : 0x1d540, 0x1d544,
743 : 0x1d546, 0x1d546,
744 : 0x1d54a, 0x1d550,
745 : 0x1d552, 0x1d6a3,
746 : 0x1d6a8, 0x1d6c0,
747 : 0x1d6c2, 0x1d6da,
748 : 0x1d6dc, 0x1d6fa,
749 : 0x1d6fc, 0x1d714,
750 : 0x1d716, 0x1d734,
751 : 0x1d736, 0x1d74e,
752 : 0x1d750, 0x1d76e,
753 : 0x1d770, 0x1d788,
754 : 0x1d78a, 0x1d7a8,
755 : 0x1d7aa, 0x1d7c2,
756 : 0x1d7c4, 0x1d7c9,
757 : 0x1d7ce, 0x1d7ff,
758 : 0x20000, 0x2a6d6,
759 : 0x2f800, 0x2fa1d,
760 : 0xe0100, 0xe01ef
761 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
762 : }; /* end of MBAlnum */
763 :
764 : static const OnigCodePoint SBAlpha[] = {
765 : 2,
766 : 0x0041, 0x005a,
767 : 0x0061, 0x007a
768 : };
769 :
770 : static const OnigCodePoint MBAlpha[] = {
771 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
772 : 394,
773 : #else
774 : 6,
775 : #endif
776 : 0x00aa, 0x00aa,
777 : 0x00b5, 0x00b5,
778 : 0x00ba, 0x00ba,
779 : 0x00c0, 0x00d6,
780 : 0x00d8, 0x00f6,
781 : 0x00f8, 0x0236
782 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
783 : ,
784 : 0x0250, 0x02c1,
785 : 0x02c6, 0x02d1,
786 : 0x02e0, 0x02e4,
787 : 0x02ee, 0x02ee,
788 : 0x0300, 0x0357,
789 : 0x035d, 0x036f,
790 : 0x037a, 0x037a,
791 : 0x0386, 0x0386,
792 : 0x0388, 0x038a,
793 : 0x038c, 0x038c,
794 : 0x038e, 0x03a1,
795 : 0x03a3, 0x03ce,
796 : 0x03d0, 0x03f5,
797 : 0x03f7, 0x03fb,
798 : 0x0400, 0x0481,
799 : 0x0483, 0x0486,
800 : 0x0488, 0x04ce,
801 : 0x04d0, 0x04f5,
802 : 0x04f8, 0x04f9,
803 : 0x0500, 0x050f,
804 : 0x0531, 0x0556,
805 : 0x0559, 0x0559,
806 : 0x0561, 0x0587,
807 : 0x0591, 0x05a1,
808 : 0x05a3, 0x05b9,
809 : 0x05bb, 0x05bd,
810 : 0x05bf, 0x05bf,
811 : 0x05c1, 0x05c2,
812 : 0x05c4, 0x05c4,
813 : 0x05d0, 0x05ea,
814 : 0x05f0, 0x05f2,
815 : 0x0610, 0x0615,
816 : 0x0621, 0x063a,
817 : 0x0640, 0x0658,
818 : 0x066e, 0x06d3,
819 : 0x06d5, 0x06dc,
820 : 0x06de, 0x06e8,
821 : 0x06ea, 0x06ef,
822 : 0x06fa, 0x06fc,
823 : 0x06ff, 0x06ff,
824 : 0x0710, 0x074a,
825 : 0x074d, 0x074f,
826 : 0x0780, 0x07b1,
827 : 0x0901, 0x0939,
828 : 0x093c, 0x094d,
829 : 0x0950, 0x0954,
830 : 0x0958, 0x0963,
831 : 0x0981, 0x0983,
832 : 0x0985, 0x098c,
833 : 0x098f, 0x0990,
834 : 0x0993, 0x09a8,
835 : 0x09aa, 0x09b0,
836 : 0x09b2, 0x09b2,
837 : 0x09b6, 0x09b9,
838 : 0x09bc, 0x09c4,
839 : 0x09c7, 0x09c8,
840 : 0x09cb, 0x09cd,
841 : 0x09d7, 0x09d7,
842 : 0x09dc, 0x09dd,
843 : 0x09df, 0x09e3,
844 : 0x09f0, 0x09f1,
845 : 0x0a01, 0x0a03,
846 : 0x0a05, 0x0a0a,
847 : 0x0a0f, 0x0a10,
848 : 0x0a13, 0x0a28,
849 : 0x0a2a, 0x0a30,
850 : 0x0a32, 0x0a33,
851 : 0x0a35, 0x0a36,
852 : 0x0a38, 0x0a39,
853 : 0x0a3c, 0x0a3c,
854 : 0x0a3e, 0x0a42,
855 : 0x0a47, 0x0a48,
856 : 0x0a4b, 0x0a4d,
857 : 0x0a59, 0x0a5c,
858 : 0x0a5e, 0x0a5e,
859 : 0x0a70, 0x0a74,
860 : 0x0a81, 0x0a83,
861 : 0x0a85, 0x0a8d,
862 : 0x0a8f, 0x0a91,
863 : 0x0a93, 0x0aa8,
864 : 0x0aaa, 0x0ab0,
865 : 0x0ab2, 0x0ab3,
866 : 0x0ab5, 0x0ab9,
867 : 0x0abc, 0x0ac5,
868 : 0x0ac7, 0x0ac9,
869 : 0x0acb, 0x0acd,
870 : 0x0ad0, 0x0ad0,
871 : 0x0ae0, 0x0ae3,
872 : 0x0b01, 0x0b03,
873 : 0x0b05, 0x0b0c,
874 : 0x0b0f, 0x0b10,
875 : 0x0b13, 0x0b28,
876 : 0x0b2a, 0x0b30,
877 : 0x0b32, 0x0b33,
878 : 0x0b35, 0x0b39,
879 : 0x0b3c, 0x0b43,
880 : 0x0b47, 0x0b48,
881 : 0x0b4b, 0x0b4d,
882 : 0x0b56, 0x0b57,
883 : 0x0b5c, 0x0b5d,
884 : 0x0b5f, 0x0b61,
885 : 0x0b71, 0x0b71,
886 : 0x0b82, 0x0b83,
887 : 0x0b85, 0x0b8a,
888 : 0x0b8e, 0x0b90,
889 : 0x0b92, 0x0b95,
890 : 0x0b99, 0x0b9a,
891 : 0x0b9c, 0x0b9c,
892 : 0x0b9e, 0x0b9f,
893 : 0x0ba3, 0x0ba4,
894 : 0x0ba8, 0x0baa,
895 : 0x0bae, 0x0bb5,
896 : 0x0bb7, 0x0bb9,
897 : 0x0bbe, 0x0bc2,
898 : 0x0bc6, 0x0bc8,
899 : 0x0bca, 0x0bcd,
900 : 0x0bd7, 0x0bd7,
901 : 0x0c01, 0x0c03,
902 : 0x0c05, 0x0c0c,
903 : 0x0c0e, 0x0c10,
904 : 0x0c12, 0x0c28,
905 : 0x0c2a, 0x0c33,
906 : 0x0c35, 0x0c39,
907 : 0x0c3e, 0x0c44,
908 : 0x0c46, 0x0c48,
909 : 0x0c4a, 0x0c4d,
910 : 0x0c55, 0x0c56,
911 : 0x0c60, 0x0c61,
912 : 0x0c82, 0x0c83,
913 : 0x0c85, 0x0c8c,
914 : 0x0c8e, 0x0c90,
915 : 0x0c92, 0x0ca8,
916 : 0x0caa, 0x0cb3,
917 : 0x0cb5, 0x0cb9,
918 : 0x0cbc, 0x0cc4,
919 : 0x0cc6, 0x0cc8,
920 : 0x0cca, 0x0ccd,
921 : 0x0cd5, 0x0cd6,
922 : 0x0cde, 0x0cde,
923 : 0x0ce0, 0x0ce1,
924 : 0x0d02, 0x0d03,
925 : 0x0d05, 0x0d0c,
926 : 0x0d0e, 0x0d10,
927 : 0x0d12, 0x0d28,
928 : 0x0d2a, 0x0d39,
929 : 0x0d3e, 0x0d43,
930 : 0x0d46, 0x0d48,
931 : 0x0d4a, 0x0d4d,
932 : 0x0d57, 0x0d57,
933 : 0x0d60, 0x0d61,
934 : 0x0d82, 0x0d83,
935 : 0x0d85, 0x0d96,
936 : 0x0d9a, 0x0db1,
937 : 0x0db3, 0x0dbb,
938 : 0x0dbd, 0x0dbd,
939 : 0x0dc0, 0x0dc6,
940 : 0x0dca, 0x0dca,
941 : 0x0dcf, 0x0dd4,
942 : 0x0dd6, 0x0dd6,
943 : 0x0dd8, 0x0ddf,
944 : 0x0df2, 0x0df3,
945 : 0x0e01, 0x0e3a,
946 : 0x0e40, 0x0e4e,
947 : 0x0e81, 0x0e82,
948 : 0x0e84, 0x0e84,
949 : 0x0e87, 0x0e88,
950 : 0x0e8a, 0x0e8a,
951 : 0x0e8d, 0x0e8d,
952 : 0x0e94, 0x0e97,
953 : 0x0e99, 0x0e9f,
954 : 0x0ea1, 0x0ea3,
955 : 0x0ea5, 0x0ea5,
956 : 0x0ea7, 0x0ea7,
957 : 0x0eaa, 0x0eab,
958 : 0x0ead, 0x0eb9,
959 : 0x0ebb, 0x0ebd,
960 : 0x0ec0, 0x0ec4,
961 : 0x0ec6, 0x0ec6,
962 : 0x0ec8, 0x0ecd,
963 : 0x0edc, 0x0edd,
964 : 0x0f00, 0x0f00,
965 : 0x0f18, 0x0f19,
966 : 0x0f35, 0x0f35,
967 : 0x0f37, 0x0f37,
968 : 0x0f39, 0x0f39,
969 : 0x0f3e, 0x0f47,
970 : 0x0f49, 0x0f6a,
971 : 0x0f71, 0x0f84,
972 : 0x0f86, 0x0f8b,
973 : 0x0f90, 0x0f97,
974 : 0x0f99, 0x0fbc,
975 : 0x0fc6, 0x0fc6,
976 : 0x1000, 0x1021,
977 : 0x1023, 0x1027,
978 : 0x1029, 0x102a,
979 : 0x102c, 0x1032,
980 : 0x1036, 0x1039,
981 : 0x1050, 0x1059,
982 : 0x10a0, 0x10c5,
983 : 0x10d0, 0x10f8,
984 : 0x1100, 0x1159,
985 : 0x115f, 0x11a2,
986 : 0x11a8, 0x11f9,
987 : 0x1200, 0x1206,
988 : 0x1208, 0x1246,
989 : 0x1248, 0x1248,
990 : 0x124a, 0x124d,
991 : 0x1250, 0x1256,
992 : 0x1258, 0x1258,
993 : 0x125a, 0x125d,
994 : 0x1260, 0x1286,
995 : 0x1288, 0x1288,
996 : 0x128a, 0x128d,
997 : 0x1290, 0x12ae,
998 : 0x12b0, 0x12b0,
999 : 0x12b2, 0x12b5,
1000 : 0x12b8, 0x12be,
1001 : 0x12c0, 0x12c0,
1002 : 0x12c2, 0x12c5,
1003 : 0x12c8, 0x12ce,
1004 : 0x12d0, 0x12d6,
1005 : 0x12d8, 0x12ee,
1006 : 0x12f0, 0x130e,
1007 : 0x1310, 0x1310,
1008 : 0x1312, 0x1315,
1009 : 0x1318, 0x131e,
1010 : 0x1320, 0x1346,
1011 : 0x1348, 0x135a,
1012 : 0x13a0, 0x13f4,
1013 : 0x1401, 0x166c,
1014 : 0x166f, 0x1676,
1015 : 0x1681, 0x169a,
1016 : 0x16a0, 0x16ea,
1017 : 0x1700, 0x170c,
1018 : 0x170e, 0x1714,
1019 : 0x1720, 0x1734,
1020 : 0x1740, 0x1753,
1021 : 0x1760, 0x176c,
1022 : 0x176e, 0x1770,
1023 : 0x1772, 0x1773,
1024 : 0x1780, 0x17b3,
1025 : 0x17b6, 0x17d3,
1026 : 0x17d7, 0x17d7,
1027 : 0x17dc, 0x17dd,
1028 : 0x180b, 0x180d,
1029 : 0x1820, 0x1877,
1030 : 0x1880, 0x18a9,
1031 : 0x1900, 0x191c,
1032 : 0x1920, 0x192b,
1033 : 0x1930, 0x193b,
1034 : 0x1950, 0x196d,
1035 : 0x1970, 0x1974,
1036 : 0x1d00, 0x1d6b,
1037 : 0x1e00, 0x1e9b,
1038 : 0x1ea0, 0x1ef9,
1039 : 0x1f00, 0x1f15,
1040 : 0x1f18, 0x1f1d,
1041 : 0x1f20, 0x1f45,
1042 : 0x1f48, 0x1f4d,
1043 : 0x1f50, 0x1f57,
1044 : 0x1f59, 0x1f59,
1045 : 0x1f5b, 0x1f5b,
1046 : 0x1f5d, 0x1f5d,
1047 : 0x1f5f, 0x1f7d,
1048 : 0x1f80, 0x1fb4,
1049 : 0x1fb6, 0x1fbc,
1050 : 0x1fbe, 0x1fbe,
1051 : 0x1fc2, 0x1fc4,
1052 : 0x1fc6, 0x1fcc,
1053 : 0x1fd0, 0x1fd3,
1054 : 0x1fd6, 0x1fdb,
1055 : 0x1fe0, 0x1fec,
1056 : 0x1ff2, 0x1ff4,
1057 : 0x1ff6, 0x1ffc,
1058 : 0x2071, 0x2071,
1059 : 0x207f, 0x207f,
1060 : 0x20d0, 0x20ea,
1061 : 0x2102, 0x2102,
1062 : 0x2107, 0x2107,
1063 : 0x210a, 0x2113,
1064 : 0x2115, 0x2115,
1065 : 0x2119, 0x211d,
1066 : 0x2124, 0x2124,
1067 : 0x2126, 0x2126,
1068 : 0x2128, 0x2128,
1069 : 0x212a, 0x212d,
1070 : 0x212f, 0x2131,
1071 : 0x2133, 0x2139,
1072 : 0x213d, 0x213f,
1073 : 0x2145, 0x2149,
1074 : 0x3005, 0x3006,
1075 : 0x302a, 0x302f,
1076 : 0x3031, 0x3035,
1077 : 0x303b, 0x303c,
1078 : 0x3041, 0x3096,
1079 : 0x3099, 0x309a,
1080 : 0x309d, 0x309f,
1081 : 0x30a1, 0x30fa,
1082 : 0x30fc, 0x30ff,
1083 : 0x3105, 0x312c,
1084 : 0x3131, 0x318e,
1085 : 0x31a0, 0x31b7,
1086 : 0x31f0, 0x31ff,
1087 : 0x3400, 0x4db5,
1088 : 0x4e00, 0x9fa5,
1089 : 0xa000, 0xa48c,
1090 : 0xac00, 0xd7a3,
1091 : 0xf900, 0xfa2d,
1092 : 0xfa30, 0xfa6a,
1093 : 0xfb00, 0xfb06,
1094 : 0xfb13, 0xfb17,
1095 : 0xfb1d, 0xfb28,
1096 : 0xfb2a, 0xfb36,
1097 : 0xfb38, 0xfb3c,
1098 : 0xfb3e, 0xfb3e,
1099 : 0xfb40, 0xfb41,
1100 : 0xfb43, 0xfb44,
1101 : 0xfb46, 0xfbb1,
1102 : 0xfbd3, 0xfd3d,
1103 : 0xfd50, 0xfd8f,
1104 : 0xfd92, 0xfdc7,
1105 : 0xfdf0, 0xfdfb,
1106 : 0xfe00, 0xfe0f,
1107 : 0xfe20, 0xfe23,
1108 : 0xfe70, 0xfe74,
1109 : 0xfe76, 0xfefc,
1110 : 0xff21, 0xff3a,
1111 : 0xff41, 0xff5a,
1112 : 0xff66, 0xffbe,
1113 : 0xffc2, 0xffc7,
1114 : 0xffca, 0xffcf,
1115 : 0xffd2, 0xffd7,
1116 : 0xffda, 0xffdc,
1117 : 0x10000, 0x1000b,
1118 : 0x1000d, 0x10026,
1119 : 0x10028, 0x1003a,
1120 : 0x1003c, 0x1003d,
1121 : 0x1003f, 0x1004d,
1122 : 0x10050, 0x1005d,
1123 : 0x10080, 0x100fa,
1124 : 0x10300, 0x1031e,
1125 : 0x10330, 0x10349,
1126 : 0x10380, 0x1039d,
1127 : 0x10400, 0x1049d,
1128 : 0x10800, 0x10805,
1129 : 0x10808, 0x10808,
1130 : 0x1080a, 0x10835,
1131 : 0x10837, 0x10838,
1132 : 0x1083c, 0x1083c,
1133 : 0x1083f, 0x1083f,
1134 : 0x1d165, 0x1d169,
1135 : 0x1d16d, 0x1d172,
1136 : 0x1d17b, 0x1d182,
1137 : 0x1d185, 0x1d18b,
1138 : 0x1d1aa, 0x1d1ad,
1139 : 0x1d400, 0x1d454,
1140 : 0x1d456, 0x1d49c,
1141 : 0x1d49e, 0x1d49f,
1142 : 0x1d4a2, 0x1d4a2,
1143 : 0x1d4a5, 0x1d4a6,
1144 : 0x1d4a9, 0x1d4ac,
1145 : 0x1d4ae, 0x1d4b9,
1146 : 0x1d4bb, 0x1d4bb,
1147 : 0x1d4bd, 0x1d4c3,
1148 : 0x1d4c5, 0x1d505,
1149 : 0x1d507, 0x1d50a,
1150 : 0x1d50d, 0x1d514,
1151 : 0x1d516, 0x1d51c,
1152 : 0x1d51e, 0x1d539,
1153 : 0x1d53b, 0x1d53e,
1154 : 0x1d540, 0x1d544,
1155 : 0x1d546, 0x1d546,
1156 : 0x1d54a, 0x1d550,
1157 : 0x1d552, 0x1d6a3,
1158 : 0x1d6a8, 0x1d6c0,
1159 : 0x1d6c2, 0x1d6da,
1160 : 0x1d6dc, 0x1d6fa,
1161 : 0x1d6fc, 0x1d714,
1162 : 0x1d716, 0x1d734,
1163 : 0x1d736, 0x1d74e,
1164 : 0x1d750, 0x1d76e,
1165 : 0x1d770, 0x1d788,
1166 : 0x1d78a, 0x1d7a8,
1167 : 0x1d7aa, 0x1d7c2,
1168 : 0x1d7c4, 0x1d7c9,
1169 : 0x20000, 0x2a6d6,
1170 : 0x2f800, 0x2fa1d,
1171 : 0xe0100, 0xe01ef
1172 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
1173 : }; /* end of MBAlpha */
1174 :
1175 : static const OnigCodePoint SBBlank[] = {
1176 : 2,
1177 : 0x0009, 0x0009,
1178 : 0x0020, 0x0020
1179 : };
1180 :
1181 : static const OnigCodePoint MBBlank[] = {
1182 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1183 : 7,
1184 : #else
1185 : 1,
1186 : #endif
1187 : 0x00a0, 0x00a0
1188 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1189 : ,
1190 : 0x1680, 0x1680,
1191 : 0x180e, 0x180e,
1192 : 0x2000, 0x200a,
1193 : 0x202f, 0x202f,
1194 : 0x205f, 0x205f,
1195 : 0x3000, 0x3000
1196 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
1197 : }; /* end of MBBlank */
1198 :
1199 : static const OnigCodePoint SBCntrl[] = {
1200 : 2,
1201 : 0x0000, 0x001f,
1202 : 0x007f, 0x007f
1203 : };
1204 :
1205 : static const OnigCodePoint MBCntrl[] = {
1206 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1207 : 18,
1208 : #else
1209 : 2,
1210 : #endif
1211 : 0x0080, 0x009f,
1212 : 0x00ad, 0x00ad
1213 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1214 : ,
1215 : 0x0600, 0x0603,
1216 : 0x06dd, 0x06dd,
1217 : 0x070f, 0x070f,
1218 : 0x17b4, 0x17b5,
1219 : 0x200b, 0x200f,
1220 : 0x202a, 0x202e,
1221 : 0x2060, 0x2063,
1222 : 0x206a, 0x206f,
1223 : 0xd800, 0xf8ff,
1224 : 0xfeff, 0xfeff,
1225 : 0xfff9, 0xfffb,
1226 : 0x1d173, 0x1d17a,
1227 : 0xe0001, 0xe0001,
1228 : 0xe0020, 0xe007f,
1229 : 0xf0000, 0xffffd,
1230 : 0x100000, 0x10fffd
1231 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
1232 : }; /* end of MBCntrl */
1233 :
1234 : static const OnigCodePoint SBDigit[] = {
1235 : 1,
1236 : 0x0030, 0x0039
1237 : };
1238 :
1239 : static const OnigCodePoint MBDigit[] = {
1240 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1241 : 22,
1242 : #else
1243 : 0
1244 : #endif
1245 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1246 : 0x0660, 0x0669,
1247 : 0x06f0, 0x06f9,
1248 : 0x0966, 0x096f,
1249 : 0x09e6, 0x09ef,
1250 : 0x0a66, 0x0a6f,
1251 : 0x0ae6, 0x0aef,
1252 : 0x0b66, 0x0b6f,
1253 : 0x0be7, 0x0bef,
1254 : 0x0c66, 0x0c6f,
1255 : 0x0ce6, 0x0cef,
1256 : 0x0d66, 0x0d6f,
1257 : 0x0e50, 0x0e59,
1258 : 0x0ed0, 0x0ed9,
1259 : 0x0f20, 0x0f29,
1260 : 0x1040, 0x1049,
1261 : 0x1369, 0x1371,
1262 : 0x17e0, 0x17e9,
1263 : 0x1810, 0x1819,
1264 : 0x1946, 0x194f,
1265 : 0xff10, 0xff19,
1266 : 0x104a0, 0x104a9,
1267 : 0x1d7ce, 0x1d7ff
1268 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
1269 : }; /* end of MBDigit */
1270 :
1271 : static const OnigCodePoint SBGraph[] = {
1272 : 1,
1273 : 0x0021, 0x007e
1274 : };
1275 :
1276 : static const OnigCodePoint MBGraph[] = {
1277 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1278 : 404,
1279 : #else
1280 : 1,
1281 : #endif
1282 : 0x00a1, 0x0236
1283 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1284 : ,
1285 : 0x0250, 0x0357,
1286 : 0x035d, 0x036f,
1287 : 0x0374, 0x0375,
1288 : 0x037a, 0x037a,
1289 : 0x037e, 0x037e,
1290 : 0x0384, 0x038a,
1291 : 0x038c, 0x038c,
1292 : 0x038e, 0x03a1,
1293 : 0x03a3, 0x03ce,
1294 : 0x03d0, 0x03fb,
1295 : 0x0400, 0x0486,
1296 : 0x0488, 0x04ce,
1297 : 0x04d0, 0x04f5,
1298 : 0x04f8, 0x04f9,
1299 : 0x0500, 0x050f,
1300 : 0x0531, 0x0556,
1301 : 0x0559, 0x055f,
1302 : 0x0561, 0x0587,
1303 : 0x0589, 0x058a,
1304 : 0x0591, 0x05a1,
1305 : 0x05a3, 0x05b9,
1306 : 0x05bb, 0x05c4,
1307 : 0x05d0, 0x05ea,
1308 : 0x05f0, 0x05f4,
1309 : 0x0600, 0x0603,
1310 : 0x060c, 0x0615,
1311 : 0x061b, 0x061b,
1312 : 0x061f, 0x061f,
1313 : 0x0621, 0x063a,
1314 : 0x0640, 0x0658,
1315 : 0x0660, 0x070d,
1316 : 0x070f, 0x074a,
1317 : 0x074d, 0x074f,
1318 : 0x0780, 0x07b1,
1319 : 0x0901, 0x0939,
1320 : 0x093c, 0x094d,
1321 : 0x0950, 0x0954,
1322 : 0x0958, 0x0970,
1323 : 0x0981, 0x0983,
1324 : 0x0985, 0x098c,
1325 : 0x098f, 0x0990,
1326 : 0x0993, 0x09a8,
1327 : 0x09aa, 0x09b0,
1328 : 0x09b2, 0x09b2,
1329 : 0x09b6, 0x09b9,
1330 : 0x09bc, 0x09c4,
1331 : 0x09c7, 0x09c8,
1332 : 0x09cb, 0x09cd,
1333 : 0x09d7, 0x09d7,
1334 : 0x09dc, 0x09dd,
1335 : 0x09df, 0x09e3,
1336 : 0x09e6, 0x09fa,
1337 : 0x0a01, 0x0a03,
1338 : 0x0a05, 0x0a0a,
1339 : 0x0a0f, 0x0a10,
1340 : 0x0a13, 0x0a28,
1341 : 0x0a2a, 0x0a30,
1342 : 0x0a32, 0x0a33,
1343 : 0x0a35, 0x0a36,
1344 : 0x0a38, 0x0a39,
1345 : 0x0a3c, 0x0a3c,
1346 : 0x0a3e, 0x0a42,
1347 : 0x0a47, 0x0a48,
1348 : 0x0a4b, 0x0a4d,
1349 : 0x0a59, 0x0a5c,
1350 : 0x0a5e, 0x0a5e,
1351 : 0x0a66, 0x0a74,
1352 : 0x0a81, 0x0a83,
1353 : 0x0a85, 0x0a8d,
1354 : 0x0a8f, 0x0a91,
1355 : 0x0a93, 0x0aa8,
1356 : 0x0aaa, 0x0ab0,
1357 : 0x0ab2, 0x0ab3,
1358 : 0x0ab5, 0x0ab9,
1359 : 0x0abc, 0x0ac5,
1360 : 0x0ac7, 0x0ac9,
1361 : 0x0acb, 0x0acd,
1362 : 0x0ad0, 0x0ad0,
1363 : 0x0ae0, 0x0ae3,
1364 : 0x0ae6, 0x0aef,
1365 : 0x0af1, 0x0af1,
1366 : 0x0b01, 0x0b03,
1367 : 0x0b05, 0x0b0c,
1368 : 0x0b0f, 0x0b10,
1369 : 0x0b13, 0x0b28,
1370 : 0x0b2a, 0x0b30,
1371 : 0x0b32, 0x0b33,
1372 : 0x0b35, 0x0b39,
1373 : 0x0b3c, 0x0b43,
1374 : 0x0b47, 0x0b48,
1375 : 0x0b4b, 0x0b4d,
1376 : 0x0b56, 0x0b57,
1377 : 0x0b5c, 0x0b5d,
1378 : 0x0b5f, 0x0b61,
1379 : 0x0b66, 0x0b71,
1380 : 0x0b82, 0x0b83,
1381 : 0x0b85, 0x0b8a,
1382 : 0x0b8e, 0x0b90,
1383 : 0x0b92, 0x0b95,
1384 : 0x0b99, 0x0b9a,
1385 : 0x0b9c, 0x0b9c,
1386 : 0x0b9e, 0x0b9f,
1387 : 0x0ba3, 0x0ba4,
1388 : 0x0ba8, 0x0baa,
1389 : 0x0bae, 0x0bb5,
1390 : 0x0bb7, 0x0bb9,
1391 : 0x0bbe, 0x0bc2,
1392 : 0x0bc6, 0x0bc8,
1393 : 0x0bca, 0x0bcd,
1394 : 0x0bd7, 0x0bd7,
1395 : 0x0be7, 0x0bfa,
1396 : 0x0c01, 0x0c03,
1397 : 0x0c05, 0x0c0c,
1398 : 0x0c0e, 0x0c10,
1399 : 0x0c12, 0x0c28,
1400 : 0x0c2a, 0x0c33,
1401 : 0x0c35, 0x0c39,
1402 : 0x0c3e, 0x0c44,
1403 : 0x0c46, 0x0c48,
1404 : 0x0c4a, 0x0c4d,
1405 : 0x0c55, 0x0c56,
1406 : 0x0c60, 0x0c61,
1407 : 0x0c66, 0x0c6f,
1408 : 0x0c82, 0x0c83,
1409 : 0x0c85, 0x0c8c,
1410 : 0x0c8e, 0x0c90,
1411 : 0x0c92, 0x0ca8,
1412 : 0x0caa, 0x0cb3,
1413 : 0x0cb5, 0x0cb9,
1414 : 0x0cbc, 0x0cc4,
1415 : 0x0cc6, 0x0cc8,
1416 : 0x0cca, 0x0ccd,
1417 : 0x0cd5, 0x0cd6,
1418 : 0x0cde, 0x0cde,
1419 : 0x0ce0, 0x0ce1,
1420 : 0x0ce6, 0x0cef,
1421 : 0x0d02, 0x0d03,
1422 : 0x0d05, 0x0d0c,
1423 : 0x0d0e, 0x0d10,
1424 : 0x0d12, 0x0d28,
1425 : 0x0d2a, 0x0d39,
1426 : 0x0d3e, 0x0d43,
1427 : 0x0d46, 0x0d48,
1428 : 0x0d4a, 0x0d4d,
1429 : 0x0d57, 0x0d57,
1430 : 0x0d60, 0x0d61,
1431 : 0x0d66, 0x0d6f,
1432 : 0x0d82, 0x0d83,
1433 : 0x0d85, 0x0d96,
1434 : 0x0d9a, 0x0db1,
1435 : 0x0db3, 0x0dbb,
1436 : 0x0dbd, 0x0dbd,
1437 : 0x0dc0, 0x0dc6,
1438 : 0x0dca, 0x0dca,
1439 : 0x0dcf, 0x0dd4,
1440 : 0x0dd6, 0x0dd6,
1441 : 0x0dd8, 0x0ddf,
1442 : 0x0df2, 0x0df4,
1443 : 0x0e01, 0x0e3a,
1444 : 0x0e3f, 0x0e5b,
1445 : 0x0e81, 0x0e82,
1446 : 0x0e84, 0x0e84,
1447 : 0x0e87, 0x0e88,
1448 : 0x0e8a, 0x0e8a,
1449 : 0x0e8d, 0x0e8d,
1450 : 0x0e94, 0x0e97,
1451 : 0x0e99, 0x0e9f,
1452 : 0x0ea1, 0x0ea3,
1453 : 0x0ea5, 0x0ea5,
1454 : 0x0ea7, 0x0ea7,
1455 : 0x0eaa, 0x0eab,
1456 : 0x0ead, 0x0eb9,
1457 : 0x0ebb, 0x0ebd,
1458 : 0x0ec0, 0x0ec4,
1459 : 0x0ec6, 0x0ec6,
1460 : 0x0ec8, 0x0ecd,
1461 : 0x0ed0, 0x0ed9,
1462 : 0x0edc, 0x0edd,
1463 : 0x0f00, 0x0f47,
1464 : 0x0f49, 0x0f6a,
1465 : 0x0f71, 0x0f8b,
1466 : 0x0f90, 0x0f97,
1467 : 0x0f99, 0x0fbc,
1468 : 0x0fbe, 0x0fcc,
1469 : 0x0fcf, 0x0fcf,
1470 : 0x1000, 0x1021,
1471 : 0x1023, 0x1027,
1472 : 0x1029, 0x102a,
1473 : 0x102c, 0x1032,
1474 : 0x1036, 0x1039,
1475 : 0x1040, 0x1059,
1476 : 0x10a0, 0x10c5,
1477 : 0x10d0, 0x10f8,
1478 : 0x10fb, 0x10fb,
1479 : 0x1100, 0x1159,
1480 : 0x115f, 0x11a2,
1481 : 0x11a8, 0x11f9,
1482 : 0x1200, 0x1206,
1483 : 0x1208, 0x1246,
1484 : 0x1248, 0x1248,
1485 : 0x124a, 0x124d,
1486 : 0x1250, 0x1256,
1487 : 0x1258, 0x1258,
1488 : 0x125a, 0x125d,
1489 : 0x1260, 0x1286,
1490 : 0x1288, 0x1288,
1491 : 0x128a, 0x128d,
1492 : 0x1290, 0x12ae,
1493 : 0x12b0, 0x12b0,
1494 : 0x12b2, 0x12b5,
1495 : 0x12b8, 0x12be,
1496 : 0x12c0, 0x12c0,
1497 : 0x12c2, 0x12c5,
1498 : 0x12c8, 0x12ce,
1499 : 0x12d0, 0x12d6,
1500 : 0x12d8, 0x12ee,
1501 : 0x12f0, 0x130e,
1502 : 0x1310, 0x1310,
1503 : 0x1312, 0x1315,
1504 : 0x1318, 0x131e,
1505 : 0x1320, 0x1346,
1506 : 0x1348, 0x135a,
1507 : 0x1361, 0x137c,
1508 : 0x13a0, 0x13f4,
1509 : 0x1401, 0x1676,
1510 : 0x1681, 0x169c,
1511 : 0x16a0, 0x16f0,
1512 : 0x1700, 0x170c,
1513 : 0x170e, 0x1714,
1514 : 0x1720, 0x1736,
1515 : 0x1740, 0x1753,
1516 : 0x1760, 0x176c,
1517 : 0x176e, 0x1770,
1518 : 0x1772, 0x1773,
1519 : 0x1780, 0x17dd,
1520 : 0x17e0, 0x17e9,
1521 : 0x17f0, 0x17f9,
1522 : 0x1800, 0x180d,
1523 : 0x1810, 0x1819,
1524 : 0x1820, 0x1877,
1525 : 0x1880, 0x18a9,
1526 : 0x1900, 0x191c,
1527 : 0x1920, 0x192b,
1528 : 0x1930, 0x193b,
1529 : 0x1940, 0x1940,
1530 : 0x1944, 0x196d,
1531 : 0x1970, 0x1974,
1532 : 0x19e0, 0x19ff,
1533 : 0x1d00, 0x1d6b,
1534 : 0x1e00, 0x1e9b,
1535 : 0x1ea0, 0x1ef9,
1536 : 0x1f00, 0x1f15,
1537 : 0x1f18, 0x1f1d,
1538 : 0x1f20, 0x1f45,
1539 : 0x1f48, 0x1f4d,
1540 : 0x1f50, 0x1f57,
1541 : 0x1f59, 0x1f59,
1542 : 0x1f5b, 0x1f5b,
1543 : 0x1f5d, 0x1f5d,
1544 : 0x1f5f, 0x1f7d,
1545 : 0x1f80, 0x1fb4,
1546 : 0x1fb6, 0x1fc4,
1547 : 0x1fc6, 0x1fd3,
1548 : 0x1fd6, 0x1fdb,
1549 : 0x1fdd, 0x1fef,
1550 : 0x1ff2, 0x1ff4,
1551 : 0x1ff6, 0x1ffe,
1552 : 0x200b, 0x2027,
1553 : 0x202a, 0x202e,
1554 : 0x2030, 0x2054,
1555 : 0x2057, 0x2057,
1556 : 0x2060, 0x2063,
1557 : 0x206a, 0x2071,
1558 : 0x2074, 0x208e,
1559 : 0x20a0, 0x20b1,
1560 : 0x20d0, 0x20ea,
1561 : 0x2100, 0x213b,
1562 : 0x213d, 0x214b,
1563 : 0x2153, 0x2183,
1564 : 0x2190, 0x23d0,
1565 : 0x2400, 0x2426,
1566 : 0x2440, 0x244a,
1567 : 0x2460, 0x2617,
1568 : 0x2619, 0x267d,
1569 : 0x2680, 0x2691,
1570 : 0x26a0, 0x26a1,
1571 : 0x2701, 0x2704,
1572 : 0x2706, 0x2709,
1573 : 0x270c, 0x2727,
1574 : 0x2729, 0x274b,
1575 : 0x274d, 0x274d,
1576 : 0x274f, 0x2752,
1577 : 0x2756, 0x2756,
1578 : 0x2758, 0x275e,
1579 : 0x2761, 0x2794,
1580 : 0x2798, 0x27af,
1581 : 0x27b1, 0x27be,
1582 : 0x27d0, 0x27eb,
1583 : 0x27f0, 0x2b0d,
1584 : 0x2e80, 0x2e99,
1585 : 0x2e9b, 0x2ef3,
1586 : 0x2f00, 0x2fd5,
1587 : 0x2ff0, 0x2ffb,
1588 : 0x3001, 0x303f,
1589 : 0x3041, 0x3096,
1590 : 0x3099, 0x30ff,
1591 : 0x3105, 0x312c,
1592 : 0x3131, 0x318e,
1593 : 0x3190, 0x31b7,
1594 : 0x31f0, 0x321e,
1595 : 0x3220, 0x3243,
1596 : 0x3250, 0x327d,
1597 : 0x327f, 0x32fe,
1598 : 0x3300, 0x4db5,
1599 : 0x4dc0, 0x9fa5,
1600 : 0xa000, 0xa48c,
1601 : 0xa490, 0xa4c6,
1602 : 0xac00, 0xd7a3,
1603 : 0xe000, 0xfa2d,
1604 : 0xfa30, 0xfa6a,
1605 : 0xfb00, 0xfb06,
1606 : 0xfb13, 0xfb17,
1607 : 0xfb1d, 0xfb36,
1608 : 0xfb38, 0xfb3c,
1609 : 0xfb3e, 0xfb3e,
1610 : 0xfb40, 0xfb41,
1611 : 0xfb43, 0xfb44,
1612 : 0xfb46, 0xfbb1,
1613 : 0xfbd3, 0xfd3f,
1614 : 0xfd50, 0xfd8f,
1615 : 0xfd92, 0xfdc7,
1616 : 0xfdf0, 0xfdfd,
1617 : 0xfe00, 0xfe0f,
1618 : 0xfe20, 0xfe23,
1619 : 0xfe30, 0xfe52,
1620 : 0xfe54, 0xfe66,
1621 : 0xfe68, 0xfe6b,
1622 : 0xfe70, 0xfe74,
1623 : 0xfe76, 0xfefc,
1624 : 0xfeff, 0xfeff,
1625 : 0xff01, 0xffbe,
1626 : 0xffc2, 0xffc7,
1627 : 0xffca, 0xffcf,
1628 : 0xffd2, 0xffd7,
1629 : 0xffda, 0xffdc,
1630 : 0xffe0, 0xffe6,
1631 : 0xffe8, 0xffee,
1632 : 0xfff9, 0xfffd,
1633 : 0x10000, 0x1000b,
1634 : 0x1000d, 0x10026,
1635 : 0x10028, 0x1003a,
1636 : 0x1003c, 0x1003d,
1637 : 0x1003f, 0x1004d,
1638 : 0x10050, 0x1005d,
1639 : 0x10080, 0x100fa,
1640 : 0x10100, 0x10102,
1641 : 0x10107, 0x10133,
1642 : 0x10137, 0x1013f,
1643 : 0x10300, 0x1031e,
1644 : 0x10320, 0x10323,
1645 : 0x10330, 0x1034a,
1646 : 0x10380, 0x1039d,
1647 : 0x1039f, 0x1039f,
1648 : 0x10400, 0x1049d,
1649 : 0x104a0, 0x104a9,
1650 : 0x10800, 0x10805,
1651 : 0x10808, 0x10808,
1652 : 0x1080a, 0x10835,
1653 : 0x10837, 0x10838,
1654 : 0x1083c, 0x1083c,
1655 : 0x1083f, 0x1083f,
1656 : 0x1d000, 0x1d0f5,
1657 : 0x1d100, 0x1d126,
1658 : 0x1d12a, 0x1d1dd,
1659 : 0x1d300, 0x1d356,
1660 : 0x1d400, 0x1d454,
1661 : 0x1d456, 0x1d49c,
1662 : 0x1d49e, 0x1d49f,
1663 : 0x1d4a2, 0x1d4a2,
1664 : 0x1d4a5, 0x1d4a6,
1665 : 0x1d4a9, 0x1d4ac,
1666 : 0x1d4ae, 0x1d4b9,
1667 : 0x1d4bb, 0x1d4bb,
1668 : 0x1d4bd, 0x1d4c3,
1669 : 0x1d4c5, 0x1d505,
1670 : 0x1d507, 0x1d50a,
1671 : 0x1d50d, 0x1d514,
1672 : 0x1d516, 0x1d51c,
1673 : 0x1d51e, 0x1d539,
1674 : 0x1d53b, 0x1d53e,
1675 : 0x1d540, 0x1d544,
1676 : 0x1d546, 0x1d546,
1677 : 0x1d54a, 0x1d550,
1678 : 0x1d552, 0x1d6a3,
1679 : 0x1d6a8, 0x1d7c9,
1680 : 0x1d7ce, 0x1d7ff,
1681 : 0x20000, 0x2a6d6,
1682 : 0x2f800, 0x2fa1d,
1683 : 0xe0001, 0xe0001,
1684 : 0xe0020, 0xe007f,
1685 : 0xe0100, 0xe01ef,
1686 : 0xf0000, 0xffffd,
1687 : 0x100000, 0x10fffd
1688 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
1689 : }; /* end of MBGraph */
1690 :
1691 : static const OnigCodePoint SBLower[] = {
1692 : 1,
1693 : 0x0061, 0x007a
1694 : };
1695 :
1696 : static const OnigCodePoint MBLower[] = {
1697 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1698 : 423,
1699 : #else
1700 : 5,
1701 : #endif
1702 : 0x00aa, 0x00aa,
1703 : 0x00b5, 0x00b5,
1704 : 0x00ba, 0x00ba,
1705 : 0x00df, 0x00f6,
1706 : 0x00f8, 0x00ff
1707 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
1708 : ,
1709 : 0x0101, 0x0101,
1710 : 0x0103, 0x0103,
1711 : 0x0105, 0x0105,
1712 : 0x0107, 0x0107,
1713 : 0x0109, 0x0109,
1714 : 0x010b, 0x010b,
1715 : 0x010d, 0x010d,
1716 : 0x010f, 0x010f,
1717 : 0x0111, 0x0111,
1718 : 0x0113, 0x0113,
1719 : 0x0115, 0x0115,
1720 : 0x0117, 0x0117,
1721 : 0x0119, 0x0119,
1722 : 0x011b, 0x011b,
1723 : 0x011d, 0x011d,
1724 : 0x011f, 0x011f,
1725 : 0x0121, 0x0121,
1726 : 0x0123, 0x0123,
1727 : 0x0125, 0x0125,
1728 : 0x0127, 0x0127,
1729 : 0x0129, 0x0129,
1730 : 0x012b, 0x012b,
1731 : 0x012d, 0x012d,
1732 : 0x012f, 0x012f,
1733 : 0x0131, 0x0131,
1734 : 0x0133, 0x0133,
1735 : 0x0135, 0x0135,
1736 : 0x0137, 0x0138,
1737 : 0x013a, 0x013a,
1738 : 0x013c, 0x013c,
1739 : 0x013e, 0x013e,
1740 : 0x0140, 0x0140,
1741 : 0x0142, 0x0142,
1742 : 0x0144, 0x0144,
1743 : 0x0146, 0x0146,
1744 : 0x0148, 0x0149,
1745 : 0x014b, 0x014b,
1746 : 0x014d, 0x014d,
1747 : 0x014f, 0x014f,
1748 : 0x0151, 0x0151,
1749 : 0x0153, 0x0153,
1750 : 0x0155, 0x0155,
1751 : 0x0157, 0x0157,
1752 : 0x0159, 0x0159,
1753 : 0x015b, 0x015b,
1754 : 0x015d, 0x015d,
1755 : 0x015f, 0x015f,
1756 : 0x0161, 0x0161,
1757 : 0x0163, 0x0163,
1758 : 0x0165, 0x0165,
1759 : 0x0167, 0x0167,
1760 : 0x0169, 0x0169,
1761 : 0x016b, 0x016b,
1762 : 0x016d, 0x016d,
1763 : 0x016f, 0x016f,
1764 : 0x0171, 0x0171,
1765 : 0x0173, 0x0173,
1766 : 0x0175, 0x0175,
1767 : 0x0177, 0x0177,
1768 : 0x017a, 0x017a,
1769 : 0x017c, 0x017c,
1770 : 0x017e, 0x0180,
1771 : 0x0183, 0x0183,
1772 : 0x0185, 0x0185,
1773 : 0x0188, 0x0188,
1774 : 0x018c, 0x018d,
1775 : 0x0192, 0x0192,
1776 : 0x0195, 0x0195,
1777 : 0x0199, 0x019b,
1778 : 0x019e, 0x019e,
1779 : 0x01a1, 0x01a1,
1780 : 0x01a3, 0x01a3,
1781 : 0x01a5, 0x01a5,
1782 : 0x01a8, 0x01a8,
1783 : 0x01aa, 0x01ab,
1784 : 0x01ad, 0x01ad,
1785 : 0x01b0, 0x01b0,
1786 : 0x01b4, 0x01b4,
1787 : 0x01b6, 0x01b6,
1788 : 0x01b9, 0x01ba,
1789 : 0x01bd, 0x01bf,
1790 : 0x01c6, 0x01c6,
1791 : 0x01c9, 0x01c9,
1792 : 0x01cc, 0x01cc,
1793 : 0x01ce, 0x01ce,
1794 : 0x01d0, 0x01d0,
1795 : 0x01d2, 0x01d2,
1796 : 0x01d4, 0x01d4,
1797 : 0x01d6, 0x01d6,
1798 : 0x01d8, 0x01d8,
1799 : 0x01da, 0x01da,
1800 : 0x01dc, 0x01dd,
1801 : 0x01df, 0x01df,
1802 : 0x01e1, 0x01e1,
1803 : 0x01e3, 0x01e3,
1804 : 0x01e5, 0x01e5,
1805 : 0x01e7, 0x01e7,
1806 : 0x01e9, 0x01e9,
1807 : 0x01eb, 0x01eb,
1808 : 0x01ed, 0x01ed,
1809 : 0x01ef, 0x01f0,
1810 : 0x01f3, 0x01f3,
1811 : 0x01f5, 0x01f5,
1812 : 0x01f9, 0x01f9,
1813 : 0x01fb, 0x01fb,
1814 : 0x01fd, 0x01fd,
1815 : 0x01ff, 0x01ff,
1816 : 0x0201, 0x0201,
1817 : 0x0203, 0x0203,
1818 : 0x0205, 0x0205,
1819 : 0x0207, 0x0207,
1820 : 0x0209, 0x0209,
1821 : 0x020b, 0x020b,
1822 : 0x020d, 0x020d,
1823 : 0x020f, 0x020f,
1824 : 0x0211, 0x0211,
1825 : 0x0213, 0x0213,
1826 : 0x0215, 0x0215,
1827 : 0x0217, 0x0217,
1828 : 0x0219, 0x0219,
1829 : 0x021b, 0x021b,
1830 : 0x021d, 0x021d,
1831 : 0x021f, 0x021f,
1832 : 0x0221, 0x0221,
1833 : 0x0223, 0x0223,
1834 : 0x0225, 0x0225,
1835 : 0x0227, 0x0227,
1836 : 0x0229, 0x0229,
1837 : 0x022b, 0x022b,
1838 : 0x022d, 0x022d,
1839 : 0x022f, 0x022f,
1840 : 0x0231, 0x0231,
1841 : 0x0233, 0x0236,
1842 : 0x0250, 0x02af,
1843 : 0x0390, 0x0390,
1844 : 0x03ac, 0x03ce,
1845 : 0x03d0, 0x03d1,
1846 : 0x03d5, 0x03d7,
1847 : 0x03d9, 0x03d9,
1848 : 0x03db, 0x03db,
1849 : 0x03dd, 0x03dd,
1850 : 0x03df, 0x03df,
1851 : 0x03e1, 0x03e1,
1852 : 0x03e3, 0x03e3,
1853 : 0x03e5, 0x03e5,
1854 : 0x03e7, 0x03e7,
1855 : 0x03e9, 0x03e9,
1856 : 0x03eb, 0x03eb,
1857 : 0x03ed, 0x03ed,
1858 : 0x03ef, 0x03f3,
1859 : 0x03f5, 0x03f5,
1860 : 0x03f8, 0x03f8,
1861 : 0x03fb, 0x03fb,
1862 : 0x0430, 0x045f,
1863 : 0x0461, 0x0461,
1864 : 0x0463, 0x0463,
1865 : 0x0465, 0x0465,
1866 : 0x0467, 0x0467,
1867 : 0x0469, 0x0469,
1868 : 0x046b, 0x046b,
1869 : 0x046d, 0x046d,
1870 : 0x046f, 0x046f,
1871 : 0x0471, 0x0471,
1872 : 0x0473, 0x0473,
1873 : 0x0475, 0x0475,
1874 : 0x0477, 0x0477,
1875 : 0x0479, 0x0479,
1876 : 0x047b, 0x047b,
1877 : 0x047d, 0x047d,
1878 : 0x047f, 0x047f,
1879 : 0x0481, 0x0481,
1880 : 0x048b, 0x048b,
1881 : 0x048d, 0x048d,
1882 : 0x048f, 0x048f,
1883 : 0x0491, 0x0491,
1884 : 0x0493, 0x0493,
1885 : 0x0495, 0x0495,
1886 : 0x0497, 0x0497,
1887 : 0x0499, 0x0499,
1888 : 0x049b, 0x049b,
1889 : 0x049d, 0x049d,
1890 : 0x049f, 0x049f,
1891 : 0x04a1, 0x04a1,
1892 : 0x04a3, 0x04a3,
1893 : 0x04a5, 0x04a5,
1894 : 0x04a7, 0x04a7,
1895 : 0x04a9, 0x04a9,
1896 : 0x04ab, 0x04ab,
1897 : 0x04ad, 0x04ad,
1898 : 0x04af, 0x04af,
1899 : 0x04b1, 0x04b1,
1900 : 0x04b3, 0x04b3,
1901 : 0x04b5, 0x04b5,
1902 : 0x04b7, 0x04b7,
1903 : 0x04b9, 0x04b9,
1904 : 0x04bb, 0x04bb,
1905 : 0x04bd, 0x04bd,
1906 : 0x04bf, 0x04bf,
1907 : 0x04c2, 0x04c2,
1908 : 0x04c4, 0x04c4,
1909 : 0x04c6, 0x04c6,
1910 : 0x04c8, 0x04c8,
1911 : 0x04ca, 0x04ca,
1912 : 0x04cc, 0x04cc,
1913 : 0x04ce, 0x04ce,
1914 : 0x04d1, 0x04d1,
1915 : 0x04d3, 0x04d3,
1916 : 0x04d5, 0x04d5,
1917 : 0x04d7, 0x04d7,
1918 : 0x04d9, 0x04d9,
1919 : 0x04db, 0x04db,
1920 : 0x04dd, 0x04dd,
1921 : 0x04df, 0x04df,
1922 : 0x04e1, 0x04e1,
1923 : 0x04e3, 0x04e3,
1924 : 0x04e5, 0x04e5,
1925 : 0x04e7, 0x04e7,
1926 : 0x04e9, 0x04e9,
1927 : 0x04eb, 0x04eb,
1928 : 0x04ed, 0x04ed,
1929 : 0x04ef, 0x04ef,
1930 : 0x04f1, 0x04f1,
1931 : 0x04f3, 0x04f3,
1932 : 0x04f5, 0x04f5,
1933 : 0x04f9, 0x04f9,
1934 : 0x0501, 0x0501,
1935 : 0x0503, 0x0503,
1936 : 0x0505, 0x0505,
1937 : 0x0507, 0x0507,
1938 : 0x0509, 0x0509,
1939 : 0x050b, 0x050b,
1940 : 0x050d, 0x050d,
1941 : 0x050f, 0x050f,
1942 : 0x0561, 0x0587,
1943 : 0x1d00, 0x1d2b,
1944 : 0x1d62, 0x1d6b,
1945 : 0x1e01, 0x1e01,
1946 : 0x1e03, 0x1e03,
1947 : 0x1e05, 0x1e05,
1948 : 0x1e07, 0x1e07,
1949 : 0x1e09, 0x1e09,
1950 : 0x1e0b, 0x1e0b,
1951 : 0x1e0d, 0x1e0d,
1952 : 0x1e0f, 0x1e0f,
1953 : 0x1e11, 0x1e11,
1954 : 0x1e13, 0x1e13,
1955 : 0x1e15, 0x1e15,
1956 : 0x1e17, 0x1e17,
1957 : 0x1e19, 0x1e19,
1958 : 0x1e1b, 0x1e1b,
1959 : 0x1e1d, 0x1e1d,
1960 : 0x1e1f, 0x1e1f,
1961 : 0x1e21, 0x1e21,
1962 : 0x1e23, 0x1e23,
1963 : 0x1e25, 0x1e25,
1964 : 0x1e27, 0x1e27,
1965 : 0x1e29, 0x1e29,
1966 : 0x1e2b, 0x1e2b,
1967 : 0x1e2d, 0x1e2d,
1968 : 0x1e2f, 0x1e2f,
1969 : 0x1e31, 0x1e31,
1970 : 0x1e33, 0x1e33,
1971 : 0x1e35, 0x1e35,
1972 : 0x1e37, 0x1e37,
1973 : 0x1e39, 0x1e39,
1974 : 0x1e3b, 0x1e3b,
1975 : 0x1e3d, 0x1e3d,
1976 : 0x1e3f, 0x1e3f,
1977 : 0x1e41, 0x1e41,
1978 : 0x1e43, 0x1e43,
1979 : 0x1e45, 0x1e45,
1980 : 0x1e47, 0x1e47,
1981 : 0x1e49, 0x1e49,
1982 : 0x1e4b, 0x1e4b,
1983 : 0x1e4d, 0x1e4d,
1984 : 0x1e4f, 0x1e4f,
1985 : 0x1e51, 0x1e51,
1986 : 0x1e53, 0x1e53,
1987 : 0x1e55, 0x1e55,
1988 : 0x1e57, 0x1e57,
1989 : 0x1e59, 0x1e59,
1990 : 0x1e5b, 0x1e5b,
1991 : 0x1e5d, 0x1e5d,
1992 : 0x1e5f, 0x1e5f,
1993 : 0x1e61, 0x1e61,
1994 : 0x1e63, 0x1e63,
1995 : 0x1e65, 0x1e65,
1996 : 0x1e67, 0x1e67,
1997 : 0x1e69, 0x1e69,
1998 : 0x1e6b, 0x1e6b,
1999 : 0x1e6d, 0x1e6d,
2000 : 0x1e6f, 0x1e6f,
2001 : 0x1e71, 0x1e71,
2002 : 0x1e73, 0x1e73,
2003 : 0x1e75, 0x1e75,
2004 : 0x1e77, 0x1e77,
2005 : 0x1e79, 0x1e79,
2006 : 0x1e7b, 0x1e7b,
2007 : 0x1e7d, 0x1e7d,
2008 : 0x1e7f, 0x1e7f,
2009 : 0x1e81, 0x1e81,
2010 : 0x1e83, 0x1e83,
2011 : 0x1e85, 0x1e85,
2012 : 0x1e87, 0x1e87,
2013 : 0x1e89, 0x1e89,
2014 : 0x1e8b, 0x1e8b,
2015 : 0x1e8d, 0x1e8d,
2016 : 0x1e8f, 0x1e8f,
2017 : 0x1e91, 0x1e91,
2018 : 0x1e93, 0x1e93,
2019 : 0x1e95, 0x1e9b,
2020 : 0x1ea1, 0x1ea1,
2021 : 0x1ea3, 0x1ea3,
2022 : 0x1ea5, 0x1ea5,
2023 : 0x1ea7, 0x1ea7,
2024 : 0x1ea9, 0x1ea9,
2025 : 0x1eab, 0x1eab,
2026 : 0x1ead, 0x1ead,
2027 : 0x1eaf, 0x1eaf,
2028 : 0x1eb1, 0x1eb1,
2029 : 0x1eb3, 0x1eb3,
2030 : 0x1eb5, 0x1eb5,
2031 : 0x1eb7, 0x1eb7,
2032 : 0x1eb9, 0x1eb9,
2033 : 0x1ebb, 0x1ebb,
2034 : 0x1ebd, 0x1ebd,
2035 : 0x1ebf, 0x1ebf,
2036 : 0x1ec1, 0x1ec1,
2037 : 0x1ec3, 0x1ec3,
2038 : 0x1ec5, 0x1ec5,
2039 : 0x1ec7, 0x1ec7,
2040 : 0x1ec9, 0x1ec9,
2041 : 0x1ecb, 0x1ecb,
2042 : 0x1ecd, 0x1ecd,
2043 : 0x1ecf, 0x1ecf,
2044 : 0x1ed1, 0x1ed1,
2045 : 0x1ed3, 0x1ed3,
2046 : 0x1ed5, 0x1ed5,
2047 : 0x1ed7, 0x1ed7,
2048 : 0x1ed9, 0x1ed9,
2049 : 0x1edb, 0x1edb,
2050 : 0x1edd, 0x1edd,
2051 : 0x1edf, 0x1edf,
2052 : 0x1ee1, 0x1ee1,
2053 : 0x1ee3, 0x1ee3,
2054 : 0x1ee5, 0x1ee5,
2055 : 0x1ee7, 0x1ee7,
2056 : 0x1ee9, 0x1ee9,
2057 : 0x1eeb, 0x1eeb,
2058 : 0x1eed, 0x1eed,
2059 : 0x1eef, 0x1eef,
2060 : 0x1ef1, 0x1ef1,
2061 : 0x1ef3, 0x1ef3,
2062 : 0x1ef5, 0x1ef5,
2063 : 0x1ef7, 0x1ef7,
2064 : 0x1ef9, 0x1ef9,
2065 : 0x1f00, 0x1f07,
2066 : 0x1f10, 0x1f15,
2067 : 0x1f20, 0x1f27,
2068 : 0x1f30, 0x1f37,
2069 : 0x1f40, 0x1f45,
2070 : 0x1f50, 0x1f57,
2071 : 0x1f60, 0x1f67,
2072 : 0x1f70, 0x1f7d,
2073 : 0x1f80, 0x1f87,
2074 : 0x1f90, 0x1f97,
2075 : 0x1fa0, 0x1fa7,
2076 : 0x1fb0, 0x1fb4,
2077 : 0x1fb6, 0x1fb7,
2078 : 0x1fbe, 0x1fbe,
2079 : 0x1fc2, 0x1fc4,
2080 : 0x1fc6, 0x1fc7,
2081 : 0x1fd0, 0x1fd3,
2082 : 0x1fd6, 0x1fd7,
2083 : 0x1fe0, 0x1fe7,
2084 : 0x1ff2, 0x1ff4,
2085 : 0x1ff6, 0x1ff7,
2086 : 0x2071, 0x2071,
2087 : 0x207f, 0x207f,
2088 : 0x210a, 0x210a,
2089 : 0x210e, 0x210f,
2090 : 0x2113, 0x2113,
2091 : 0x212f, 0x212f,
2092 : 0x2134, 0x2134,
2093 : 0x2139, 0x2139,
2094 : 0x213d, 0x213d,
2095 : 0x2146, 0x2149,
2096 : 0xfb00, 0xfb06,
2097 : 0xfb13, 0xfb17,
2098 : 0xff41, 0xff5a,
2099 : 0x10428, 0x1044f,
2100 : 0x1d41a, 0x1d433,
2101 : 0x1d44e, 0x1d454,
2102 : 0x1d456, 0x1d467,
2103 : 0x1d482, 0x1d49b,
2104 : 0x1d4b6, 0x1d4b9,
2105 : 0x1d4bb, 0x1d4bb,
2106 : 0x1d4bd, 0x1d4c3,
2107 : 0x1d4c5, 0x1d4cf,
2108 : 0x1d4ea, 0x1d503,
2109 : 0x1d51e, 0x1d537,
2110 : 0x1d552, 0x1d56b,
2111 : 0x1d586, 0x1d59f,
2112 : 0x1d5ba, 0x1d5d3,
2113 : 0x1d5ee, 0x1d607,
2114 : 0x1d622, 0x1d63b,
2115 : 0x1d656, 0x1d66f,
2116 : 0x1d68a, 0x1d6a3,
2117 : 0x1d6c2, 0x1d6da,
2118 : 0x1d6dc, 0x1d6e1,
2119 : 0x1d6fc, 0x1d714,
2120 : 0x1d716, 0x1d71b,
2121 : 0x1d736, 0x1d74e,
2122 : 0x1d750, 0x1d755,
2123 : 0x1d770, 0x1d788,
2124 : 0x1d78a, 0x1d78f,
2125 : 0x1d7aa, 0x1d7c2,
2126 : 0x1d7c4, 0x1d7c9
2127 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
2128 : }; /* end of MBLower */
2129 :
2130 : static const OnigCodePoint SBPrint[] = {
2131 : 2,
2132 : 0x0009, 0x000d,
2133 : 0x0020, 0x007e
2134 : };
2135 :
2136 : static const OnigCodePoint MBPrint[] = {
2137 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2138 : 403,
2139 : #else
2140 : 2,
2141 : #endif
2142 : 0x0085, 0x0085,
2143 : 0x00a0, 0x0236
2144 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2145 : ,
2146 : 0x0250, 0x0357,
2147 : 0x035d, 0x036f,
2148 : 0x0374, 0x0375,
2149 : 0x037a, 0x037a,
2150 : 0x037e, 0x037e,
2151 : 0x0384, 0x038a,
2152 : 0x038c, 0x038c,
2153 : 0x038e, 0x03a1,
2154 : 0x03a3, 0x03ce,
2155 : 0x03d0, 0x03fb,
2156 : 0x0400, 0x0486,
2157 : 0x0488, 0x04ce,
2158 : 0x04d0, 0x04f5,
2159 : 0x04f8, 0x04f9,
2160 : 0x0500, 0x050f,
2161 : 0x0531, 0x0556,
2162 : 0x0559, 0x055f,
2163 : 0x0561, 0x0587,
2164 : 0x0589, 0x058a,
2165 : 0x0591, 0x05a1,
2166 : 0x05a3, 0x05b9,
2167 : 0x05bb, 0x05c4,
2168 : 0x05d0, 0x05ea,
2169 : 0x05f0, 0x05f4,
2170 : 0x0600, 0x0603,
2171 : 0x060c, 0x0615,
2172 : 0x061b, 0x061b,
2173 : 0x061f, 0x061f,
2174 : 0x0621, 0x063a,
2175 : 0x0640, 0x0658,
2176 : 0x0660, 0x070d,
2177 : 0x070f, 0x074a,
2178 : 0x074d, 0x074f,
2179 : 0x0780, 0x07b1,
2180 : 0x0901, 0x0939,
2181 : 0x093c, 0x094d,
2182 : 0x0950, 0x0954,
2183 : 0x0958, 0x0970,
2184 : 0x0981, 0x0983,
2185 : 0x0985, 0x098c,
2186 : 0x098f, 0x0990,
2187 : 0x0993, 0x09a8,
2188 : 0x09aa, 0x09b0,
2189 : 0x09b2, 0x09b2,
2190 : 0x09b6, 0x09b9,
2191 : 0x09bc, 0x09c4,
2192 : 0x09c7, 0x09c8,
2193 : 0x09cb, 0x09cd,
2194 : 0x09d7, 0x09d7,
2195 : 0x09dc, 0x09dd,
2196 : 0x09df, 0x09e3,
2197 : 0x09e6, 0x09fa,
2198 : 0x0a01, 0x0a03,
2199 : 0x0a05, 0x0a0a,
2200 : 0x0a0f, 0x0a10,
2201 : 0x0a13, 0x0a28,
2202 : 0x0a2a, 0x0a30,
2203 : 0x0a32, 0x0a33,
2204 : 0x0a35, 0x0a36,
2205 : 0x0a38, 0x0a39,
2206 : 0x0a3c, 0x0a3c,
2207 : 0x0a3e, 0x0a42,
2208 : 0x0a47, 0x0a48,
2209 : 0x0a4b, 0x0a4d,
2210 : 0x0a59, 0x0a5c,
2211 : 0x0a5e, 0x0a5e,
2212 : 0x0a66, 0x0a74,
2213 : 0x0a81, 0x0a83,
2214 : 0x0a85, 0x0a8d,
2215 : 0x0a8f, 0x0a91,
2216 : 0x0a93, 0x0aa8,
2217 : 0x0aaa, 0x0ab0,
2218 : 0x0ab2, 0x0ab3,
2219 : 0x0ab5, 0x0ab9,
2220 : 0x0abc, 0x0ac5,
2221 : 0x0ac7, 0x0ac9,
2222 : 0x0acb, 0x0acd,
2223 : 0x0ad0, 0x0ad0,
2224 : 0x0ae0, 0x0ae3,
2225 : 0x0ae6, 0x0aef,
2226 : 0x0af1, 0x0af1,
2227 : 0x0b01, 0x0b03,
2228 : 0x0b05, 0x0b0c,
2229 : 0x0b0f, 0x0b10,
2230 : 0x0b13, 0x0b28,
2231 : 0x0b2a, 0x0b30,
2232 : 0x0b32, 0x0b33,
2233 : 0x0b35, 0x0b39,
2234 : 0x0b3c, 0x0b43,
2235 : 0x0b47, 0x0b48,
2236 : 0x0b4b, 0x0b4d,
2237 : 0x0b56, 0x0b57,
2238 : 0x0b5c, 0x0b5d,
2239 : 0x0b5f, 0x0b61,
2240 : 0x0b66, 0x0b71,
2241 : 0x0b82, 0x0b83,
2242 : 0x0b85, 0x0b8a,
2243 : 0x0b8e, 0x0b90,
2244 : 0x0b92, 0x0b95,
2245 : 0x0b99, 0x0b9a,
2246 : 0x0b9c, 0x0b9c,
2247 : 0x0b9e, 0x0b9f,
2248 : 0x0ba3, 0x0ba4,
2249 : 0x0ba8, 0x0baa,
2250 : 0x0bae, 0x0bb5,
2251 : 0x0bb7, 0x0bb9,
2252 : 0x0bbe, 0x0bc2,
2253 : 0x0bc6, 0x0bc8,
2254 : 0x0bca, 0x0bcd,
2255 : 0x0bd7, 0x0bd7,
2256 : 0x0be7, 0x0bfa,
2257 : 0x0c01, 0x0c03,
2258 : 0x0c05, 0x0c0c,
2259 : 0x0c0e, 0x0c10,
2260 : 0x0c12, 0x0c28,
2261 : 0x0c2a, 0x0c33,
2262 : 0x0c35, 0x0c39,
2263 : 0x0c3e, 0x0c44,
2264 : 0x0c46, 0x0c48,
2265 : 0x0c4a, 0x0c4d,
2266 : 0x0c55, 0x0c56,
2267 : 0x0c60, 0x0c61,
2268 : 0x0c66, 0x0c6f,
2269 : 0x0c82, 0x0c83,
2270 : 0x0c85, 0x0c8c,
2271 : 0x0c8e, 0x0c90,
2272 : 0x0c92, 0x0ca8,
2273 : 0x0caa, 0x0cb3,
2274 : 0x0cb5, 0x0cb9,
2275 : 0x0cbc, 0x0cc4,
2276 : 0x0cc6, 0x0cc8,
2277 : 0x0cca, 0x0ccd,
2278 : 0x0cd5, 0x0cd6,
2279 : 0x0cde, 0x0cde,
2280 : 0x0ce0, 0x0ce1,
2281 : 0x0ce6, 0x0cef,
2282 : 0x0d02, 0x0d03,
2283 : 0x0d05, 0x0d0c,
2284 : 0x0d0e, 0x0d10,
2285 : 0x0d12, 0x0d28,
2286 : 0x0d2a, 0x0d39,
2287 : 0x0d3e, 0x0d43,
2288 : 0x0d46, 0x0d48,
2289 : 0x0d4a, 0x0d4d,
2290 : 0x0d57, 0x0d57,
2291 : 0x0d60, 0x0d61,
2292 : 0x0d66, 0x0d6f,
2293 : 0x0d82, 0x0d83,
2294 : 0x0d85, 0x0d96,
2295 : 0x0d9a, 0x0db1,
2296 : 0x0db3, 0x0dbb,
2297 : 0x0dbd, 0x0dbd,
2298 : 0x0dc0, 0x0dc6,
2299 : 0x0dca, 0x0dca,
2300 : 0x0dcf, 0x0dd4,
2301 : 0x0dd6, 0x0dd6,
2302 : 0x0dd8, 0x0ddf,
2303 : 0x0df2, 0x0df4,
2304 : 0x0e01, 0x0e3a,
2305 : 0x0e3f, 0x0e5b,
2306 : 0x0e81, 0x0e82,
2307 : 0x0e84, 0x0e84,
2308 : 0x0e87, 0x0e88,
2309 : 0x0e8a, 0x0e8a,
2310 : 0x0e8d, 0x0e8d,
2311 : 0x0e94, 0x0e97,
2312 : 0x0e99, 0x0e9f,
2313 : 0x0ea1, 0x0ea3,
2314 : 0x0ea5, 0x0ea5,
2315 : 0x0ea7, 0x0ea7,
2316 : 0x0eaa, 0x0eab,
2317 : 0x0ead, 0x0eb9,
2318 : 0x0ebb, 0x0ebd,
2319 : 0x0ec0, 0x0ec4,
2320 : 0x0ec6, 0x0ec6,
2321 : 0x0ec8, 0x0ecd,
2322 : 0x0ed0, 0x0ed9,
2323 : 0x0edc, 0x0edd,
2324 : 0x0f00, 0x0f47,
2325 : 0x0f49, 0x0f6a,
2326 : 0x0f71, 0x0f8b,
2327 : 0x0f90, 0x0f97,
2328 : 0x0f99, 0x0fbc,
2329 : 0x0fbe, 0x0fcc,
2330 : 0x0fcf, 0x0fcf,
2331 : 0x1000, 0x1021,
2332 : 0x1023, 0x1027,
2333 : 0x1029, 0x102a,
2334 : 0x102c, 0x1032,
2335 : 0x1036, 0x1039,
2336 : 0x1040, 0x1059,
2337 : 0x10a0, 0x10c5,
2338 : 0x10d0, 0x10f8,
2339 : 0x10fb, 0x10fb,
2340 : 0x1100, 0x1159,
2341 : 0x115f, 0x11a2,
2342 : 0x11a8, 0x11f9,
2343 : 0x1200, 0x1206,
2344 : 0x1208, 0x1246,
2345 : 0x1248, 0x1248,
2346 : 0x124a, 0x124d,
2347 : 0x1250, 0x1256,
2348 : 0x1258, 0x1258,
2349 : 0x125a, 0x125d,
2350 : 0x1260, 0x1286,
2351 : 0x1288, 0x1288,
2352 : 0x128a, 0x128d,
2353 : 0x1290, 0x12ae,
2354 : 0x12b0, 0x12b0,
2355 : 0x12b2, 0x12b5,
2356 : 0x12b8, 0x12be,
2357 : 0x12c0, 0x12c0,
2358 : 0x12c2, 0x12c5,
2359 : 0x12c8, 0x12ce,
2360 : 0x12d0, 0x12d6,
2361 : 0x12d8, 0x12ee,
2362 : 0x12f0, 0x130e,
2363 : 0x1310, 0x1310,
2364 : 0x1312, 0x1315,
2365 : 0x1318, 0x131e,
2366 : 0x1320, 0x1346,
2367 : 0x1348, 0x135a,
2368 : 0x1361, 0x137c,
2369 : 0x13a0, 0x13f4,
2370 : 0x1401, 0x1676,
2371 : 0x1680, 0x169c,
2372 : 0x16a0, 0x16f0,
2373 : 0x1700, 0x170c,
2374 : 0x170e, 0x1714,
2375 : 0x1720, 0x1736,
2376 : 0x1740, 0x1753,
2377 : 0x1760, 0x176c,
2378 : 0x176e, 0x1770,
2379 : 0x1772, 0x1773,
2380 : 0x1780, 0x17dd,
2381 : 0x17e0, 0x17e9,
2382 : 0x17f0, 0x17f9,
2383 : 0x1800, 0x180e,
2384 : 0x1810, 0x1819,
2385 : 0x1820, 0x1877,
2386 : 0x1880, 0x18a9,
2387 : 0x1900, 0x191c,
2388 : 0x1920, 0x192b,
2389 : 0x1930, 0x193b,
2390 : 0x1940, 0x1940,
2391 : 0x1944, 0x196d,
2392 : 0x1970, 0x1974,
2393 : 0x19e0, 0x19ff,
2394 : 0x1d00, 0x1d6b,
2395 : 0x1e00, 0x1e9b,
2396 : 0x1ea0, 0x1ef9,
2397 : 0x1f00, 0x1f15,
2398 : 0x1f18, 0x1f1d,
2399 : 0x1f20, 0x1f45,
2400 : 0x1f48, 0x1f4d,
2401 : 0x1f50, 0x1f57,
2402 : 0x1f59, 0x1f59,
2403 : 0x1f5b, 0x1f5b,
2404 : 0x1f5d, 0x1f5d,
2405 : 0x1f5f, 0x1f7d,
2406 : 0x1f80, 0x1fb4,
2407 : 0x1fb6, 0x1fc4,
2408 : 0x1fc6, 0x1fd3,
2409 : 0x1fd6, 0x1fdb,
2410 : 0x1fdd, 0x1fef,
2411 : 0x1ff2, 0x1ff4,
2412 : 0x1ff6, 0x1ffe,
2413 : 0x2000, 0x2054,
2414 : 0x2057, 0x2057,
2415 : 0x205f, 0x2063,
2416 : 0x206a, 0x2071,
2417 : 0x2074, 0x208e,
2418 : 0x20a0, 0x20b1,
2419 : 0x20d0, 0x20ea,
2420 : 0x2100, 0x213b,
2421 : 0x213d, 0x214b,
2422 : 0x2153, 0x2183,
2423 : 0x2190, 0x23d0,
2424 : 0x2400, 0x2426,
2425 : 0x2440, 0x244a,
2426 : 0x2460, 0x2617,
2427 : 0x2619, 0x267d,
2428 : 0x2680, 0x2691,
2429 : 0x26a0, 0x26a1,
2430 : 0x2701, 0x2704,
2431 : 0x2706, 0x2709,
2432 : 0x270c, 0x2727,
2433 : 0x2729, 0x274b,
2434 : 0x274d, 0x274d,
2435 : 0x274f, 0x2752,
2436 : 0x2756, 0x2756,
2437 : 0x2758, 0x275e,
2438 : 0x2761, 0x2794,
2439 : 0x2798, 0x27af,
2440 : 0x27b1, 0x27be,
2441 : 0x27d0, 0x27eb,
2442 : 0x27f0, 0x2b0d,
2443 : 0x2e80, 0x2e99,
2444 : 0x2e9b, 0x2ef3,
2445 : 0x2f00, 0x2fd5,
2446 : 0x2ff0, 0x2ffb,
2447 : 0x3000, 0x303f,
2448 : 0x3041, 0x3096,
2449 : 0x3099, 0x30ff,
2450 : 0x3105, 0x312c,
2451 : 0x3131, 0x318e,
2452 : 0x3190, 0x31b7,
2453 : 0x31f0, 0x321e,
2454 : 0x3220, 0x3243,
2455 : 0x3250, 0x327d,
2456 : 0x327f, 0x32fe,
2457 : 0x3300, 0x4db5,
2458 : 0x4dc0, 0x9fa5,
2459 : 0xa000, 0xa48c,
2460 : 0xa490, 0xa4c6,
2461 : 0xac00, 0xd7a3,
2462 : 0xe000, 0xfa2d,
2463 : 0xfa30, 0xfa6a,
2464 : 0xfb00, 0xfb06,
2465 : 0xfb13, 0xfb17,
2466 : 0xfb1d, 0xfb36,
2467 : 0xfb38, 0xfb3c,
2468 : 0xfb3e, 0xfb3e,
2469 : 0xfb40, 0xfb41,
2470 : 0xfb43, 0xfb44,
2471 : 0xfb46, 0xfbb1,
2472 : 0xfbd3, 0xfd3f,
2473 : 0xfd50, 0xfd8f,
2474 : 0xfd92, 0xfdc7,
2475 : 0xfdf0, 0xfdfd,
2476 : 0xfe00, 0xfe0f,
2477 : 0xfe20, 0xfe23,
2478 : 0xfe30, 0xfe52,
2479 : 0xfe54, 0xfe66,
2480 : 0xfe68, 0xfe6b,
2481 : 0xfe70, 0xfe74,
2482 : 0xfe76, 0xfefc,
2483 : 0xfeff, 0xfeff,
2484 : 0xff01, 0xffbe,
2485 : 0xffc2, 0xffc7,
2486 : 0xffca, 0xffcf,
2487 : 0xffd2, 0xffd7,
2488 : 0xffda, 0xffdc,
2489 : 0xffe0, 0xffe6,
2490 : 0xffe8, 0xffee,
2491 : 0xfff9, 0xfffd,
2492 : 0x10000, 0x1000b,
2493 : 0x1000d, 0x10026,
2494 : 0x10028, 0x1003a,
2495 : 0x1003c, 0x1003d,
2496 : 0x1003f, 0x1004d,
2497 : 0x10050, 0x1005d,
2498 : 0x10080, 0x100fa,
2499 : 0x10100, 0x10102,
2500 : 0x10107, 0x10133,
2501 : 0x10137, 0x1013f,
2502 : 0x10300, 0x1031e,
2503 : 0x10320, 0x10323,
2504 : 0x10330, 0x1034a,
2505 : 0x10380, 0x1039d,
2506 : 0x1039f, 0x1039f,
2507 : 0x10400, 0x1049d,
2508 : 0x104a0, 0x104a9,
2509 : 0x10800, 0x10805,
2510 : 0x10808, 0x10808,
2511 : 0x1080a, 0x10835,
2512 : 0x10837, 0x10838,
2513 : 0x1083c, 0x1083c,
2514 : 0x1083f, 0x1083f,
2515 : 0x1d000, 0x1d0f5,
2516 : 0x1d100, 0x1d126,
2517 : 0x1d12a, 0x1d1dd,
2518 : 0x1d300, 0x1d356,
2519 : 0x1d400, 0x1d454,
2520 : 0x1d456, 0x1d49c,
2521 : 0x1d49e, 0x1d49f,
2522 : 0x1d4a2, 0x1d4a2,
2523 : 0x1d4a5, 0x1d4a6,
2524 : 0x1d4a9, 0x1d4ac,
2525 : 0x1d4ae, 0x1d4b9,
2526 : 0x1d4bb, 0x1d4bb,
2527 : 0x1d4bd, 0x1d4c3,
2528 : 0x1d4c5, 0x1d505,
2529 : 0x1d507, 0x1d50a,
2530 : 0x1d50d, 0x1d514,
2531 : 0x1d516, 0x1d51c,
2532 : 0x1d51e, 0x1d539,
2533 : 0x1d53b, 0x1d53e,
2534 : 0x1d540, 0x1d544,
2535 : 0x1d546, 0x1d546,
2536 : 0x1d54a, 0x1d550,
2537 : 0x1d552, 0x1d6a3,
2538 : 0x1d6a8, 0x1d7c9,
2539 : 0x1d7ce, 0x1d7ff,
2540 : 0x20000, 0x2a6d6,
2541 : 0x2f800, 0x2fa1d,
2542 : 0xe0001, 0xe0001,
2543 : 0xe0020, 0xe007f,
2544 : 0xe0100, 0xe01ef,
2545 : 0xf0000, 0xffffd,
2546 : 0x100000, 0x10fffd
2547 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
2548 : }; /* end of MBPrint */
2549 :
2550 : static const OnigCodePoint SBPunct[] = {
2551 : 9,
2552 : 0x0021, 0x0023,
2553 : 0x0025, 0x002a,
2554 : 0x002c, 0x002f,
2555 : 0x003a, 0x003b,
2556 : 0x003f, 0x0040,
2557 : 0x005b, 0x005d,
2558 : 0x005f, 0x005f,
2559 : 0x007b, 0x007b,
2560 : 0x007d, 0x007d
2561 : }; /* end of SBPunct */
2562 :
2563 : static const OnigCodePoint MBPunct[] = {
2564 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2565 : 77,
2566 : #else
2567 : 5,
2568 : #endif
2569 : 0x00a1, 0x00a1,
2570 : 0x00ab, 0x00ab,
2571 : 0x00b7, 0x00b7,
2572 : 0x00bb, 0x00bb,
2573 : 0x00bf, 0x00bf
2574 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2575 : ,
2576 : 0x037e, 0x037e,
2577 : 0x0387, 0x0387,
2578 : 0x055a, 0x055f,
2579 : 0x0589, 0x058a,
2580 : 0x05be, 0x05be,
2581 : 0x05c0, 0x05c0,
2582 : 0x05c3, 0x05c3,
2583 : 0x05f3, 0x05f4,
2584 : 0x060c, 0x060d,
2585 : 0x061b, 0x061b,
2586 : 0x061f, 0x061f,
2587 : 0x066a, 0x066d,
2588 : 0x06d4, 0x06d4,
2589 : 0x0700, 0x070d,
2590 : 0x0964, 0x0965,
2591 : 0x0970, 0x0970,
2592 : 0x0df4, 0x0df4,
2593 : 0x0e4f, 0x0e4f,
2594 : 0x0e5a, 0x0e5b,
2595 : 0x0f04, 0x0f12,
2596 : 0x0f3a, 0x0f3d,
2597 : 0x0f85, 0x0f85,
2598 : 0x104a, 0x104f,
2599 : 0x10fb, 0x10fb,
2600 : 0x1361, 0x1368,
2601 : 0x166d, 0x166e,
2602 : 0x169b, 0x169c,
2603 : 0x16eb, 0x16ed,
2604 : 0x1735, 0x1736,
2605 : 0x17d4, 0x17d6,
2606 : 0x17d8, 0x17da,
2607 : 0x1800, 0x180a,
2608 : 0x1944, 0x1945,
2609 : 0x2010, 0x2027,
2610 : 0x2030, 0x2043,
2611 : 0x2045, 0x2051,
2612 : 0x2053, 0x2054,
2613 : 0x2057, 0x2057,
2614 : 0x207d, 0x207e,
2615 : 0x208d, 0x208e,
2616 : 0x2329, 0x232a,
2617 : 0x23b4, 0x23b6,
2618 : 0x2768, 0x2775,
2619 : 0x27e6, 0x27eb,
2620 : 0x2983, 0x2998,
2621 : 0x29d8, 0x29db,
2622 : 0x29fc, 0x29fd,
2623 : 0x3001, 0x3003,
2624 : 0x3008, 0x3011,
2625 : 0x3014, 0x301f,
2626 : 0x3030, 0x3030,
2627 : 0x303d, 0x303d,
2628 : 0x30a0, 0x30a0,
2629 : 0x30fb, 0x30fb,
2630 : 0xfd3e, 0xfd3f,
2631 : 0xfe30, 0xfe52,
2632 : 0xfe54, 0xfe61,
2633 : 0xfe63, 0xfe63,
2634 : 0xfe68, 0xfe68,
2635 : 0xfe6a, 0xfe6b,
2636 : 0xff01, 0xff03,
2637 : 0xff05, 0xff0a,
2638 : 0xff0c, 0xff0f,
2639 : 0xff1a, 0xff1b,
2640 : 0xff1f, 0xff20,
2641 : 0xff3b, 0xff3d,
2642 : 0xff3f, 0xff3f,
2643 : 0xff5b, 0xff5b,
2644 : 0xff5d, 0xff5d,
2645 : 0xff5f, 0xff65,
2646 : 0x10100, 0x10101,
2647 : 0x1039f, 0x1039f
2648 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
2649 : }; /* end of MBPunct */
2650 :
2651 : static const OnigCodePoint SBSpace[] = {
2652 : 2,
2653 : 0x0009, 0x000d,
2654 : 0x0020, 0x0020
2655 : };
2656 :
2657 : static const OnigCodePoint MBSpace[] = {
2658 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2659 : 9,
2660 : #else
2661 : 2,
2662 : #endif
2663 : 0x0085, 0x0085,
2664 : 0x00a0, 0x00a0
2665 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2666 : ,
2667 : 0x1680, 0x1680,
2668 : 0x180e, 0x180e,
2669 : 0x2000, 0x200a,
2670 : 0x2028, 0x2029,
2671 : 0x202f, 0x202f,
2672 : 0x205f, 0x205f,
2673 : 0x3000, 0x3000
2674 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
2675 : }; /* end of MBSpace */
2676 :
2677 : static const OnigCodePoint SBUpper[] = {
2678 : 1,
2679 : 0x0041, 0x005a
2680 : };
2681 :
2682 : static const OnigCodePoint MBUpper[] = {
2683 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2684 : 420,
2685 : #else
2686 : 2,
2687 : #endif
2688 : 0x00c0, 0x00d6,
2689 : 0x00d8, 0x00de
2690 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
2691 : ,
2692 : 0x0100, 0x0100,
2693 : 0x0102, 0x0102,
2694 : 0x0104, 0x0104,
2695 : 0x0106, 0x0106,
2696 : 0x0108, 0x0108,
2697 : 0x010a, 0x010a,
2698 : 0x010c, 0x010c,
2699 : 0x010e, 0x010e,
2700 : 0x0110, 0x0110,
2701 : 0x0112, 0x0112,
2702 : 0x0114, 0x0114,
2703 : 0x0116, 0x0116,
2704 : 0x0118, 0x0118,
2705 : 0x011a, 0x011a,
2706 : 0x011c, 0x011c,
2707 : 0x011e, 0x011e,
2708 : 0x0120, 0x0120,
2709 : 0x0122, 0x0122,
2710 : 0x0124, 0x0124,
2711 : 0x0126, 0x0126,
2712 : 0x0128, 0x0128,
2713 : 0x012a, 0x012a,
2714 : 0x012c, 0x012c,
2715 : 0x012e, 0x012e,
2716 : 0x0130, 0x0130,
2717 : 0x0132, 0x0132,
2718 : 0x0134, 0x0134,
2719 : 0x0136, 0x0136,
2720 : 0x0139, 0x0139,
2721 : 0x013b, 0x013b,
2722 : 0x013d, 0x013d,
2723 : 0x013f, 0x013f,
2724 : 0x0141, 0x0141,
2725 : 0x0143, 0x0143,
2726 : 0x0145, 0x0145,
2727 : 0x0147, 0x0147,
2728 : 0x014a, 0x014a,
2729 : 0x014c, 0x014c,
2730 : 0x014e, 0x014e,
2731 : 0x0150, 0x0150,
2732 : 0x0152, 0x0152,
2733 : 0x0154, 0x0154,
2734 : 0x0156, 0x0156,
2735 : 0x0158, 0x0158,
2736 : 0x015a, 0x015a,
2737 : 0x015c, 0x015c,
2738 : 0x015e, 0x015e,
2739 : 0x0160, 0x0160,
2740 : 0x0162, 0x0162,
2741 : 0x0164, 0x0164,
2742 : 0x0166, 0x0166,
2743 : 0x0168, 0x0168,
2744 : 0x016a, 0x016a,
2745 : 0x016c, 0x016c,
2746 : 0x016e, 0x016e,
2747 : 0x0170, 0x0170,
2748 : 0x0172, 0x0172,
2749 : 0x0174, 0x0174,
2750 : 0x0176, 0x0176,
2751 : 0x0178, 0x0179,
2752 : 0x017b, 0x017b,
2753 : 0x017d, 0x017d,
2754 : 0x0181, 0x0182,
2755 : 0x0184, 0x0184,
2756 : 0x0186, 0x0187,
2757 : 0x0189, 0x018b,
2758 : 0x018e, 0x0191,
2759 : 0x0193, 0x0194,
2760 : 0x0196, 0x0198,
2761 : 0x019c, 0x019d,
2762 : 0x019f, 0x01a0,
2763 : 0x01a2, 0x01a2,
2764 : 0x01a4, 0x01a4,
2765 : 0x01a6, 0x01a7,
2766 : 0x01a9, 0x01a9,
2767 : 0x01ac, 0x01ac,
2768 : 0x01ae, 0x01af,
2769 : 0x01b1, 0x01b3,
2770 : 0x01b5, 0x01b5,
2771 : 0x01b7, 0x01b8,
2772 : 0x01bc, 0x01bc,
2773 : 0x01c4, 0x01c4,
2774 : 0x01c7, 0x01c7,
2775 : 0x01ca, 0x01ca,
2776 : 0x01cd, 0x01cd,
2777 : 0x01cf, 0x01cf,
2778 : 0x01d1, 0x01d1,
2779 : 0x01d3, 0x01d3,
2780 : 0x01d5, 0x01d5,
2781 : 0x01d7, 0x01d7,
2782 : 0x01d9, 0x01d9,
2783 : 0x01db, 0x01db,
2784 : 0x01de, 0x01de,
2785 : 0x01e0, 0x01e0,
2786 : 0x01e2, 0x01e2,
2787 : 0x01e4, 0x01e4,
2788 : 0x01e6, 0x01e6,
2789 : 0x01e8, 0x01e8,
2790 : 0x01ea, 0x01ea,
2791 : 0x01ec, 0x01ec,
2792 : 0x01ee, 0x01ee,
2793 : 0x01f1, 0x01f1,
2794 : 0x01f4, 0x01f4,
2795 : 0x01f6, 0x01f8,
2796 : 0x01fa, 0x01fa,
2797 : 0x01fc, 0x01fc,
2798 : 0x01fe, 0x01fe,
2799 : 0x0200, 0x0200,
2800 : 0x0202, 0x0202,
2801 : 0x0204, 0x0204,
2802 : 0x0206, 0x0206,
2803 : 0x0208, 0x0208,
2804 : 0x020a, 0x020a,
2805 : 0x020c, 0x020c,
2806 : 0x020e, 0x020e,
2807 : 0x0210, 0x0210,
2808 : 0x0212, 0x0212,
2809 : 0x0214, 0x0214,
2810 : 0x0216, 0x0216,
2811 : 0x0218, 0x0218,
2812 : 0x021a, 0x021a,
2813 : 0x021c, 0x021c,
2814 : 0x021e, 0x021e,
2815 : 0x0220, 0x0220,
2816 : 0x0222, 0x0222,
2817 : 0x0224, 0x0224,
2818 : 0x0226, 0x0226,
2819 : 0x0228, 0x0228,
2820 : 0x022a, 0x022a,
2821 : 0x022c, 0x022c,
2822 : 0x022e, 0x022e,
2823 : 0x0230, 0x0230,
2824 : 0x0232, 0x0232,
2825 : 0x0386, 0x0386,
2826 : 0x0388, 0x038a,
2827 : 0x038c, 0x038c,
2828 : 0x038e, 0x038f,
2829 : 0x0391, 0x03a1,
2830 : 0x03a3, 0x03ab,
2831 : 0x03d2, 0x03d4,
2832 : 0x03d8, 0x03d8,
2833 : 0x03da, 0x03da,
2834 : 0x03dc, 0x03dc,
2835 : 0x03de, 0x03de,
2836 : 0x03e0, 0x03e0,
2837 : 0x03e2, 0x03e2,
2838 : 0x03e4, 0x03e4,
2839 : 0x03e6, 0x03e6,
2840 : 0x03e8, 0x03e8,
2841 : 0x03ea, 0x03ea,
2842 : 0x03ec, 0x03ec,
2843 : 0x03ee, 0x03ee,
2844 : 0x03f4, 0x03f4,
2845 : 0x03f7, 0x03f7,
2846 : 0x03f9, 0x03fa,
2847 : 0x0400, 0x042f,
2848 : 0x0460, 0x0460,
2849 : 0x0462, 0x0462,
2850 : 0x0464, 0x0464,
2851 : 0x0466, 0x0466,
2852 : 0x0468, 0x0468,
2853 : 0x046a, 0x046a,
2854 : 0x046c, 0x046c,
2855 : 0x046e, 0x046e,
2856 : 0x0470, 0x0470,
2857 : 0x0472, 0x0472,
2858 : 0x0474, 0x0474,
2859 : 0x0476, 0x0476,
2860 : 0x0478, 0x0478,
2861 : 0x047a, 0x047a,
2862 : 0x047c, 0x047c,
2863 : 0x047e, 0x047e,
2864 : 0x0480, 0x0480,
2865 : 0x048a, 0x048a,
2866 : 0x048c, 0x048c,
2867 : 0x048e, 0x048e,
2868 : 0x0490, 0x0490,
2869 : 0x0492, 0x0492,
2870 : 0x0494, 0x0494,
2871 : 0x0496, 0x0496,
2872 : 0x0498, 0x0498,
2873 : 0x049a, 0x049a,
2874 : 0x049c, 0x049c,
2875 : 0x049e, 0x049e,
2876 : 0x04a0, 0x04a0,
2877 : 0x04a2, 0x04a2,
2878 : 0x04a4, 0x04a4,
2879 : 0x04a6, 0x04a6,
2880 : 0x04a8, 0x04a8,
2881 : 0x04aa, 0x04aa,
2882 : 0x04ac, 0x04ac,
2883 : 0x04ae, 0x04ae,
2884 : 0x04b0, 0x04b0,
2885 : 0x04b2, 0x04b2,
2886 : 0x04b4, 0x04b4,
2887 : 0x04b6, 0x04b6,
2888 : 0x04b8, 0x04b8,
2889 : 0x04ba, 0x04ba,
2890 : 0x04bc, 0x04bc,
2891 : 0x04be, 0x04be,
2892 : 0x04c0, 0x04c1,
2893 : 0x04c3, 0x04c3,
2894 : 0x04c5, 0x04c5,
2895 : 0x04c7, 0x04c7,
2896 : 0x04c9, 0x04c9,
2897 : 0x04cb, 0x04cb,
2898 : 0x04cd, 0x04cd,
2899 : 0x04d0, 0x04d0,
2900 : 0x04d2, 0x04d2,
2901 : 0x04d4, 0x04d4,
2902 : 0x04d6, 0x04d6,
2903 : 0x04d8, 0x04d8,
2904 : 0x04da, 0x04da,
2905 : 0x04dc, 0x04dc,
2906 : 0x04de, 0x04de,
2907 : 0x04e0, 0x04e0,
2908 : 0x04e2, 0x04e2,
2909 : 0x04e4, 0x04e4,
2910 : 0x04e6, 0x04e6,
2911 : 0x04e8, 0x04e8,
2912 : 0x04ea, 0x04ea,
2913 : 0x04ec, 0x04ec,
2914 : 0x04ee, 0x04ee,
2915 : 0x04f0, 0x04f0,
2916 : 0x04f2, 0x04f2,
2917 : 0x04f4, 0x04f4,
2918 : 0x04f8, 0x04f8,
2919 : 0x0500, 0x0500,
2920 : 0x0502, 0x0502,
2921 : 0x0504, 0x0504,
2922 : 0x0506, 0x0506,
2923 : 0x0508, 0x0508,
2924 : 0x050a, 0x050a,
2925 : 0x050c, 0x050c,
2926 : 0x050e, 0x050e,
2927 : 0x0531, 0x0556,
2928 : 0x10a0, 0x10c5,
2929 : 0x1e00, 0x1e00,
2930 : 0x1e02, 0x1e02,
2931 : 0x1e04, 0x1e04,
2932 : 0x1e06, 0x1e06,
2933 : 0x1e08, 0x1e08,
2934 : 0x1e0a, 0x1e0a,
2935 : 0x1e0c, 0x1e0c,
2936 : 0x1e0e, 0x1e0e,
2937 : 0x1e10, 0x1e10,
2938 : 0x1e12, 0x1e12,
2939 : 0x1e14, 0x1e14,
2940 : 0x1e16, 0x1e16,
2941 : 0x1e18, 0x1e18,
2942 : 0x1e1a, 0x1e1a,
2943 : 0x1e1c, 0x1e1c,
2944 : 0x1e1e, 0x1e1e,
2945 : 0x1e20, 0x1e20,
2946 : 0x1e22, 0x1e22,
2947 : 0x1e24, 0x1e24,
2948 : 0x1e26, 0x1e26,
2949 : 0x1e28, 0x1e28,
2950 : 0x1e2a, 0x1e2a,
2951 : 0x1e2c, 0x1e2c,
2952 : 0x1e2e, 0x1e2e,
2953 : 0x1e30, 0x1e30,
2954 : 0x1e32, 0x1e32,
2955 : 0x1e34, 0x1e34,
2956 : 0x1e36, 0x1e36,
2957 : 0x1e38, 0x1e38,
2958 : 0x1e3a, 0x1e3a,
2959 : 0x1e3c, 0x1e3c,
2960 : 0x1e3e, 0x1e3e,
2961 : 0x1e40, 0x1e40,
2962 : 0x1e42, 0x1e42,
2963 : 0x1e44, 0x1e44,
2964 : 0x1e46, 0x1e46,
2965 : 0x1e48, 0x1e48,
2966 : 0x1e4a, 0x1e4a,
2967 : 0x1e4c, 0x1e4c,
2968 : 0x1e4e, 0x1e4e,
2969 : 0x1e50, 0x1e50,
2970 : 0x1e52, 0x1e52,
2971 : 0x1e54, 0x1e54,
2972 : 0x1e56, 0x1e56,
2973 : 0x1e58, 0x1e58,
2974 : 0x1e5a, 0x1e5a,
2975 : 0x1e5c, 0x1e5c,
2976 : 0x1e5e, 0x1e5e,
2977 : 0x1e60, 0x1e60,
2978 : 0x1e62, 0x1e62,
2979 : 0x1e64, 0x1e64,
2980 : 0x1e66, 0x1e66,
2981 : 0x1e68, 0x1e68,
2982 : 0x1e6a, 0x1e6a,
2983 : 0x1e6c, 0x1e6c,
2984 : 0x1e6e, 0x1e6e,
2985 : 0x1e70, 0x1e70,
2986 : 0x1e72, 0x1e72,
2987 : 0x1e74, 0x1e74,
2988 : 0x1e76, 0x1e76,
2989 : 0x1e78, 0x1e78,
2990 : 0x1e7a, 0x1e7a,
2991 : 0x1e7c, 0x1e7c,
2992 : 0x1e7e, 0x1e7e,
2993 : 0x1e80, 0x1e80,
2994 : 0x1e82, 0x1e82,
2995 : 0x1e84, 0x1e84,
2996 : 0x1e86, 0x1e86,
2997 : 0x1e88, 0x1e88,
2998 : 0x1e8a, 0x1e8a,
2999 : 0x1e8c, 0x1e8c,
3000 : 0x1e8e, 0x1e8e,
3001 : 0x1e90, 0x1e90,
3002 : 0x1e92, 0x1e92,
3003 : 0x1e94, 0x1e94,
3004 : 0x1ea0, 0x1ea0,
3005 : 0x1ea2, 0x1ea2,
3006 : 0x1ea4, 0x1ea4,
3007 : 0x1ea6, 0x1ea6,
3008 : 0x1ea8, 0x1ea8,
3009 : 0x1eaa, 0x1eaa,
3010 : 0x1eac, 0x1eac,
3011 : 0x1eae, 0x1eae,
3012 : 0x1eb0, 0x1eb0,
3013 : 0x1eb2, 0x1eb2,
3014 : 0x1eb4, 0x1eb4,
3015 : 0x1eb6, 0x1eb6,
3016 : 0x1eb8, 0x1eb8,
3017 : 0x1eba, 0x1eba,
3018 : 0x1ebc, 0x1ebc,
3019 : 0x1ebe, 0x1ebe,
3020 : 0x1ec0, 0x1ec0,
3021 : 0x1ec2, 0x1ec2,
3022 : 0x1ec4, 0x1ec4,
3023 : 0x1ec6, 0x1ec6,
3024 : 0x1ec8, 0x1ec8,
3025 : 0x1eca, 0x1eca,
3026 : 0x1ecc, 0x1ecc,
3027 : 0x1ece, 0x1ece,
3028 : 0x1ed0, 0x1ed0,
3029 : 0x1ed2, 0x1ed2,
3030 : 0x1ed4, 0x1ed4,
3031 : 0x1ed6, 0x1ed6,
3032 : 0x1ed8, 0x1ed8,
3033 : 0x1eda, 0x1eda,
3034 : 0x1edc, 0x1edc,
3035 : 0x1ede, 0x1ede,
3036 : 0x1ee0, 0x1ee0,
3037 : 0x1ee2, 0x1ee2,
3038 : 0x1ee4, 0x1ee4,
3039 : 0x1ee6, 0x1ee6,
3040 : 0x1ee8, 0x1ee8,
3041 : 0x1eea, 0x1eea,
3042 : 0x1eec, 0x1eec,
3043 : 0x1eee, 0x1eee,
3044 : 0x1ef0, 0x1ef0,
3045 : 0x1ef2, 0x1ef2,
3046 : 0x1ef4, 0x1ef4,
3047 : 0x1ef6, 0x1ef6,
3048 : 0x1ef8, 0x1ef8,
3049 : 0x1f08, 0x1f0f,
3050 : 0x1f18, 0x1f1d,
3051 : 0x1f28, 0x1f2f,
3052 : 0x1f38, 0x1f3f,
3053 : 0x1f48, 0x1f4d,
3054 : 0x1f59, 0x1f59,
3055 : 0x1f5b, 0x1f5b,
3056 : 0x1f5d, 0x1f5d,
3057 : 0x1f5f, 0x1f5f,
3058 : 0x1f68, 0x1f6f,
3059 : 0x1fb8, 0x1fbb,
3060 : 0x1fc8, 0x1fcb,
3061 : 0x1fd8, 0x1fdb,
3062 : 0x1fe8, 0x1fec,
3063 : 0x1ff8, 0x1ffb,
3064 : 0x2102, 0x2102,
3065 : 0x2107, 0x2107,
3066 : 0x210b, 0x210d,
3067 : 0x2110, 0x2112,
3068 : 0x2115, 0x2115,
3069 : 0x2119, 0x211d,
3070 : 0x2124, 0x2124,
3071 : 0x2126, 0x2126,
3072 : 0x2128, 0x2128,
3073 : 0x212a, 0x212d,
3074 : 0x2130, 0x2131,
3075 : 0x2133, 0x2133,
3076 : 0x213e, 0x213f,
3077 : 0x2145, 0x2145,
3078 : 0xff21, 0xff3a,
3079 : 0x10400, 0x10427,
3080 : 0x1d400, 0x1d419,
3081 : 0x1d434, 0x1d44d,
3082 : 0x1d468, 0x1d481,
3083 : 0x1d49c, 0x1d49c,
3084 : 0x1d49e, 0x1d49f,
3085 : 0x1d4a2, 0x1d4a2,
3086 : 0x1d4a5, 0x1d4a6,
3087 : 0x1d4a9, 0x1d4ac,
3088 : 0x1d4ae, 0x1d4b5,
3089 : 0x1d4d0, 0x1d4e9,
3090 : 0x1d504, 0x1d505,
3091 : 0x1d507, 0x1d50a,
3092 : 0x1d50d, 0x1d514,
3093 : 0x1d516, 0x1d51c,
3094 : 0x1d538, 0x1d539,
3095 : 0x1d53b, 0x1d53e,
3096 : 0x1d540, 0x1d544,
3097 : 0x1d546, 0x1d546,
3098 : 0x1d54a, 0x1d550,
3099 : 0x1d56c, 0x1d585,
3100 : 0x1d5a0, 0x1d5b9,
3101 : 0x1d5d4, 0x1d5ed,
3102 : 0x1d608, 0x1d621,
3103 : 0x1d63c, 0x1d655,
3104 : 0x1d670, 0x1d689,
3105 : 0x1d6a8, 0x1d6c0,
3106 : 0x1d6e2, 0x1d6fa,
3107 : 0x1d71c, 0x1d734,
3108 : 0x1d756, 0x1d76e,
3109 : 0x1d790, 0x1d7a8
3110 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
3111 : }; /* end of MBUpper */
3112 :
3113 : static const OnigCodePoint SBXDigit[] = {
3114 : 3,
3115 : 0x0030, 0x0039,
3116 : 0x0041, 0x0046,
3117 : 0x0061, 0x0066
3118 : };
3119 :
3120 : static const OnigCodePoint SBASCII[] = {
3121 : 1,
3122 : 0x0000, 0x007f
3123 : };
3124 :
3125 : static const OnigCodePoint SBWord[] = {
3126 : 4,
3127 : 0x0030, 0x0039,
3128 : 0x0041, 0x005a,
3129 : 0x005f, 0x005f,
3130 : 0x0061, 0x007a
3131 : };
3132 :
3133 : static const OnigCodePoint MBWord[] = {
3134 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
3135 : 432,
3136 : #else
3137 : 8,
3138 : #endif
3139 : 0x00aa, 0x00aa,
3140 : 0x00b2, 0x00b3,
3141 : 0x00b5, 0x00b5,
3142 : 0x00b9, 0x00ba,
3143 : 0x00bc, 0x00be,
3144 : 0x00c0, 0x00d6,
3145 : 0x00d8, 0x00f6,
3146 : #ifndef USE_UNICODE_FULL_RANGE_CTYPE
3147 : 0x00f8, 0x7fffffff
3148 : #else /* not USE_UNICODE_FULL_RANGE_CTYPE */
3149 : 0x00f8, 0x0236,
3150 : 0x0250, 0x02c1,
3151 : 0x02c6, 0x02d1,
3152 : 0x02e0, 0x02e4,
3153 : 0x02ee, 0x02ee,
3154 : 0x0300, 0x0357,
3155 : 0x035d, 0x036f,
3156 : 0x037a, 0x037a,
3157 : 0x0386, 0x0386,
3158 : 0x0388, 0x038a,
3159 : 0x038c, 0x038c,
3160 : 0x038e, 0x03a1,
3161 : 0x03a3, 0x03ce,
3162 : 0x03d0, 0x03f5,
3163 : 0x03f7, 0x03fb,
3164 : 0x0400, 0x0481,
3165 : 0x0483, 0x0486,
3166 : 0x0488, 0x04ce,
3167 : 0x04d0, 0x04f5,
3168 : 0x04f8, 0x04f9,
3169 : 0x0500, 0x050f,
3170 : 0x0531, 0x0556,
3171 : 0x0559, 0x0559,
3172 : 0x0561, 0x0587,
3173 : 0x0591, 0x05a1,
3174 : 0x05a3, 0x05b9,
3175 : 0x05bb, 0x05bd,
3176 : 0x05bf, 0x05bf,
3177 : 0x05c1, 0x05c2,
3178 : 0x05c4, 0x05c4,
3179 : 0x05d0, 0x05ea,
3180 : 0x05f0, 0x05f2,
3181 : 0x0610, 0x0615,
3182 : 0x0621, 0x063a,
3183 : 0x0640, 0x0658,
3184 : 0x0660, 0x0669,
3185 : 0x066e, 0x06d3,
3186 : 0x06d5, 0x06dc,
3187 : 0x06de, 0x06e8,
3188 : 0x06ea, 0x06fc,
3189 : 0x06ff, 0x06ff,
3190 : 0x0710, 0x074a,
3191 : 0x074d, 0x074f,
3192 : 0x0780, 0x07b1,
3193 : 0x0901, 0x0939,
3194 : 0x093c, 0x094d,
3195 : 0x0950, 0x0954,
3196 : 0x0958, 0x0963,
3197 : 0x0966, 0x096f,
3198 : 0x0981, 0x0983,
3199 : 0x0985, 0x098c,
3200 : 0x098f, 0x0990,
3201 : 0x0993, 0x09a8,
3202 : 0x09aa, 0x09b0,
3203 : 0x09b2, 0x09b2,
3204 : 0x09b6, 0x09b9,
3205 : 0x09bc, 0x09c4,
3206 : 0x09c7, 0x09c8,
3207 : 0x09cb, 0x09cd,
3208 : 0x09d7, 0x09d7,
3209 : 0x09dc, 0x09dd,
3210 : 0x09df, 0x09e3,
3211 : 0x09e6, 0x09f1,
3212 : 0x09f4, 0x09f9,
3213 : 0x0a01, 0x0a03,
3214 : 0x0a05, 0x0a0a,
3215 : 0x0a0f, 0x0a10,
3216 : 0x0a13, 0x0a28,
3217 : 0x0a2a, 0x0a30,
3218 : 0x0a32, 0x0a33,
3219 : 0x0a35, 0x0a36,
3220 : 0x0a38, 0x0a39,
3221 : 0x0a3c, 0x0a3c,
3222 : 0x0a3e, 0x0a42,
3223 : 0x0a47, 0x0a48,
3224 : 0x0a4b, 0x0a4d,
3225 : 0x0a59, 0x0a5c,
3226 : 0x0a5e, 0x0a5e,
3227 : 0x0a66, 0x0a74,
3228 : 0x0a81, 0x0a83,
3229 : 0x0a85, 0x0a8d,
3230 : 0x0a8f, 0x0a91,
3231 : 0x0a93, 0x0aa8,
3232 : 0x0aaa, 0x0ab0,
3233 : 0x0ab2, 0x0ab3,
3234 : 0x0ab5, 0x0ab9,
3235 : 0x0abc, 0x0ac5,
3236 : 0x0ac7, 0x0ac9,
3237 : 0x0acb, 0x0acd,
3238 : 0x0ad0, 0x0ad0,
3239 : 0x0ae0, 0x0ae3,
3240 : 0x0ae6, 0x0aef,
3241 : 0x0b01, 0x0b03,
3242 : 0x0b05, 0x0b0c,
3243 : 0x0b0f, 0x0b10,
3244 : 0x0b13, 0x0b28,
3245 : 0x0b2a, 0x0b30,
3246 : 0x0b32, 0x0b33,
3247 : 0x0b35, 0x0b39,
3248 : 0x0b3c, 0x0b43,
3249 : 0x0b47, 0x0b48,
3250 : 0x0b4b, 0x0b4d,
3251 : 0x0b56, 0x0b57,
3252 : 0x0b5c, 0x0b5d,
3253 : 0x0b5f, 0x0b61,
3254 : 0x0b66, 0x0b6f,
3255 : 0x0b71, 0x0b71,
3256 : 0x0b82, 0x0b83,
3257 : 0x0b85, 0x0b8a,
3258 : 0x0b8e, 0x0b90,
3259 : 0x0b92, 0x0b95,
3260 : 0x0b99, 0x0b9a,
3261 : 0x0b9c, 0x0b9c,
3262 : 0x0b9e, 0x0b9f,
3263 : 0x0ba3, 0x0ba4,
3264 : 0x0ba8, 0x0baa,
3265 : 0x0bae, 0x0bb5,
3266 : 0x0bb7, 0x0bb9,
3267 : 0x0bbe, 0x0bc2,
3268 : 0x0bc6, 0x0bc8,
3269 : 0x0bca, 0x0bcd,
3270 : 0x0bd7, 0x0bd7,
3271 : 0x0be7, 0x0bf2,
3272 : 0x0c01, 0x0c03,
3273 : 0x0c05, 0x0c0c,
3274 : 0x0c0e, 0x0c10,
3275 : 0x0c12, 0x0c28,
3276 : 0x0c2a, 0x0c33,
3277 : 0x0c35, 0x0c39,
3278 : 0x0c3e, 0x0c44,
3279 : 0x0c46, 0x0c48,
3280 : 0x0c4a, 0x0c4d,
3281 : 0x0c55, 0x0c56,
3282 : 0x0c60, 0x0c61,
3283 : 0x0c66, 0x0c6f,
3284 : 0x0c82, 0x0c83,
3285 : 0x0c85, 0x0c8c,
3286 : 0x0c8e, 0x0c90,
3287 : 0x0c92, 0x0ca8,
3288 : 0x0caa, 0x0cb3,
3289 : 0x0cb5, 0x0cb9,
3290 : 0x0cbc, 0x0cc4,
3291 : 0x0cc6, 0x0cc8,
3292 : 0x0cca, 0x0ccd,
3293 : 0x0cd5, 0x0cd6,
3294 : 0x0cde, 0x0cde,
3295 : 0x0ce0, 0x0ce1,
3296 : 0x0ce6, 0x0cef,
3297 : 0x0d02, 0x0d03,
3298 : 0x0d05, 0x0d0c,
3299 : 0x0d0e, 0x0d10,
3300 : 0x0d12, 0x0d28,
3301 : 0x0d2a, 0x0d39,
3302 : 0x0d3e, 0x0d43,
3303 : 0x0d46, 0x0d48,
3304 : 0x0d4a, 0x0d4d,
3305 : 0x0d57, 0x0d57,
3306 : 0x0d60, 0x0d61,
3307 : 0x0d66, 0x0d6f,
3308 : 0x0d82, 0x0d83,
3309 : 0x0d85, 0x0d96,
3310 : 0x0d9a, 0x0db1,
3311 : 0x0db3, 0x0dbb,
3312 : 0x0dbd, 0x0dbd,
3313 : 0x0dc0, 0x0dc6,
3314 : 0x0dca, 0x0dca,
3315 : 0x0dcf, 0x0dd4,
3316 : 0x0dd6, 0x0dd6,
3317 : 0x0dd8, 0x0ddf,
3318 : 0x0df2, 0x0df3,
3319 : 0x0e01, 0x0e3a,
3320 : 0x0e40, 0x0e4e,
3321 : 0x0e50, 0x0e59,
3322 : 0x0e81, 0x0e82,
3323 : 0x0e84, 0x0e84,
3324 : 0x0e87, 0x0e88,
3325 : 0x0e8a, 0x0e8a,
3326 : 0x0e8d, 0x0e8d,
3327 : 0x0e94, 0x0e97,
3328 : 0x0e99, 0x0e9f,
3329 : 0x0ea1, 0x0ea3,
3330 : 0x0ea5, 0x0ea5,
3331 : 0x0ea7, 0x0ea7,
3332 : 0x0eaa, 0x0eab,
3333 : 0x0ead, 0x0eb9,
3334 : 0x0ebb, 0x0ebd,
3335 : 0x0ec0, 0x0ec4,
3336 : 0x0ec6, 0x0ec6,
3337 : 0x0ec8, 0x0ecd,
3338 : 0x0ed0, 0x0ed9,
3339 : 0x0edc, 0x0edd,
3340 : 0x0f00, 0x0f00,
3341 : 0x0f18, 0x0f19,
3342 : 0x0f20, 0x0f33,
3343 : 0x0f35, 0x0f35,
3344 : 0x0f37, 0x0f37,
3345 : 0x0f39, 0x0f39,
3346 : 0x0f3e, 0x0f47,
3347 : 0x0f49, 0x0f6a,
3348 : 0x0f71, 0x0f84,
3349 : 0x0f86, 0x0f8b,
3350 : 0x0f90, 0x0f97,
3351 : 0x0f99, 0x0fbc,
3352 : 0x0fc6, 0x0fc6,
3353 : 0x1000, 0x1021,
3354 : 0x1023, 0x1027,
3355 : 0x1029, 0x102a,
3356 : 0x102c, 0x1032,
3357 : 0x1036, 0x1039,
3358 : 0x1040, 0x1049,
3359 : 0x1050, 0x1059,
3360 : 0x10a0, 0x10c5,
3361 : 0x10d0, 0x10f8,
3362 : 0x1100, 0x1159,
3363 : 0x115f, 0x11a2,
3364 : 0x11a8, 0x11f9,
3365 : 0x1200, 0x1206,
3366 : 0x1208, 0x1246,
3367 : 0x1248, 0x1248,
3368 : 0x124a, 0x124d,
3369 : 0x1250, 0x1256,
3370 : 0x1258, 0x1258,
3371 : 0x125a, 0x125d,
3372 : 0x1260, 0x1286,
3373 : 0x1288, 0x1288,
3374 : 0x128a, 0x128d,
3375 : 0x1290, 0x12ae,
3376 : 0x12b0, 0x12b0,
3377 : 0x12b2, 0x12b5,
3378 : 0x12b8, 0x12be,
3379 : 0x12c0, 0x12c0,
3380 : 0x12c2, 0x12c5,
3381 : 0x12c8, 0x12ce,
3382 : 0x12d0, 0x12d6,
3383 : 0x12d8, 0x12ee,
3384 : 0x12f0, 0x130e,
3385 : 0x1310, 0x1310,
3386 : 0x1312, 0x1315,
3387 : 0x1318, 0x131e,
3388 : 0x1320, 0x1346,
3389 : 0x1348, 0x135a,
3390 : 0x1369, 0x137c,
3391 : 0x13a0, 0x13f4,
3392 : 0x1401, 0x166c,
3393 : 0x166f, 0x1676,
3394 : 0x1681, 0x169a,
3395 : 0x16a0, 0x16ea,
3396 : 0x16ee, 0x16f0,
3397 : 0x1700, 0x170c,
3398 : 0x170e, 0x1714,
3399 : 0x1720, 0x1734,
3400 : 0x1740, 0x1753,
3401 : 0x1760, 0x176c,
3402 : 0x176e, 0x1770,
3403 : 0x1772, 0x1773,
3404 : 0x1780, 0x17b3,
3405 : 0x17b6, 0x17d3,
3406 : 0x17d7, 0x17d7,
3407 : 0x17dc, 0x17dd,
3408 : 0x17e0, 0x17e9,
3409 : 0x17f0, 0x17f9,
3410 : 0x180b, 0x180d,
3411 : 0x1810, 0x1819,
3412 : 0x1820, 0x1877,
3413 : 0x1880, 0x18a9,
3414 : 0x1900, 0x191c,
3415 : 0x1920, 0x192b,
3416 : 0x1930, 0x193b,
3417 : 0x1946, 0x196d,
3418 : 0x1970, 0x1974,
3419 : 0x1d00, 0x1d6b,
3420 : 0x1e00, 0x1e9b,
3421 : 0x1ea0, 0x1ef9,
3422 : 0x1f00, 0x1f15,
3423 : 0x1f18, 0x1f1d,
3424 : 0x1f20, 0x1f45,
3425 : 0x1f48, 0x1f4d,
3426 : 0x1f50, 0x1f57,
3427 : 0x1f59, 0x1f59,
3428 : 0x1f5b, 0x1f5b,
3429 : 0x1f5d, 0x1f5d,
3430 : 0x1f5f, 0x1f7d,
3431 : 0x1f80, 0x1fb4,
3432 : 0x1fb6, 0x1fbc,
3433 : 0x1fbe, 0x1fbe,
3434 : 0x1fc2, 0x1fc4,
3435 : 0x1fc6, 0x1fcc,
3436 : 0x1fd0, 0x1fd3,
3437 : 0x1fd6, 0x1fdb,
3438 : 0x1fe0, 0x1fec,
3439 : 0x1ff2, 0x1ff4,
3440 : 0x1ff6, 0x1ffc,
3441 : 0x203f, 0x2040,
3442 : 0x2054, 0x2054,
3443 : 0x2070, 0x2071,
3444 : 0x2074, 0x2079,
3445 : 0x207f, 0x2089,
3446 : 0x20d0, 0x20ea,
3447 : 0x2102, 0x2102,
3448 : 0x2107, 0x2107,
3449 : 0x210a, 0x2113,
3450 : 0x2115, 0x2115,
3451 : 0x2119, 0x211d,
3452 : 0x2124, 0x2124,
3453 : 0x2126, 0x2126,
3454 : 0x2128, 0x2128,
3455 : 0x212a, 0x212d,
3456 : 0x212f, 0x2131,
3457 : 0x2133, 0x2139,
3458 : 0x213d, 0x213f,
3459 : 0x2145, 0x2149,
3460 : 0x2153, 0x2183,
3461 : 0x2460, 0x249b,
3462 : 0x24ea, 0x24ff,
3463 : 0x2776, 0x2793,
3464 : 0x3005, 0x3007,
3465 : 0x3021, 0x302f,
3466 : 0x3031, 0x3035,
3467 : 0x3038, 0x303c,
3468 : 0x3041, 0x3096,
3469 : 0x3099, 0x309a,
3470 : 0x309d, 0x309f,
3471 : 0x30a1, 0x30ff,
3472 : 0x3105, 0x312c,
3473 : 0x3131, 0x318e,
3474 : 0x3192, 0x3195,
3475 : 0x31a0, 0x31b7,
3476 : 0x31f0, 0x31ff,
3477 : 0x3220, 0x3229,
3478 : 0x3251, 0x325f,
3479 : 0x3280, 0x3289,
3480 : 0x32b1, 0x32bf,
3481 : 0x3400, 0x4db5,
3482 : 0x4e00, 0x9fa5,
3483 : 0xa000, 0xa48c,
3484 : 0xac00, 0xd7a3,
3485 : 0xf900, 0xfa2d,
3486 : 0xfa30, 0xfa6a,
3487 : 0xfb00, 0xfb06,
3488 : 0xfb13, 0xfb17,
3489 : 0xfb1d, 0xfb28,
3490 : 0xfb2a, 0xfb36,
3491 : 0xfb38, 0xfb3c,
3492 : 0xfb3e, 0xfb3e,
3493 : 0xfb40, 0xfb41,
3494 : 0xfb43, 0xfb44,
3495 : 0xfb46, 0xfbb1,
3496 : 0xfbd3, 0xfd3d,
3497 : 0xfd50, 0xfd8f,
3498 : 0xfd92, 0xfdc7,
3499 : 0xfdf0, 0xfdfb,
3500 : 0xfe00, 0xfe0f,
3501 : 0xfe20, 0xfe23,
3502 : 0xfe33, 0xfe34,
3503 : 0xfe4d, 0xfe4f,
3504 : 0xfe70, 0xfe74,
3505 : 0xfe76, 0xfefc,
3506 : 0xff10, 0xff19,
3507 : 0xff21, 0xff3a,
3508 : 0xff3f, 0xff3f,
3509 : 0xff41, 0xff5a,
3510 : 0xff65, 0xffbe,
3511 : 0xffc2, 0xffc7,
3512 : 0xffca, 0xffcf,
3513 : 0xffd2, 0xffd7,
3514 : 0xffda, 0xffdc,
3515 : 0x10000, 0x1000b,
3516 : 0x1000d, 0x10026,
3517 : 0x10028, 0x1003a,
3518 : 0x1003c, 0x1003d,
3519 : 0x1003f, 0x1004d,
3520 : 0x10050, 0x1005d,
3521 : 0x10080, 0x100fa,
3522 : 0x10107, 0x10133,
3523 : 0x10300, 0x1031e,
3524 : 0x10320, 0x10323,
3525 : 0x10330, 0x1034a,
3526 : 0x10380, 0x1039d,
3527 : 0x10400, 0x1049d,
3528 : 0x104a0, 0x104a9,
3529 : 0x10800, 0x10805,
3530 : 0x10808, 0x10808,
3531 : 0x1080a, 0x10835,
3532 : 0x10837, 0x10838,
3533 : 0x1083c, 0x1083c,
3534 : 0x1083f, 0x1083f,
3535 : 0x1d165, 0x1d169,
3536 : 0x1d16d, 0x1d172,
3537 : 0x1d17b, 0x1d182,
3538 : 0x1d185, 0x1d18b,
3539 : 0x1d1aa, 0x1d1ad,
3540 : 0x1d400, 0x1d454,
3541 : 0x1d456, 0x1d49c,
3542 : 0x1d49e, 0x1d49f,
3543 : 0x1d4a2, 0x1d4a2,
3544 : 0x1d4a5, 0x1d4a6,
3545 : 0x1d4a9, 0x1d4ac,
3546 : 0x1d4ae, 0x1d4b9,
3547 : 0x1d4bb, 0x1d4bb,
3548 : 0x1d4bd, 0x1d4c3,
3549 : 0x1d4c5, 0x1d505,
3550 : 0x1d507, 0x1d50a,
3551 : 0x1d50d, 0x1d514,
3552 : 0x1d516, 0x1d51c,
3553 : 0x1d51e, 0x1d539,
3554 : 0x1d53b, 0x1d53e,
3555 : 0x1d540, 0x1d544,
3556 : 0x1d546, 0x1d546,
3557 : 0x1d54a, 0x1d550,
3558 : 0x1d552, 0x1d6a3,
3559 : 0x1d6a8, 0x1d6c0,
3560 : 0x1d6c2, 0x1d6da,
3561 : 0x1d6dc, 0x1d6fa,
3562 : 0x1d6fc, 0x1d714,
3563 : 0x1d716, 0x1d734,
3564 : 0x1d736, 0x1d74e,
3565 : 0x1d750, 0x1d76e,
3566 : 0x1d770, 0x1d788,
3567 : 0x1d78a, 0x1d7a8,
3568 : 0x1d7aa, 0x1d7c2,
3569 : 0x1d7c4, 0x1d7c9,
3570 : 0x1d7ce, 0x1d7ff,
3571 : 0x20000, 0x2a6d6,
3572 : 0x2f800, 0x2fa1d,
3573 : 0xe0100, 0xe01ef
3574 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
3575 : }; /* end of MBWord */
3576 :
3577 :
3578 : static int
3579 : utf8_get_ctype_code_range(int ctype,
3580 : const OnigCodePoint* sbr[], const OnigCodePoint* mbr[])
3581 40 : {
3582 : #define CR_SET(sbl,mbl) do { \
3583 : *sbr = sbl; \
3584 : *mbr = mbl; \
3585 : } while (0)
3586 :
3587 : #define CR_SB_SET(sbl) do { \
3588 : *sbr = sbl; \
3589 : *mbr = EmptyRange; \
3590 : } while (0)
3591 :
3592 40 : switch (ctype) {
3593 : case ONIGENC_CTYPE_ALPHA:
3594 2 : CR_SET(SBAlpha, MBAlpha);
3595 2 : break;
3596 : case ONIGENC_CTYPE_BLANK:
3597 4 : CR_SET(SBBlank, MBBlank);
3598 4 : break;
3599 : case ONIGENC_CTYPE_CNTRL:
3600 1 : CR_SET(SBCntrl, MBCntrl);
3601 1 : break;
3602 : case ONIGENC_CTYPE_DIGIT:
3603 5 : CR_SET(SBDigit, MBDigit);
3604 5 : break;
3605 : case ONIGENC_CTYPE_GRAPH:
3606 2 : CR_SET(SBGraph, MBGraph);
3607 2 : break;
3608 : case ONIGENC_CTYPE_LOWER:
3609 2 : CR_SET(SBLower, MBLower);
3610 2 : break;
3611 : case ONIGENC_CTYPE_PRINT:
3612 2 : CR_SET(SBPrint, MBPrint);
3613 2 : break;
3614 : case ONIGENC_CTYPE_PUNCT:
3615 5 : CR_SET(SBPunct, MBPunct);
3616 5 : break;
3617 : case ONIGENC_CTYPE_SPACE:
3618 9 : CR_SET(SBSpace, MBSpace);
3619 9 : break;
3620 : case ONIGENC_CTYPE_UPPER:
3621 2 : CR_SET(SBUpper, MBUpper);
3622 2 : break;
3623 : case ONIGENC_CTYPE_XDIGIT:
3624 2 : CR_SB_SET(SBXDigit);
3625 2 : break;
3626 : case ONIGENC_CTYPE_WORD:
3627 0 : CR_SET(SBWord, MBWord);
3628 0 : break;
3629 : case ONIGENC_CTYPE_ASCII:
3630 2 : CR_SB_SET(SBASCII);
3631 2 : break;
3632 : case ONIGENC_CTYPE_ALNUM:
3633 2 : CR_SET(SBAlnum, MBAlnum);
3634 2 : break;
3635 :
3636 : default:
3637 0 : return ONIGENCERR_TYPE_BUG;
3638 : break;
3639 : }
3640 :
3641 40 : return 0;
3642 : }
3643 :
3644 : static int
3645 : utf8_is_code_ctype(OnigCodePoint code, unsigned int ctype)
3646 82 : {
3647 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
3648 : const OnigCodePoint *range;
3649 : #endif
3650 :
3651 82 : if (code < 256) {
3652 35 : return ONIGENC_IS_UNICODE_ISO_8859_1_CTYPE(code, ctype);
3653 : }
3654 :
3655 : #ifdef USE_UNICODE_FULL_RANGE_CTYPE
3656 :
3657 47 : switch (ctype) {
3658 : case ONIGENC_CTYPE_ALPHA:
3659 0 : range = MBAlpha;
3660 0 : break;
3661 : case ONIGENC_CTYPE_BLANK:
3662 0 : range = MBBlank;
3663 0 : break;
3664 : case ONIGENC_CTYPE_CNTRL:
3665 0 : range = MBCntrl;
3666 0 : break;
3667 : case ONIGENC_CTYPE_DIGIT:
3668 0 : range = MBDigit;
3669 0 : break;
3670 : case ONIGENC_CTYPE_GRAPH:
3671 0 : range = MBGraph;
3672 0 : break;
3673 : case ONIGENC_CTYPE_LOWER:
3674 0 : range = MBLower;
3675 0 : break;
3676 : case ONIGENC_CTYPE_PRINT:
3677 0 : range = MBPrint;
3678 0 : break;
3679 : case ONIGENC_CTYPE_PUNCT:
3680 0 : range = MBPunct;
3681 0 : break;
3682 : case ONIGENC_CTYPE_SPACE:
3683 0 : range = MBSpace;
3684 0 : break;
3685 : case ONIGENC_CTYPE_UPPER:
3686 0 : range = MBUpper;
3687 0 : break;
3688 : case ONIGENC_CTYPE_XDIGIT:
3689 0 : return FALSE;
3690 : break;
3691 : case ONIGENC_CTYPE_WORD:
3692 47 : range = MBWord;
3693 47 : break;
3694 : case ONIGENC_CTYPE_ASCII:
3695 0 : return FALSE;
3696 : break;
3697 : case ONIGENC_CTYPE_ALNUM:
3698 0 : range = MBAlnum;
3699 0 : break;
3700 : case ONIGENC_CTYPE_NEWLINE:
3701 0 : return FALSE;
3702 : break;
3703 :
3704 : default:
3705 0 : return ONIGENCERR_TYPE_BUG;
3706 : break;
3707 : }
3708 :
3709 47 : return onig_is_in_code_range((UChar* )range, code);
3710 :
3711 : #else
3712 :
3713 : if ((ctype & ONIGENC_CTYPE_WORD) != 0) {
3714 : #ifdef USE_INVALID_CODE_SCHEME
3715 : if (code <= VALID_CODE_LIMIT)
3716 : #endif
3717 : return TRUE;
3718 : }
3719 : #endif /* USE_UNICODE_FULL_RANGE_CTYPE */
3720 :
3721 : return FALSE;
3722 : }
3723 :
3724 : static UChar*
3725 : utf8_left_adjust_char_head(const UChar* start, const UChar* s)
3726 24 : {
3727 : const UChar *p;
3728 :
3729 24 : if (s <= start) return (UChar* )s;
3730 22 : p = s;
3731 :
3732 22 : while (!utf8_islead(*p) && p > start) p--;
3733 22 : return (UChar* )p;
3734 : }
3735 :
3736 : OnigEncodingType OnigEncodingUTF8 = {
3737 : utf8_mbc_enc_len,
3738 : "UTF-8", /* name */
3739 : 6, /* max byte length */
3740 : 1, /* min byte length */
3741 : (ONIGENC_AMBIGUOUS_MATCH_ASCII_CASE |
3742 : ONIGENC_AMBIGUOUS_MATCH_NONASCII_CASE |
3743 : ONIGENC_AMBIGUOUS_MATCH_COMPOUND),
3744 : {
3745 : (OnigCodePoint )'\\' /* esc */
3746 : , (OnigCodePoint )ONIG_INEFFECTIVE_META_CHAR /* anychar '.' */
3747 : , (OnigCodePoint )ONIG_INEFFECTIVE_META_CHAR /* anytime '*' */
3748 : , (OnigCodePoint )ONIG_INEFFECTIVE_META_CHAR /* zero or one time '?' */
3749 : , (OnigCodePoint )ONIG_INEFFECTIVE_META_CHAR /* one or more time '+' */
3750 : , (OnigCodePoint )ONIG_INEFFECTIVE_META_CHAR /* anychar anytime */
3751 : },
3752 : utf8_is_mbc_newline,
3753 : utf8_mbc_to_code,
3754 : utf8_code_to_mbclen,
3755 : utf8_code_to_mbc,
3756 : utf8_mbc_to_normalize,
3757 : utf8_is_mbc_ambiguous,
3758 : onigenc_iso_8859_1_get_all_pair_ambig_codes,
3759 : onigenc_ess_tsett_get_all_comp_ambig_codes,
3760 : utf8_is_code_ctype,
3761 : utf8_get_ctype_code_range,
3762 : utf8_left_adjust_char_head,
3763 : onigenc_always_true_is_allowed_reverse_match
3764 : };
|
