Skip to content

Offline, privacy-first grammar checker. Fast, open-source, Rust-powered

feat: added additional Unicode blocks to CJK classifier

Elijah Potter68d4e77e01f7
diff --git a/harper-core/src/char_ext.rs b/harper-core/src/char_ext.rs
index 224d657cb..8c24a2085 100644
--- a/harper-core/src/char_ext.rs
+++ b/harper-core/src/char_ext.rs
@@ -52,7 +52,21 @@ impl CharExt for char {
unicode_blocks::CJK_UNIFIED_IDEOGRAPHS_EXTENSION_F,
unicode_blocks::CJK_UNIFIED_IDEOGRAPHS_EXTENSION_G,
unicode_blocks::CJK_UNIFIED_IDEOGRAPHS_EXTENSION_H,
- unicode_blocks::CJK_UNIFIED_IDEOGRAPHS_EXTENSION_I
+ unicode_blocks::CJK_UNIFIED_IDEOGRAPHS_EXTENSION_I,
+ unicode_blocks::HANGUL_JAMO,
+ unicode_blocks::HANGUL_SYLLABLES,
+ unicode_blocks::HANGUL_JAMO_EXTENDED_A,
+ unicode_blocks::HANGUL_JAMO_EXTENDED_B,
+ unicode_blocks::HANGUL_COMPATIBILITY_JAMO,
+ unicode_blocks::CJK_SYMBOLS_AND_PUNCTUATION,
+ unicode_blocks::CJK_STROKES,
+ unicode_blocks::CJK_COMPATIBILITY,
+ unicode_blocks::CJK_COMPATIBILITY_FORMS,
+ unicode_blocks::CJK_COMPATIBILITY_IDEOGRAPHS,
+ unicode_blocks::CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT,
+ unicode_blocks::CJK_RADICALS_SUPPLEMENT,
+ unicode_blocks::ENCLOSED_CJK_LETTERS_AND_MONTHS,
+ unicode_blocks::HIRAGANA
];
blocks.contains(&block)
diff --git a/harper-core/src/linting/matcher.rs b/harper-core/src/linting/matcher.rs
index a01b608fa..491b990be 100644
--- a/harper-core/src/linting/matcher.rs
+++ b/harper-core/src/linting/matcher.rs
@@ -349,15 +349,6 @@ impl Linter for Matcher {
};
let t_pattern = PatternToken::from_token(token, document);
- if pattern.content.is_some()
- && matches!(
- pattern.content.clone().unwrap().as_slice(),
- &['T', 'h', 'e', 'r', 'e']
- )
- {
- dbg!(&t_pattern);
- dbg!(pattern);
- }
if t_pattern != *pattern {
break;
diff --git a/harper-core/tests/run_tests.rs b/harper-core/tests/run_tests.rs
index 8c91c75eb..31f635ea2 100644
--- a/harper-core/tests/run_tests.rs
+++ b/harper-core/tests/run_tests.rs
@@ -33,4 +33,5 @@ macro_rules! create_test {
create_test!(whack_bullets.md, 1);
create_test!(preexisting.md, 0);
create_test!(issue_109.md, 0);
+create_test!(issue_109_ext.md, 0);
create_test!(chinese_lorem_ipsum.md, 2);
diff --git a/harper-core/tests/test_sources/issue_109_ext.md b/harper-core/tests/test_sources/issue_109_ext.md
new file mode 100644
index 000000000..0d1a233dc
--- /dev/null
+++ b/harper-core/tests/test_sources/issue_109_ext.md
@@ -0,0 +1,44 @@
+# 이것은 제목
+
+## 이것은 소제목
+
+이것이 본문이다
+옛날 옛적 깊은 산 속에 가난하지만 사이좋은 오누이와 그 홀어머니 가족이 살고 있었다.
+오누이의 아버지는 일찍 세상을 떠났고, 어머니 혼자 집으로부터 몇 고개를 넘어가야 나오는
+먼 거리의 장터에 떡(인절미)을 내다 파는 일을 하며 생계를 책임지고 있었다.
+어느 날, 어머니가 장터로 떡을 팔러 가게 되었다. 어머니는 애들만 두고 가려니까
+걱정이 되어서 아무한테나 함부로 문 열어주지 말라고 애들에게 신신당부했다.
+
+그렇게 늦은 밤, 장터에서 팔다 남은 떡을 가지고 집으로 돌아오는 길.
+어머니는 첫번째 고개에서 호랑이를 만났고, 호랑이가 "떡 하나 주면 안 잡아먹지."라고
+위협하자 어머니는 벌벌 떨면서 떡을 하나 던져줬다. 그 떡을 먹고 가버린 줄 알았으나,
+호랑이는 어머니가 고개를 하나하나 넘을 때마다 계속해서 똑같이 나타나 똑같은 대사를
+반복하며 떡을 하나씩 뺏어먹었고 떡이 떨어지자 결국 어머니까지 잡아먹는 만행까지 저질렀다.
+
+그러고도 배가 덜 찼는지 아예 오누이까지 잡아먹으려고 어머니의 옷을 입고 위장을
+한 채로 그 집을 찾아갔다. 아직 어린 여동생 달님은 대뜸 문 밖 발소리만 듣고
+어머니가 온 줄 알고 기뻐하며 바로 문을 열려 했지만, 판단력이 있었던 오빠
+해님은 여동생을 제지한 후 목소리를 내서 어머니인 것을 증명해 보라고 단호하게
+말했다. 하지만 호랑이의 목소리가 사람의 목소리처럼 나올 순 없는 법이었다. 호랑이는
+목이 쉬어서 그렇다며 핑계댔고, 이에 오빠가 이번에는 손을 내밀어 보라고 했다.
+
+그 말에 호랑이가 문풍지를 뚫고 앞발을 보여주었지만, 이에 오빠는 이것은 엄마의
+손이 절대로 아니라며 의심하자 호랑이는 오랜 시간 동안 일을 해서 손이 거칠어졌다며
+또 둘러댔다.[1] 그러나 문풍지 구멍 밖으로 보이는 호랑이의 희번덕한 노란 눈을 보자마자
+오누이는 그 정체가 알고 보니 호랑이였다는 것을 비로소 알아차렸으며, 엄마가 이 호랑이에
+의해 잡아먹힌 것을 알고, 몰래 뒷문으로 빠져나와 나무 위로 몸을 피했다.
+
+호랑이는 나무 위로 간 오누이를 찾지 못하다가, 바로 옆의 우물에 오누이가 비친
+모습을 발견했다. 이에 호랑이가 부드럽게 "얘들아, 거긴 어떻게 올라갔니?" 하고
+묻자 오빠가 "손발에 참기름을 바르고 올라왔지!"라고 거짓말을 했다.[2] 이에 호랑이는
+그 말만 듣고 어리석게도 곧바로 부엌에 가서 발에 참기름을 바르고 왔지만, 당연히 미끌미끌한
+참기름 때문에 자꾸만 나무 줄기에서 미끄러져 구르기만 했다.
+
+이런 호랑이를 보면서 오누이는 어느새 무서움도 잊고 웃음을 터뜨렸다. 그러다가
+신나게 웃던 동생이 자기도 모르게 "멍청하기는! 도끼로 나무를 찍으며 올라오면
+쉽게 올라올 수 있는 것을!"이라고 올라오는 방법을 발설하자 정신을 차린 동생이
+얼른 손으로 입을 막았지만[3], 호랑이는 이미 그걸 들어버린 뒤라 잽싸게 도끼를
+꺼내들고 와서 나무를 쿵쿵 찍으며 올라오기 시작했다.
+
+오누이는 호랑이를 피해 계속 올라가 나무의 꼭대기까지 다다랐고 더 이상 올라갈
+곳이 없어지자 오누이는 지푸라기라도 잡는 심정으로 눈물을 흘리며 하늘을 향해 싹싹 빌기 시작했다.
diff --git a/harper-ls/src/backend.rs b/harper-ls/src/backend.rs
index 5082954e8..2da558c4e 100644
--- a/harper-ls/src/backend.rs
+++ b/harper-ls/src/backend.rs
@@ -82,7 +82,7 @@ impl Backend {
Self {
client,
- static_dictionary: dictionary.into(),
+ static_dictionary: dictionary,
doc_state: Mutex::new(HashMap::new()),
config: RwLock::new(config)
}