Skip to content

An open-source, privacy-first, self-hosted knowledge workspace where humans and AI agents work together 开源、隐私优先、自托管的知识工作空间,让人与智能体在此协作

1.8 KB
Raw Blame
// SiYuan - https://github.com/siyuan-note/siyuan
// Copyright (c) 2020-present, b3log.org
// SPDX-License-Identifier: AGPL-3.0-or-later

package search

import (
	"regexp"
	"slices"
	"strings"
)

// hanSimpToTrads 是 hanTradToSimp 的反向索引:简体字 -> 折叠到该简体的全部繁体字。
var hanSimpToTrads = map[rune][]rune{}

func init() {
	for t, s := range hanTradToSimp {
		hanSimpToTrads[s] = append(hanSimpToTrads[s], t)
	}
	for _, ts := range hanSimpToTrads {
		slices.Sort(ts)
	}
}

// hanCharClass 返回与 r 繁简等价的所有字符(含 r 自身对应的简体),用于构造高亮正则。
func hanCharClass(r rune) (ret []rune) {
	canon := r
	if s, ok := hanTradToSimp[r]; ok {
		canon = s
	}
	ret = append(ret, canon)
	ret = append(ret, hanSimpToTrads[canon]...)
	return
}

// hanInsensitiveRegexp 将关键字逐字符展开为繁简等价字符类,例如 "诗经" -> "[诗詩][经經]"。
// 仅用于搜索结果高亮;等价关系与 go-sqlite3 中 siyuan 分词器 han_insensitive 的映射表
// 来自同一份 OpenCC TSCharacters 数据,必须保持一致。
func hanInsensitiveRegexp(k string) string {
	var b strings.Builder
	for _, r := range k {
		class := hanCharClass(r)
		if 1 == len(class) {
			b.WriteString(regexp.QuoteMeta(string(r)))
			continue
		}
		b.WriteString("[")
		for _, c := range class {
			b.WriteString(regexp.QuoteMeta(string(c)))
		}
		b.WriteString("]")
	}
	return b.String()
}

// NormalizeSearchText 按搜索设置归一化文本,用于全文索引之外的文本匹配。
func NormalizeSearchText(text string, caseSensitive, hanSensitive bool) string {
	if !hanSensitive {
		text = strings.Map(func(r rune) rune {
			if simplified, ok := hanTradToSimp[r]; ok {
				return simplified
			}
			return r
		}, text)
	}
	if !caseSensitive {
		text = strings.ToLower(text)
	}
	return text
}