LLM inference in C/C++
C++ ggml
vocab : add plamo fim tokens (#30090)
Sigbjørn Skjæret42b021b4dc42
diff --git a/src/llama-vocab.cpp b/src/llama-vocab.cppindex de20c757f6..dbadaf100b 100644--- a/src/llama-vocab.cpp+++ b/src/llama-vocab.cpp@@ -2860,6 +2860,7 @@ void llama_vocab::impl::load(llama_model_loader & ml, const LLM_KV & kv) {|| t.first == "▁<PRE>" // CodeLlama|| t.first == "<|code_prefix|>" // GLM-4.5|| t.first == "<|prefix|>" // Falcon-H1-Tiny-Coder+ || t.first == "<|plamo:fim_prefix|>" // PLaMo-3) {special_fim_pre_id = t.second;if ((attr & LLAMA_TOKEN_ATTR_CONTROL) == 0) {@@ -2881,6 +2882,7 @@ void llama_vocab::impl::load(llama_model_loader & ml, const LLM_KV & kv) {|| t.first == "▁<SUF>" // CodeLlama|| t.first == "<|code_suffix|>" // GLM-4.5|| t.first == "<|suffix|>" // Falcon-H1-Tiny-Coder+ || t.first == "<|plamo:fim_suffix|>" // PLaMo-3) {special_fim_suf_id = t.second;if ((attr & LLAMA_TOKEN_ATTR_CONTROL) == 0) {@@ -2902,6 +2904,7 @@ void llama_vocab::impl::load(llama_model_loader & ml, const LLM_KV & kv) {|| t.first == "▁<MID>" // CodeLlama|| t.first == "<|code_middle|>" // GLM-4.5|| t.first == "<|middle|>" // Falcon-H1-Tiny-Coder+ || t.first == "<|plamo:fim_middle|>" // PLaMo-3) {special_fim_mid_id = t.second;if ((attr & LLAMA_TOKEN_ATTR_CONTROL) == 0) {@@ -2952,6 +2955,7 @@ void llama_vocab::impl::load(llama_model_loader & ml, const LLM_KV & kv) {if (special_fim_sep_id == LLAMA_TOKEN_NULL) {if (false|| t.first == "<|file_sep|>" // Qwen+ || t.first == "<|plamo:file_separator|>" // PLaMo-2/3) {special_fim_sep_id = t.second;if ((attr & LLAMA_TOKEN_ATTR_CONTROL) == 0) {