Skip to content

🧠 两小时从 0 训出你的 64M 大模型。Train your own 64M LLM from scratch in 2 hours.

[update] save interval

jingyaogong11a44340ba3c
diff --git a/trainer/train_lora.py b/trainer/train_lora.py
index f5b0235..90bbf5a 100644
--- a/trainer/train_lora.py
+++ b/trainer/train_lora.py
@@ -78,7 +78,7 @@ if __name__ == "__main__":
parser.add_argument("--accumulation_steps", type=int, default=1, help="梯度累积步数")
parser.add_argument("--grad_clip", type=float, default=1.0, help="梯度裁剪阈值")
parser.add_argument("--log_interval", type=int, default=10, help="日志打印间隔")
- parser.add_argument("--save_interval", type=int, default=1, help="模型保存间隔")
+ parser.add_argument("--save_interval", type=int, default=1000, help="模型保存间隔")
parser.add_argument('--hidden_size', default=512, type=int, help="隐藏层维度")
parser.add_argument('--num_hidden_layers', default=8, type=int, help="隐藏层数量")
parser.add_argument('--max_seq_len', default=340, type=int, help="训练的最大截断长度(中文1token≈1.5~1.7字符)")