Skip to content

AirLLM 2.8T LLM inference with single 4GB GPU

readme

Yu Li0068e9e70fcc
diff --git a/README.md b/README.md
index 137ac05..bc9df31 100644
--- a/README.md
+++ b/README.md
@@ -206,6 +206,17 @@ print(tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_to
</details>
<br/>
+
+## 基于QLoRA的DPO RLHF实现
+
+Anima模型又开源了基于QLoRA的最新的DPO技术。
+
+DPO是最新的最高效的RLHF训练方法。RLHF一直是生成式AI训练的老大难问题,也被认为是OpenAI的压箱底独家秘笈。DPO技术改变了这一切,让RLHF彻底傻瓜化!
+
+我们开源了RLHF的低成本QLoRA的实现,一台GPU机器就可以训练33B模型的DPO!
+
+具体详见:[这里](https://github.com/lyogavin/Anima/tree/main/rlhf)。
+
# 参与贡献
欢迎大家参与贡献本项目 🙏
diff --git a/rlhf/README.md b/rlhf/README.md
index 4d2147a..9f6d301 100644
--- a/rlhf/README.md
+++ b/rlhf/README.md
@@ -3,6 +3,14 @@
*Read this in [English](README_en.md).*
+<div align="left">
+
+<a href="https://github.com/lyogavin/Anima/stargazers">![GitHub Repo stars](https://img.shields.io/github/stars/lyogavin/Anima?style=social)</a>
+[![Code License](https://img.shields.io/badge/Code%20License-Apache_2.0-green.svg)](https://github.com/LianjiaTech/BELLE/blob/main/LICENSE)
+[![Generic badge](https://img.shields.io/badge/wechat-Anima-brightgreen?logo=wechat)](https://static.aicompose.cn/static/wecom_barcode.png?t=1671918938)
+[![Generic badge](https://img.shields.io/badge/🤗-Huggingface%20Repo-green.svg)](https://huggingface.co/lyogavin/Anima33B-DPO-Belle-1k-merged)
+</div>
+
Anima模型又开源了基于QLoRA的最新的DPO技术。
DPO是最新的最高效的RLHF训练方法。RLHF一直是生成式AI训练的老大难问题,也被认为是OpenAI的压箱底独家秘笈。DPO技术改变了这一切,让RLHF彻底傻瓜化!
@@ -58,7 +66,7 @@ cd rlhf
![training wandb chart](https://github.com/lyogavin/Anima/blob/main/rlhf/wandb_eval_loss_chart.png?raw=true)
-完整merge的模型已经[在Huggingface发布](https://huggingface.co/lyogavin/Anima33B-DPO-Belle-1k-merged)。
+完整merge的模型已经开源:[![Generic badge](https://img.shields.io/badge/🤗-Huggingface%20Repo-green.svg)](https://huggingface.co/lyogavin/Anima33B-DPO-Belle-1k-merged)。
以下是经过DPO训练的模型前后输出变化的举例: