Update README.md
Browse files
README.md
CHANGED
|
@@ -17,7 +17,7 @@ base_model: thesby/Qwen2.5-VL-7B-NSFW-Caption-V4
|
|
| 17 |
|
| 18 |
这是一个对 [thesby/Qwen2.5-VL-7B-NSFW-Caption-V4](https://huggingface.co/thesby/Qwen2.5-VL-7B-NSFW-Caption-V4) 模型进行 W8A16 量化的版本。
|
| 19 |
|
| 20 |
-
|
| 21 |
|
| 22 |
## ⚠️ 重要警告：内容敏感 ⚠️
|
| 23 |
|
|
|
|
| 17 |
|
| 18 |
这是一个对 [thesby/Qwen2.5-VL-7B-NSFW-Caption-V4](https://huggingface.co/thesby/Qwen2.5-VL-7B-NSFW-Caption-V4) 模型进行 W8A16 量化的版本。
|
| 19 |
|
| 20 |
+
通过 W8A16（Weight-Only, 8-bit integer weights, 16-bit float activations）量化技术，本模型在保持原始模型大部分性能的同时，显著降低了显存占用，并极大地提升了推理速度，使其更易于在消费级硬件上部署和运行。
|
| 21 |
|
| 22 |
## ⚠️ 重要警告：内容敏感 ⚠️
|
| 23 |
|