Llama-3.3-Swallow-70B-Instruct-v0.4-imatrix-gguf - Built with Llama

このモデルは、Llama-3.3-Swallow-70B-Instruct-v0.4をOllamaで利用できるようにgguf形式に変換して量子化を行ったものです。

量子化は、imatrixを利用して行いました。imatrixの生成のデータセットはTFMC/imatrix-dataset-for-japanese-llmを利用しました。

imatrixを利用した量子化については、llama.cpp/examples/imatrixをご覧ください。

License

META LLAMA 3.3 COMMUNITY LICENSE and Gemma Terms of Use

上記のLlama-3.3-Swallow-70Bのライセンスに従いご利用ください。本モデルを利用して発生した如何なる不利益や損害について、作成者は責任を負わないものとします。

Downloads last month
14
GGUF
Model size
8.03B params
Architecture
llama
Hardware compatibility
Log In to view the estimation

4-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for okamototk/Llama-3.1-Swallow-8B-Instruct-v0.3-imatrix-gguf

Quantized
(10)
this model

Dataset used to train okamototk/Llama-3.1-Swallow-8B-Instruct-v0.3-imatrix-gguf