--- license: apache-2.0 base_model: unsloth/gpt-oss-20b tags: - unsloth - lora - korean - education - textbook language: - ko datasets: - maywell/korean_textbooks library_name: peft --- # Korean Textbook Fine-tuned Model ## 모델 설명 이 모델은 `unsloth/gpt-oss-20b`를 베이스로 하여 `maywell/korean_textbooks` 데이터셋으로 파인튜닝된 한국어 교육 전용 모델입니다. ## 모델 상세 정보 - **베이스 모델**: unsloth/gpt-oss-20b - **파인튜닝 데이터셋**: maywell/korean_textbooks - **훈련 방법**: LoRA (Low-Rank Adaptation) - **언어**: 한국어 (Korean) - **용도**: 교육 콘텐츠 생성 ## 사용 방법 ### 모델 로드 ```python from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel # 베이스 모델 로드 base_model = AutoModelForCausalLM.from_pretrained("unsloth/gpt-oss-20b") # LoRA 어댑터 로드 model = PeftModel.from_pretrained(base_model, "your-username/korean-textbook-model") # 토크나이저 로드 tokenizer = AutoTokenizer.from_pretrained("your-username/korean-textbook-model") ``` ### 추론 예시 ```python messages = [ {"role": "system", "content": "당신은 한국어로 교육 내용을 설명하는 도움이 되는 어시스턴트입니다."}, {"role": "user", "content": "2의 거듭제곱에 대해 설명해주세요."}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors="pt", return_dict=True ) outputs = model.generate( **inputs, max_new_tokens=512, do_sample=True, temperature=0.7 ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(response) ``` ## 훈련 상세 정보 - **훈련 스텝**: 30 steps - **학습률**: 자동 설정 (Unsloth 기본값) - **배치 크기**: 자동 설정 - **최적화**: AdamW - **정밀도**: Mixed precision (fp16) ## 성능 이 모델은 한국어 교육 자료 생성에 특화되어 있으며, 다음과 같은 주제에서 우수한 성능을 보입니다: - 수학 개념 설명 - 과학 원리 설명 - 교육적 내용 생성 - 한국어 대화 ## 라이선스 이 모델은 베이스 모델의 라이선스를 따릅니다. 자세한 내용은 원본 모델의 라이선스를 확인해주세요. ## 인용 이 모델을 사용하신다면 다음과 같이 인용해주세요: ``` Korean Textbook Fine-tuned Model, based on unsloth/gpt-oss-20b Fine-tuned on maywell/korean_textbooks dataset ``` ## 제한사항 - 이 모델은 교육적 목적으로 설계되었습니다 - 일반적인 대화나 다른 도메인에서는 성능이 제한될 수 있습니다 - 항상 생성된 내용을 검토하고 검증하시기 바랍니다 ## 연락처 문의사항이 있으시면 이슈를 통해 연락해주세요.