initial commit

README.md

@@ -11,4 +11,35 @@ license: mit
 short_description: Chinese input method accelerator
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# 台灣中文下段預測（ZeroGPU + Gradio v5）
+
+## 一、專案概述  
+本示範結合多種小型中文語言模型，並透過 Hugging Face 的 **ZeroGPU**（H200）即時執行文字生成，模擬中文輸入法中的候選詞建議功能。
+
+## 二、主要功能  
+1. **輸入文字區**：在此輸入您正在撰寫的中文片段。  
+2. **模型選擇**：可在七款預訓練模型間切換。  
+3. **參數滑桿**：  
+   - **K（最大新生成詞元）**：控制每次生成的字數上限。  
+   - **M（建議數量）**：控制同時產生的候選建議數量。  
+4. **使用 GPU 生成建議**：點擊後將在 H200 上啟動推理，並自動釋放資源。  
+5. **建議清單**：點選任一候選，該文字片段即會自動附加至輸入區。
+
+## 三、運作原理  
+- **模型快取**：首次使用各模型時載入至 CPU 快取。  
+- **ZeroGPU 呼叫**：點擊「使用 GPU 生成建議」時，`@spaces.GPU` 裝飾的函式會自動分配 H200，完成推理後歸還。  
+- **即時拼接**：選擇建議即時追加，操作如同 IME 建議列。
+
+## 四、部署步驟  
+1. 在 Hugging Face Spaces 建立新 Space，框架選 **Gradio SDK**。  
+2. 在 **Hardware** 欄位選擇 **Zero GPU**（需 PRO 帳號）。  
+3. 設定 Python 版本為 3.10.13。  
+4. 上傳 `app.py`、`requirements.txt`、`README.md`。Spaces 會自動安裝相依套件。  
+5. 點擊 **Deploy**，即可線上使用。
+
+## 五、使用效益  
+- **快速回應**：利用 GPU burst 提升生成速度。  
+- **零門檻**：免本地 GPU，開發者與使用者皆可輕鬆試用。  
+- **多模型對比**：可快速測試不同模型品質與效能。
+
+歡迎體驗高效、無痛的台灣中文輸入法下段建議 Demo！

app.py

@@ -0,0 +1,72 @@
+# app.py
+import spaces
+import gradio as gr
+from functools import lru_cache
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+
+# 可選模型列表
+MODEL_LIST = [
+    "ckiplab/gpt2-tiny-chinese",
+    "ckiplab/gpt2-base-chinese",
+    "liswei/Taiwan-ELM-270M-Instruct",
+    "liswei/Taiwan-ELM-1_1B",
+    "google/gemma-3-1b-pt",
+    "benchang1110/Qwen2.5-Taiwan-1.5B-Instruct",
+    "benchang1110/Taiwan-tinyllama-v1.0-base",
+]
+
+@lru_cache(maxsize=None)
+def get_pipeline(model_name):
+    tok = AutoTokenizer.from_pretrained(model_name)
+    mdl = AutoModelForCausalLM.from_pretrained(model_name)
+    mdl.to("cuda")
+    return pipeline("text-generation", model=mdl, tokenizer=tok, device=0)
+
+@spaces.GPU
+def suggest_next(text, model_name, k, m):
+    """在 GPU（ZeroGPU H200）上執行推理，產生 M 個長度上限 K 的下段建議。"""
+    pipe = get_pipeline(model_name)
+    outs = pipe(text, max_new_tokens=k, num_return_sequences=m, do_sample=False)
+    return [out["generated_text"][len(text):] for out in outs]
+
+def append_suggestion(current, choice):
+    return current + choice
+
+with gr.Blocks() as demo:
+    gr.Markdown(
+        "## 🇹🇼 台灣中文下段預測\n"
+        "結合小型語言模型與 ZeroGPU，提供即時 IME 風格的下段文字建議。"
+    )
+
+    input_text = gr.TextArea(
+        label="輸入文字", lines=4, placeholder="請在此輸入起始片段…"
+    )
+
+    with gr.Row():
+        model_selector = gr.Dropdown(
+            MODEL_LIST, value=MODEL_LIST[0], label="選擇模型"
+        )
+        k_slider = gr.Slider(
+            minimum=1, maximum=50, step=1, value=5, label="K（最大新生成詞元）"
+        )
+        m_slider = gr.Slider(
+            minimum=1, maximum=10, step=1, value=5, label="M（建議數量）"
+        )
+
+    suggestions = gr.Dropdown([], label="建議清單", interactive=True)
+
+    gpu_button = gr.Button("使用 GPU 生成建議")
+
+    gpu_button.click(
+        fn=suggest_next,
+        inputs=[input_text, model_selector, k_slider, m_slider],
+        outputs=suggestions,
+    )
+
+    suggestions.change(
+        fn=append_suggestion,
+        inputs=[input_text, suggestions],
+        outputs=input_text,
+    )
+
+    demo.launch()

requirements.txt

@@ -0,0 +1,5 @@
+# requirements.txt
+gradio>=5.0.0
+torch>=2.1.2,<2.6.0
+transformers>=4.30.0
+accelerate