c

app.py

@@ -95,51 +95,125 @@
 #         server_port=7860
 #     ) 
 
-
-import os, torch, gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
+import os
+import gradio as gr
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
 
 HUGGINGFACE_TOKEN = os.getenv("HUGGINGFACE_TOKEN")
-MODEL_NAME = "google/gemma-7b-it"
-
-model, tokenizer = None, None        # ← グローバルで空のまま
-
-def load_model():
-    """初回リクエスト時にのみ GPU を要求してモデルをロード"""
-    global model, tokenizer
-    if model is not None:
-        return
-    if not torch.cuda.is_available():
-        # ZeroGPU ならここで一度 False → 数秒待って再度 True になることもある
-        raise RuntimeError("GPU still not attached (ZeroGPU)。数秒後に再試行してください。")
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, token=HUGGINGFACE_TOKEN)
-    model = AutoModelForCausalLM.from_pretrained(
-        MODEL_NAME,
-        device_map="auto",
-        torch_dtype=torch.float16,
-        token=HUGGINGFACE_TOKEN
-    )
-
-def respond(message, history):
-    load_model()                               # ← ここで初めて GPU を確保・モデルロード
-    inputs = tokenizer(message, return_tensors="pt").to(model.device)
-    with torch.no_grad():
-        out = model.generate(**inputs, max_new_tokens=512, temperature=0.7, top_p=0.9)
-    return tokenizer.decode(out[0], skip_special_tokens=True)
-
-iface = gr.ChatInterface(
-    fn=respond,
-    title="Gemma-ZeroGPU Demo",
-    chatbot=gr.Chatbot(
-        type="messages",
-        height=600,
-        show_copy_button=True,
-        show_share_button=True
-    )
-)
+class ChatBot:
+    def __init__(self):
+        # 軽量なローカルLLMを使用（日本語対応）
+        model_name = "google/gemma-7b-it"
+        # 日本語対応の場合は "rinna/japanese-gpt2-medium" に変更可能
+        
+        self.tokenizer = AutoTokenizer.from_pretrained(model_name, token=HUGGINGFACE_TOKEN)
+        self.model = AutoModelForCausalLM.from_pretrained(model_name, token=HUGGINGFACE_TOKEN)
+        
+        # パディングトークンを設定
+        if self.tokenizer.pad_token is None:
+            self.tokenizer.pad_token = self.tokenizer.eos_token
+        
+        self.chat_history = []
+    
+    def generate_response(self, message):
+        try:
+            # 入力をトークン化
+            inputs = self.tokenizer.encode(message + self.tokenizer.eos_token, return_tensors='pt')
+            
+            # レスポンス生成
+            with torch.no_grad():
+                outputs = self.model.generate(
+                    inputs,
+                    max_length=inputs.shape[1] + 100,
+                    num_return_sequences=1,
+                    temperature=0.7,
+                    do_sample=True,
+                    pad_token_id=self.tokenizer.pad_token_id,
+                    eos_token_id=self.tokenizer.eos_token_id
+                )
+            
+            # レスポンスをデコード
+            response = self.tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True)
+            return response.strip()
+        
+        except Exception as e:
+            return f"エラーが発生しました: {str(e)}"
+    
+    def chat_interface(self, message, history):
+        if not message.strip():
+            return history, ""
+        
+        # レスポンス生成
+        bot_response = self.generate_response(message)
+        
+        # 会話履歴を更新
+        history.append([message, bot_response])
+        
+        return history, ""
+
+# ChatBotインスタンス作成
+chatbot = ChatBot()
+
+# Gradioインターフェース設定
+def create_interface():
+    with gr.Blocks(title="ChatGPT Clone", theme=gr.themes.Soft()) as demo:
+        gr.Markdown("# 🤖 ChatGPT Clone")
+        gr.Markdown("ローカルLLMを使用したチャットボットです")
+        
+        # チャット履歴表示
+        chatbot_display = gr.Chatbot(
+            label="チャット",
+            height=400,
+            show_label=True
+        )
+        
+        # 入力欄とボタン
+        with gr.Row():
+            msg_input = gr.Textbox(
+                placeholder="メッセージを入力してください...",
+                scale=4,
+                show_label=False
+            )
+            send_button = gr.Button("送信", scale=1)
+            clear_button = gr.Button("クリア", scale=1)
+        
+        # イベント処理
+        def send_message(message, history):
+            return chatbot.chat_interface(message, history)
+        
+        def clear_chat():
+            chatbot.chat_history = []
+            return []
+        
+        # ボタンクリック時の処理
+        send_button.click(
+            send_message,
+            inputs=[msg_input, chatbot_display],
+            outputs=[chatbot_display, msg_input]
+        )
+        
+        # Enterキーでも送信
+        msg_input.submit(
+            send_message,
+            inputs=[msg_input, chatbot_display],
+            outputs=[chatbot_display, msg_input]
+        )
+        
+        # クリアボタン
+        clear_button.click(
+            clear_chat,
+            outputs=[chatbot_display]
+        )
+    
+    return demo
 
+# アプリケーション起動
 if __name__ == "__main__":
-    iface.launch(
-        server_name="0.0.0.0",
-        server_port=7860
-    )
+    demo = create_interface()
+    
+    # ローカル開発用
+    # demo.launch(share=False, server_name="127.0.0.1", server_port=7860)
+    
+    # Hugging Face Spaces用
+    demo.launch(share=True)

requirements.txt

@@ -4,4 +4,5 @@ transformers>=4.30.0
 torch>=2.0.0
 accelerate>=0.20.0
 sentencepiece>=0.1.99
-google-generativeai>=0.3.0 
+google-generativeai>=0.3.0 
+tokenizers>=0.13.0