c

app.py

@@ -99,55 +99,47 @@ import os
 import gradio as gr
 from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
-HUGGINGFACE_TOKEN = os.getenv("HUGGINGFACE_TOKEN")
 
+
+HUGGINGFACE_TOKEN = os.getenv("HUGGINGFACE_TOKEN")
 class ChatBot:
     def __init__(self):
-        # 軽量なローカルLLMを使用（safetensors対応モデル）
-        model_name = "microsoft/DialoGPT-small"  # smallバージョンでメモリ使用量を削減
+        # ZeroGPU環境対応の軽量モデル
+        model_name = "distilgpt2"  # 最も軽量で安定
         
         try:
-            self.tokenizer = AutoTokenizer.from_pretrained(
-                model_name,
-                token=HUGGINGFACE_TOKEN,
-                trust_remote_code=True,
-                use_safetensors=True
-
-            )
+            self.tokenizer = AutoTokenizer.from_pretrained(model_name,token=HUGGINGFACE_TOKEN)
             self.model = AutoModelForCausalLM.from_pretrained(
                 model_name,
                 token=HUGGINGFACE_TOKEN,
-                trust_remote_code=True,
-                use_safetensors=True,
-                torch_dtype=torch.float16,  # メモリ効率化
-                device_map="auto"
+                torch_dtype=torch.float32,  # ZeroGPU互換性のためfloat32使用
+                low_cpu_mem_usage=True
             )
+            print(f"モデル {model_name} を正常に読み込みました")
+            
         except Exception as e:
-            # フォールバック：より軽量なモデル
             print(f"モデル読み込みエラー: {e}")
-            print("軽量モデルにフォールバック中...")
-            model_name = "distilgpt2"
-            
-            self.tokenizer = AutoTokenizer.from_pretrained(model_name)
-            self.model = AutoModelForCausalLM.from_pretrained(
-                model_name,
-                torch_dtype=torch.float16,
-                device_map="auto"
-            )
+            # 最もシンプルなフォールバック
+            self.tokenizer = None
+            self.model = None
         
         # パディングトークンを設定
-        if self.tokenizer.pad_token is None:
+        if self.tokenizer and self.tokenizer.pad_token is None:
             self.tokenizer.pad_token = self.tokenizer.eos_token
         
         self.chat_history = []
     
     def generate_response(self, message):
+        # モデルが利用できない場合のフォールバック
+        if not self.model or not self.tokenizer:
+            return "申し訳ありませんが、現在AIモデルが利用できません。シンプルな応答機能で対応いたします。"
+        
         try:
             # 入力をトークン化
             inputs = self.tokenizer.encode(
-                message + self.tokenizer.eos_token, 
+                message, 
                 return_tensors='pt',
-                max_length=512,
+                max_length=256,
                 truncation=True
             )
             
@@ -155,13 +147,13 @@ class ChatBot:
             with torch.no_grad():
                 outputs = self.model.generate(
                     inputs,
-                    max_new_tokens=50,  # 新しいトークン数を制限
+                    max_new_tokens=30,  # さらに短縮
                     num_return_sequences=1,
-                    temperature=0.7,
+                    temperature=0.8,
                     do_sample=True,
                     pad_token_id=self.tokenizer.pad_token_id,
                     eos_token_id=self.tokenizer.eos_token_id,
-                    repetition_penalty=1.1
+                    repetition_penalty=1.2
                 )
             
             # レスポンスをデコード
@@ -170,14 +162,23 @@ class ChatBot:
                 skip_special_tokens=True
             )
             
-            # 空のレスポンスの場合はデフォルト応答
+            # 空のレスポンスの場合はシンプルな応答
             if not response.strip():
-                response = "申し訳ありませんが、適切な応答を生成できませんでした。"
+                responses = [
+                    "興味深いですね。",
+                    "そうですね。",
+                    "なるほど。",
+                    "もう少し詳しく教えてください。",
+                    "それについてどう思いますか？"
+                ]
+                import random
+                response = random.choice(responses)
             
             return response.strip()
         
         except Exception as e:
-            return f"エラーが発生しました: {str(e)}"
+            print(f"生成エラー: {e}")
+            return "申し訳ありませんが、応答の生成中にエラーが発生しました。"
     
     def chat_interface(self, message, history):
         if not message.strip():

requirements.txt

@@ -1,7 +1,7 @@
 huggingface_hub>=0.23.0
 gradio>=4.0.0
 transformers>=4.30.0
-torch>=2.6.0
+torch>=2.0.0,<2.6.0
 accelerate>=0.20.0
 sentencepiece>=0.1.99
 google-generativeai>=0.3.0