Update app.py

app.py

@@ -1,238 +1,72 @@
-import sys
-import typing
-if sys.version_info < (3, 11):
-    typing.Self = object  # 3.10에서 임시 우회
-from PySide6.QtWidgets import (QApplication, QMainWindow, QVBoxLayout, 
-                              QTextEdit, QLineEdit, QPushButton, QWidget,
-                              QScrollArea, QHBoxLayout)
-from PySide6.QtCore import Qt, QThread, Signal
-from transformers import AutoModelForCausalLM, AutoTokenizer
+import gradio as gr
 import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+# 디바이스 설정
+device = "cuda" if torch.cuda.is_available() else "cpu"
+
+# 모델 및 토크나이저 불러오기
+model_name = "naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B"
+model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+# 초기 시스템 메시지 및 히스토리
+initial_chat = [
+    {"role": "tool_list", "content": ""},
+    {"role": "system", "content": "- AI 언어모델의 이름은 \"CLOVA X\" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다."},
+]
+
+chat_history = initial_chat.copy()
+
+def generate_response(user_input):
+    global chat_history
+    chat_history.append({"role": "user", "content": user_input})
 
-class AIWorker(QThread):
-    response_ready = Signal(str)
-    progress_update = Signal(int)  # 진행률 업데이트 신호
-    
-    def __init__(self, model, tokenizer, chat_history):
-        super().__init__()
-        self.model = model
-        self.tokenizer = tokenizer
-        self.chat_history = chat_history
-        self.user_input = ""
-        
-    def run(self):
-        try:
-            # 사용자 입력 추가
-            self.chat_history.append({"role": "user", "content": self.user_input})
+    inputs = tokenizer.apply_chat_template(
+        chat_history,
+        add_generation_prompt=True,
+        return_dict=True,
+        return_tensors="pt"
+    ).to(device)
 
-            # 입력 텐서 생성
-            inputs = self.tokenizer.apply_chat_template(
-                self.chat_history,
-                add_generation_prompt=True,
-                return_dict=True,
-                return_tensors="pt"
-            ).to(self.model.device)
+    with torch.no_grad():
+        output_ids = model.generate(
+            **inputs,
+            max_length=1024,
+            stop_strings=["<|endofturn|>", "<|stop|>"],
+            repetition_penalty=1.2,
+            tokenizer=tokenizer,
+            temperature=0.7,
+            top_p=0.9,
+        )
 
-            # 응답 생성
-            with torch.no_grad():
-                output_ids = self.model.generate(
-                    **inputs,
-                    max_length=512,
-                    repetition_penalty=1.1,
-                    temperature=0.7,
-                    top_p=0.9,
-                    stop_strings=["<|endofturn|>", "<|stop|>"],
-                    tokenizer=self.tokenizer
-                )
+    output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
+    # 사용자 입력 다음부터 응답만 추출
+    model_reply = output_text.split(user_input)[-1].strip()
 
-            # 출력 디코딩
-            output_text = self.tokenizer.decode(output_ids[0], skip_special_tokens=True)
+    chat_history.append({"role": "assistant", "content": model_reply})
+    return model_reply
 
-            # 사용자 입력 이후 응답만 추출
-            model_reply = output_text.split(self.user_input)[-1].strip()
+# Gradio 인터페이스 구성
+with gr.Blocks() as demo:
+    gr.Markdown("# CLOVA X 챗봇")
+    chatbot = gr.Chatbot()
+    msg = gr.Textbox(placeholder="메시지를 입력하세요...")
+    clear = gr.Button("초기화")
 
-            # 히스토리에 모델 응답 추가
-            self.chat_history.append({"role": "assistant", "content": model_reply})
-            
-            self.response_ready.emit(model_reply)
+    def user(user_message, chat_history_gr):
+        chat_history_gr = chat_history_gr or []
+        chat_history_gr.append((user_message, None))
+        response = generate_response(user_message)
+        chat_history_gr[-1] = (user_message, response)
+        return chat_history_gr, ""
 
-        except Exception as e:
-            print(f"Error in AIWorker: {str(e)}")
-            self.response_ready.emit("죄송합니다. 응답 생성 중 오류가 발생했습니다.")
-        finally:
-            # 리소스 정리
-            torch.cuda.empty_cache()
+    def reset_chat():
+        global chat_history
+        chat_history = initial_chat.copy()
+        return []
 
-class ChatWindow(QMainWindow):
-    def __init__(self):
-        super().__init__()
-        self.setWindowTitle("CLOVA X 챗봇")
-        self.resize(800, 600)
-        
-        # 모델 초기화
-        self.init_model()
-        
-        # UI 설정
-        self.init_ui()
-        
-        # 채팅 기록 초기화
-        self.chat_history = [
-            {"role": "tool_list", "content": ""},
-            {"role": "system", "content": "- AI 언어모델의 이름은 \"CLOVA X\" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다."},
-        ]
-        
-    def init_model(self):
-        """모델과 토크나이저 로드"""
-        self.device = "cuda" if torch.cuda.is_available() else "cpu"
-        model_dir = "./clova_model_full"
-        
-        print("모델 로드 중...")
-        self.model = AutoModelForCausalLM.from_pretrained(model_dir).to(self.device)
-        self.tokenizer = AutoTokenizer.from_pretrained(model_dir)
-        print("모델 로드 완료!")
-    
-    def init_ui(self):
-        """사용자 인터페이스 설정"""
-        central_widget = QWidget()
-        self.setCentralWidget(central_widget)
-        
-        layout = QVBoxLayout()
-        central_widget.setLayout(layout)
-        
-        # 대화 내용 표시 영역
-        self.chat_display = QTextEdit()
-        self.chat_display.setReadOnly(True)
-        self.chat_display.setStyleSheet("""
-            QTextEdit {
-                background-color: #1a1a1a;
-                border: 1px solid #333333;
-                border-radius: 5px;
-                padding: 10px;
-                font-size: 14px;
-                color: #ffffff;
-            }
-        """)
-        
-        # 스크롤 가능하도록 설정
-        scroll_area = QScrollArea()
-        scroll_area.setWidgetResizable(True)
-        scroll_area.setWidget(self.chat_display)
-        layout.addWidget(scroll_area)
-        
-        # 입력 영역
-        input_layout = QHBoxLayout()
-        
-        self.user_input = QLineEdit()
-        self.user_input.setPlaceholderText("메시지를 입력하세요...")
-        self.user_input.setStyleSheet("""
-            QLineEdit {
-                padding: 8px;
-                border: 1px solid #444444;
-                border-radius: 4px;
-                font-size: 14px;
-                color: #ffffff;
-                background-color: #2d2d2d;
-            }
-        """)
-        self.user_input.returnPressed.connect(self.send_message)
-        
-        self.send_button = QPushButton("전송")
-        self.send_button.setStyleSheet("""
-            QPushButton {
-                background-color: #4a90e2;
-                color: white;
-                border: none;
-                border-radius: 4px;
-                padding: 8px 16px;
-                font-size: 14px;
-            }
-            QPushButton:hover {
-                background-color: #357abd;
-            }
-        """)
-        self.send_button.clicked.connect(self.send_message)
-        
-        input_layout.addWidget(self.user_input)
-        input_layout.addWidget(self.send_button)
-        
-        layout.addLayout(input_layout)
-        
-        # 상태 표시줄
-        self.statusBar().setStyleSheet("QStatusBar { color: #ffffff; }")
-        self.statusBar().showMessage(f"사용 중인 디바이스: {self.device.upper()}")
-        
-    def send_message(self):
-        """사용자 메시지 처리"""
-        message = self.user_input.text().strip()
-        if not message:
-            return
-            
-        # 사용자 메시지 표시
-        self.append_message("당신", message)
-        self.user_input.clear()
-        
-        # 이전 스레드 정리
-        if hasattr(self, 'ai_worker') and hasattr(self.ai_worker, 'is_running') and self.ai_worker.is_running:
-            self.ai_worker.is_running = False
-            self.ai_worker.wait()
-            torch.cuda.empty_cache()
-        
-        # AI 작업 스레드 시작
-        self.ai_worker = AIWorker(self.model, self.tokenizer, self.chat_history)
-        self.ai_worker.user_input = message
-        self.ai_worker.response_ready.connect(self.show_ai_response)
-        self.ai_worker.start()
-        
-        # 버튼 비활성화 (응답 대기 중)
-        self.send_button.setEnabled(False)
-        self.user_input.setEnabled(False)
-        self.statusBar().showMessage("CLOVA X가 답변을 생성 중입니다...")
-        
-    def show_ai_response(self, response):
-        """AI 응답 표시"""
-        self.append_message("CLOVA X", response)
-        
-        # 입력창 다시 활성화
-        self.send_button.setEnabled(True)
-        self.user_input.setEnabled(True)
-        self.user_input.setFocus()
-        self.statusBar().showMessage(f"사용 중인 디바이스: {self.device.upper()}")
-        
-        # 메모리 정리
-        torch.cuda.empty_cache()
-        
-    def append_message(self, sender, message):
-        """대화창에 메시지 추가"""
-        if sender == "당신":
-            prefix = "사용자: "
-            color = "#fff"  # 파란색
-        else:
-            prefix = "AI: "
-            color = "#ffe31e"  # 빨간색
-        
-        html = f'''
-            <div style="margin: 5px;">
-                <span style="color: {color}; display: inline-block;">
-                    {prefix}{message}
-                </span>
-            </div>'''
-        
-        self.chat_display.append(html)
-        self.chat_display.verticalScrollBar().setValue(self.chat_display.verticalScrollBar().maximum())
+    msg.submit(user, [msg, chatbot], [chatbot, msg])
+    clear.click(reset_chat, None, chatbot)
 
-if __name__ == "__main__":
-    app = QApplication(sys.argv)
-    
-    # 폰트 및 기본 스타일 설정
-    font = app.font()
-    font.setPointSize(12)
-    app.setFont(font)
-    app.setStyleSheet("""
-        QWidget {
-            color: #000000;
-        }
-    """)
-    
-    window = ChatWindow()
-    window.show()
-    sys.exit(app.exec())
+demo.launch()