Update main.py

main.py

@@ -21,7 +21,12 @@ class ChatRequest(BaseModel):
 @app.post("/chat/stream")
 async def chat_stream(request: ChatRequest):
     prompt = f"Responde en español de forma clara y breve como un asistente IA.\nUsuario: {request.message}\nIA:"
-    input_ids = tokenizer.encode(prompt, add_special_tokens=True)
+
+    # 1. Tokeniza a tokens (sin padding, sin encode)
+    tokens = tokenizer.tokenize(prompt)
+    token_ids = tokenizer.convert_tokens_to_ids(tokens)
+    # 2. Añade manualmente los tokens especiales
+    input_ids = tokenizer.build_inputs_with_special_tokens(token_ids)
     input_ids = torch.tensor([input_ids])
 
     streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
@@ -32,9 +37,8 @@ async def chat_stream(request: ChatRequest):
         top_p=0.9,
         do_sample=True,
         streamer=streamer,
-        pad_token_id=tokenizer.eos_token_id if hasattr(tokenizer, "eos_token_id") else None,
+        pad_token_id=getattr(tokenizer, "eos_token_id", None),
     )
-    # Elimina attention_mask, padding, y cualquier argumento de batch.
     thread = threading.Thread(target=model.generate, kwargs=generation_kwargs)
     thread.start()