v 0.1

- правка формата ответа

app.py

@@ -40,9 +40,9 @@ llm = LlamaCPP(
     # optionally, you can set the path to a pre-downloaded model instead of model_url
     model_path=None,
     temperature=0.1,
-    max_new_tokens=64,
+    max_new_tokens=256,
     # llama2 has a context window of 4096 tokens, but we set it lower to allow for some wiggle room
-    context_window=1638,
+    context_window=16384,
     # kwargs to pass to __call__()
     generate_kwargs={},
     # kwargs to pass to __init__()
@@ -54,6 +54,24 @@ llm = LlamaCPP(
     verbose=True,
 )
 
+def generate_response(text):
+    try:
+        # Обработка текстового сообщения
+        logger.info('Output:')
+        logger.info(text)
+
+        response = text['choices'][0]['text']
+
+        # Отправка ответа
+        if response:
+            return response
+
+        return 'Произошла ошибка при обработке запроса'
+
+    except Exception as e:
+        logger.error(f"Ошибка обработки сообщения: {str(e)}")
+
+
 @app.get("/")
 def greet_json():
     return {"Hello": "World!"}
@@ -69,4 +87,5 @@ async def predict(text: str):
     # Генерация ответа с помощью модели
     logger.info('post/predict')
     response = llm.complete(text)
-    return {"response": response}
+    text = generate_response(response)
+    return {"response": text}