app.py

from flask import Flask, request, Response, jsonify
from huggingface_hub import InferenceClient
from flask_cors import CORS
import json
import requests
import re

client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")

summary_prompt = '<s>[INST]Ты ассистент. Отвечаешь на русском языке. Сформируй краткое изложение следующего текста: {}[/INST]'

def format_prompt(message, history):
  prompt = "<s>"
  for user_prompt, bot_response in history:
    prompt += f"[INST] {user_prompt} [/INST]"
    prompt += f" {bot_response}</s> "
  prompt += f"[INST] {message} [/INST]"
  return prompt

def split_text(text):
    max_chars = 3500
    sentences = text.split('.')
    lines = []
    for sentence in sentences:
        lines.extend(sentence.split('\n'))

    result = []
    current_chunk = ''
    for line in lines:
        if len(current_chunk) + len(line) < max_chars:
            current_chunk += line + '.'
        else:
            result.append(current_chunk.strip())
            current_chunk = line + '.'
    if current_chunk:
        result.append(current_chunk.strip())
    return result

def call_api(prompt_text):
    url = "https://muryshev-mixtral-api-local.hf.space/completion"
    payload = {"prompt": prompt_text, "temperature": 0, "seed": 42, "repeat_penalty": 1, "top_p": 0.95, "stream": False, "n_predict": 2000}
    
    try:
        response = requests.post(url, json=payload)
        response.raise_for_status()  # Raise an exception for 4xx or 5xx status codes
        result = response.json().get('content', '') # Extract the text result from the JSON response
        print(result)
        return result
    except requests.exceptions.RequestException as e:
        print("Error:", e)
        return None
    
def generate(
    prompt, history=[], temperature=0, max_new_tokens=2000, top_p=0.95, repetition_penalty=1.0,
):
    return call_api(prompt)
    temperature = float(temperature)
    if temperature < 1e-2:
        temperature = 1e-2
    top_p = float(top_p)

    generate_kwargs = dict(
        temperature=temperature,
        max_new_tokens=max_new_tokens,
        top_p=top_p,
        repetition_penalty=repetition_penalty,
        do_sample=True,
        seed=42,
    )

    #formatted_prompt = format_prompt(prompt, history)

    #stream = client.text_generation(prompt, **generate_kwargs, stream=True, details=False, return_full_text=False)
    response = client.text_generation(prompt, **generate_kwargs, stream=False, details=False, return_full_text=False)
    print(response)
    return response
    #output = ""

    #for response in stream:
    #    yield response.token.text.encode('utf-8')

app = Flask(__name__)
CORS(app)

@app.route('/health', methods=['GET'])
def health():
    return jsonify({"status": "ok"})

@app.route('/completion', methods=['POST'])
def completion_route():
    data = request.get_json()
    prompt = data.get('prompt', '')
    #truncated_prompt = prompt[:32768]
    return Response(generate(prompt[:52768]), content_type='text/plain; charset=utf-8', status=200, direct_passthrough=True)

@app.route('/getsummary', methods=['POST'])
def getsummary_route():
    data = request.get_json()
    text = data.get('text', '')
    # pages = split_text(text)
    # result = ''
    # for page in pages:
    #     summary_prompt = f'''''<s>[INST]Исправь в тексте, сделанным роботом при транскрибации аудиозаписи совещания, плохо-читаемые предложения. Проверь каждое предложение на согласованность падежей, окончаний, на наличие и правильное использование предлогов, в реплике каждого спикера исправь пунктуацию, чтобы смысл и был четкий и понятный, также удали дискурсивные слова, не несущие смысла, сделай текст аккуратным и легко читабельным и пиши только на русском языке: {page}[/INST]'
    #     response = generate(summary_prompt[:52000])
    #     result = result + '\n'+response
    
    summary_prompt = f'<s>[INST]Исправь в тексте, сделанным роботом при транскрибации аудиозаписи совещания, плохо-читаемые предложения. Проверь каждое предложение на согласованность падежей, окончаний, на наличие и правильное использование предлогов, в реплике каждого спикера исправь пунктуацию, чтобы смысл и был четкий и понятный, также удали дискурсивные слова, не несущие смысла, сделай текст аккуратным и легко читабельным и пиши только на русском языке: {text}[/INST]'
    result = generate(summary_prompt[:52000])
    return jsonify({'result': result})

@app.route('/cleantext', methods=['POST'])
def cleantext_route():
    data = request.get_json()
    text = data.get('text', '')
    
    summary_prompt = f'<s>[INST]Ты мой помощник. Ты отвечаешь только на русском языке. Сформируй краткое изложение следующего текста: {text}[/INST]'
    response = generate(summary_prompt[:52000])
    
    return jsonify({'result': response})

@app.route('/getfollowup', methods=['POST'])
def getfollowup_route():
    data = request.get_json()
    text = data.get('text', '')
    
    summary_prompt = f'<s>[INST]Ты мой помощник. Ты отвечаешь только на русском языке. Выпиши из текста нумерованным списком обсуждаемые темы и у каждой темы сделай подпунктами обсуждаемые вопросы. Текст: {text}[/INST]'
    response = generate(summary_prompt[:52000])
    
    return jsonify({'result': response})

@app.route('/getagenda', methods=['POST'])
def getagenda_route():
    data = request.get_json()
    text = data.get('text', '')
    
    summary_prompt = f'<s>[INST]Ты мой помощник. Ты отвечаешь только на русском языке. Выпиши из текста в виде списка какие задачи были поставлены для конкретных исполнителей с указанием сроков, если это возможно определить. Если задача есть в списке, то не добавляй идентичную. Текст: {text}[/INST]'
    response = generate(summary_prompt[:52000])
    
    return jsonify({'result': response})

@app.route('/gethighlights', methods=['POST'])
def gethighlights_route():
    data = request.get_json()
    text = data.get('text', '')
    
    summary_prompt = f'<s>[INST]Ты мой помощник. Ты отвечаешь только на русском языке. Сформируй на основе текста два нумерованных списка: 1. какие проблемы были озвучены в тексте 2. какие предложения были сформулированы. Текст: {text}[/INST]'
    response = generate(summary_prompt[:52000])
    
    return jsonify({'result': response})


@app.route('/getprojectinfo', methods=['POST'])
def getprojectinfo_route():
    data = request.get_json()
    text = data.get('text', '')

    main_prompts = []
    prompt1 = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке.
Найди в тексте ИМЕНА СОБСТВЕННЫЕ участников обсуждения. Кто говорил во время совещания?
Формат ответа: "Участники: *здесь ФИО говорящих из текста*". Если имя говорящего не указано, то отвечай так: "не указано".
Текст совещания: "{text}"[/INST]''')
    
    prompt2 = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке.
Представь, что ты лучший в мире смысловик и копирайтер.
Сделай глубокий вдох и, думая шаг за шагом, выполни задание:
Каков ход совещания в этом тексте?
Формат ответа: "Повестка встречи: *здесь текст*".
Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь. Отвечай на русском языке.
Скрипт: {text}[/INST]''')
    main_prompts.append(prompt1)
    main_prompts.append(prompt2)
    
    main_info =''
    for i in main_prompts:
        result = generate(i[:52000])
        if result is None:
            return jsonify({'error': 'Сервер LLM временно недоступен. Попробуйте повторить запрос через несколько минут.'})
        main_info += '\n\n'+result+'\n\n'
    
    final = main_info
    final = final.replace("Конец ответа", "")
    #final = final.replace('\n', ' ')
    final = final.replace('</s>', '')
    final = final.strip()
    return jsonify({'result': final})


@app.route('/getprojectlist', methods=['POST'])
def getprojectlist_route():
    data = request.get_json()
    text = data.get('text', '')

    main_prompts = []
    prompt1 = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке.
Найди в тексте ИМЕНА СОБСТВЕННЫЕ участников обсуждения. Кто говорил во время совещания?
Формат ответа: "Участники: *здесь ФИО говорящих из текста*". Если имя говорящего не указано, то отвечай так: "не указано".
Текст совещания: "{text}"[/INST]''')
    
    prompt2 = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке.
Представь, что ты лучший в мире смысловик и копирайтер.
Сделай глубокий вдох и, думая шаг за шагом, выполни задание:
Каков ход совещания в этом тексте?
Формат ответа: "Повестка встречи: *здесь текст*".
Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь. Отвечай на русском языке.
Скрипт: {text}[/INST]''')
    main_prompts.append(prompt1)
    main_prompts.append(prompt2)
    
    main_info =''
    for i in main_prompts:
        result = generate(i[:52000])
        if result is None:
            return jsonify({'error': 'Сервер LLM временно недоступен. Попробуйте повторить запрос через несколько минут.'})
        main_info += '\n\n'+result+'\n\n'

    proj_prompt = []
    prompt = (f'''<s>[INST]Вы отвечаете только на РУССКОМ языке.
1. Найти все упоминания слов "проект" или "проекты" в тексте.
2. Прочитать контекст вокруг упоминаний слова "проект" или "проекты" и определить, какие проекты упоминаются.
3. Составить список названий проектов, которые были найдены в тексте.
Используй только такой формат ответа: "Проект №: *суть кратко*". Конец ответа.
Ты больше ничего не говоришь, не комментируешь, не добавляешь.
Текст: {text}[/INST]''')
    proj_prompt.append(prompt)
    
    list_of_projects =''
    for i in proj_prompt:
        result = generate(i[:52000])
        if result is None:
            return jsonify({'error': 'Сервер LLM временно недоступен. Попробуйте повторить запрос через несколько минут.'})
        list_of_projects += result
    
    delimiter = 'Проект '
    proj  = [delimiter+x for x in list_of_projects.split(delimiter) if x]
    proj = proj[1:]
    
    proj_ = []
    for i in proj:
        a = i.replace("Проект №", "")
        a = a.replace("Конец ответа", "")
        a = a.replace("данный проект", "")  ###убираю слово "проект", чтобы модель не опиралась на него,
        a = a.replace("проект ", "")             # при ответе на вопрос, проект это или нет
        a = a.replace('\n', ' ')
        a = a.replace('</s>', ' ')
        a = a.strip()
        proj_.append(a)
        
    check_prompts = []

    checking = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке. Сделай глубокий вдох и, думая шаг за шагом, выполни задание:
У меня есть список проектов. Такие проекты имеются в тексте и являются основными? Список проектов: {proj_}.
Ты обязательно используешь ТОЛЬКО такой формат ответа:
"Да: Проект № *название проекта*." ИЛИ "Нет, такого проекта нет".
Ты больше ничего не говоришь, не комментируешь, не добавляешь.
Текст: {text}[/INST]''')
    check_prompts.append(checking)

    real_projects = ''
    for i in check_prompts:
        result = generate(i[:52000])
        if result is None:
            return jsonify({'error': 'Сервер LLM временно недоступен. Попробуйте повторить запрос через несколько минут.'})
        real_projects += result
    
    real_projects_list = re.findall(r'Да:\s*(.*?)\s*(?:\n\n|$)', real_projects)
    return jsonify({'result': real_projects_list})

@app.route('/getprojectdetails', methods=['POST'])
def getinfobyproject_route():
    data = request.get_json()
    text = data.get('text', '')
    real_projects_list = data.get('projects', {})
    
    project_prompts = {}
    if real_projects_list:
        if not project or project.strip() == "":  # This checks for None, empty string, and strings with only spaces
            continue
            
        prompt_aim = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке. Представь, что ты лучший в мире смысловик и копирайтер.
Сделай глубокий вдох и, думая шаг за шагом, выполни задание:
Опираясь на данный текст, определи цель ЭТОГО проекта: {i}.  Выбирай и анализируй информацию только об ЭТОМ проекте.
Формат ответа: "Проект: *название проекта*. Цель этого проекта: *здесь текст*".
Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь. Отвечай на русском языке.
Текст: {text}[/INST]''')
        gk = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке. Представь, что ты лучший в мире смысловик и копирайтер.
Сделай глубокий вдох и, думая шаг за шагом, ответь на вопрос: Какие преимущества (выгоду) получит группа компаний по итогам этого проекта: {i}.
Формат ответа: "По факту реализации проекта Группа Компаний Получит: *здесь текст*".
Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь. Отвечай на русском языке.
Скрипт: {text}[/INST]''')
        budget = (f'<s>[INST]Ты всегда отвечаешь на РУССКОМ языке. +\
Найди в тексте информацию о бюджете этого проекта: {i} . +\
Формат ответа: "Бюджет проекта: *здесь цифра*". Если бюджет проекта не указан, то отвечай так: "Бюджет: Такой информации нет."+\
Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь. Отвечай на русском языке. +\
Скрипт: {text}[/INST]')
        ec_ef = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке.
Поразмышляй об этом тексте. Как ты думаешь, в чем заключается экономический эффект (экономические преимущества) для компании от этого проекта: {i}. Выбирай и анализируй информацию только об ЭТОМ проекте.
Формат ответа: "Экономический эффект от проекта: *здесь ответ на вопрос*".
Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь. Отвечай на русском языке.
Скрипт: {text}[/INST]''')
        deadline = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке.
Найди в тексте дату, когда должен быть реализован ЭТОТ проект: {i}. Выбирай и анализируй информацию только об ЭТОМ проекте: {i}.
Формат ответа: "Срок реализации: *здесь текст*".
Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь. Отвечай на русском языке.
Скрипт: {text}[/INST]''')
        new_plan = (f'<s>[INST]Ты всегда отвечаешь на РУССКОМ языке! Только на русском языке. Выбирай и анализируй информацию на русском языке только об ЭТОМ проекте: {i} .+\
Представь, что ты лучший в мире смысловик и копирайтер. +\
Сделай глубокий вдох и, думая шаг за шагом, ответь на русском языке на вопрос: Какие действия участники решили предпринять, чтобы отлично выполнить проект?+\
Используй такой формат ответа: "Решения: *текст*". Ты больше ничего не говоришь, не комментируешь, не выражаешь свои мысли, вообще ничего больше не говоришь! Ищи ответ в тексте: {text}. Отвечай на русском языке!!! [/INST]')
        conclusion = (f'''<s>[INST]Ты всегда отвечаешь на РУССКОМ языке. Поразмышляй о тексте.
Какой вывод заключили участники относительно ЭТОГО проекта: {i}.
Используй такой формат ответа: "Вывод: *Тут описывается принятое решение.*." Конец ответа.
Текст: {text}[/INST]''')
        p = [prompt_aim, gk, budget, ec_ef, deadline, new_plan, conclusion]
        project_prompts[i] = {}
        project_prompts[i]['prompts'] = p
        
    elif not real_projects_list:
        return jsonify({'error': 'Проекты не выбраны'})
    
    final = {}
    for project_name, project in project_prompts.items():
        for prompt in project['prompts']:
            result = generate(prompt[:52000])
            if result is not None:
                final[project_name] = final.get(project_name, '') + '\n\n'+result + '\n\n'
        final[project_name] = final[project_name].replace("Конец ответа", "")
        final[project_name] = final[project_name].replace('</s>', '')
        final[project_name] = final[project_name].strip()

    return jsonify({'result': final})


if __name__ == '__main__':
    app.run(debug=False, host='0.0.0.0', port=7860)