examples.py

"""API request and response examples for documentation."""

EXAMPLE_TEXT = "يكون سعر الفاكهة والخضراوات في موسم إنباتها أقل من غيره من المواسم. ستلجأ محلات الخضروات إلى عرض الفاكهة بأسعار مناسبة في موسمها بسبب توفر المنتجات. لا يقتصر الأمر على السعر الأقل، بل سيكون طعامك أشهى وألذ عند تناوله في موسمه. في فصل الخريف يتوفر التفاح والتين والبنجر والكمثرى."

# Note: For classification endpoints, the 'model' field is optional.
# Available models: traditional_svm, modern_bert, modern_lstm
# If not specified, defaults to traditional_svm

REQUEST_EXAMPLES = {
    "text_input": {"text": EXAMPLE_TEXT},
    "text_input_with_model": {"text": EXAMPLE_TEXT, "model": "traditional_svm"},
    "text_input_modern_bert": {"text": EXAMPLE_TEXT, "model": "modern_bert"},
    "text_input_modern_lstm": {"text": EXAMPLE_TEXT, "model": "modern_lstm"},
    "text_input_with_sentences": {"text": EXAMPLE_TEXT, "num_sentences": 2},
    "text_input_with_sentences_and_model": {"text": EXAMPLE_TEXT, "num_sentences": 2, "model": "modern_bert"},
    "batch_text_input": {
        "texts": [
            EXAMPLE_TEXT,
            "هذا نص تجريبي آخر للتصنيف باللغة العربية.",
            "المطاعم في المدينة تقدم أطباق شهية ومتنوعة.",
        ]
    },
    "batch_text_input_with_model": {
        "texts": [
            EXAMPLE_TEXT,
            "هذا نص تجريبي آخر للتصنيف باللغة العربية.",
            "المطاعم في المدينة تقدم أطباق شهية ومتنوعة.",
        ],
        "model": "modern_lstm"
    },
    "preprocessing_input": {"text": EXAMPLE_TEXT, "task_type": "classification"},
}

RESPONSE_EXAMPLES = {
    "classification": {
        "prediction": "economy",
        "prediction_index": 1,
        "confidence": 0.851430067618738,
        "probability_distribution": {
            "culture": 0.03446028829161909,
            "economy": 0.851430067618738,
            "international": 0.005894582125851457,
            "local": 0.07395284130576442,
            "religion": 0.006103062287269104,
            "sports": 0.028159158370758375
        },
        "cleaned_text": "يكون سعر فكه خضراو وسم بات اقل غير وسم تلج محل خضرو الي عرض فكه سعر نسب وسم بسب وفر نتج قصر امر علي سعر اقل سيك طعم اشه ولذ نول وسم فصل خرف وفر تفح تين نجر كمثر",
        "model_used": "traditional_svm_classifier",
        "prediction_metadata": {
            "max_probability": 0.851430067618738,
            "min_probability": 0.005894582125851457,
            "entropy": 0.607505444397693,
            "num_classes": 6
        }
    },
    "summarization": {
        "summary": "ستلجأ محلات الخضروات إلى عرض الفاكهة بأسعار مناسبة في موسمها بسبب توفر المنتجات لا يقتصر الأمر على السعر الأقل، بل سيكون طعامك أشهى وألذ عند تناوله في موسمه",
        "original_sentence_count": 4,
        "summary_sentence_count": 2,
        "sentences": [
            "يكون سعر الفاكهة والخضراوات في موسم إنباتها أقل من غيره من المواسم",
            "ستلجأ محلات الخضروات إلى عرض الفاكهة بأسعار مناسبة في موسمها بسبب توفر المنتجات",
            "لا يقتصر الأمر على السعر الأقل، بل سيكون طعامك أشهى وألذ عند تناوله في موسمه",
            "في فصل الخريف يتوفر التفاح والتين والبنجر والكمثرى"
        ],
        "selected_indices": [1, 2],
        "sentence_scores": [2.9675719816913095, 3.2243029195650847, 3.2339935441416645, 2.6416207226871506],
        "top_sentence_scores": [3.2243029195650847, 3.2339935441416645]
    },
    "text_analysis": {
        "text": EXAMPLE_TEXT,
        "analysis": {
            "character_count": 278,
            "word_count": 48,
            "sentence_count": 4,
            "arabic_character_count": 227,
            "arabic_character_ratio": 0.8165467625899281,
            "average_word_length": 4.8125,
            "average_sentence_length": 12.0,
            "has_diacritics": False,
            "punctuation_count": 5
        }
    },
    "batch_classification": {
        "results": [
            {
                "prediction": "economy",
                "prediction_index": 1,
                "confidence": 0.851430067618738,
                "probability_distribution": {
                    "culture": 0.03446028829161909,
                    "economy": 0.851430067618738,
                    "international": 0.005894582125851457,
                    "local": 0.07395284130576442,
                    "religion": 0.006103062287269104,
                    "sports": 0.028159158370758375
                },
                "cleaned_text": "يكون سعر فكه خضراو وسم بات اقل غير وسم تلج محل خضرو الي عرض فكه سعر نسب وسم بسب وفر نتج قصر امر علي سعر اقل سيك طعم اشه ولذ نول وسم فصل خرف وفر تفح تين نجر كمثر",
                "model_used": "traditional_svm_classifier",
                "prediction_metadata": {
                    "max_probability": 0.851430067618738,
                    "min_probability": 0.005894582125851457,
                    "entropy": 0.607505444397693,
                    "num_classes": 6
                }
            },
            {
                "prediction": "economy",
                "prediction_index": 1,
                "confidence": 0.594920291892315,
                "probability_distribution": {
                    "culture": 0.2745678397668158,
                    "economy": 0.594920291892315,
                    "international": 0.026763844094989445,
                    "local": 0.059508468104556384,
                    "religion": 0.010869503926651195,
                    "sports": 0.033370152114672154
                },
                "cleaned_text": "نص تجرب اخر تصن لغ عرب",
                "model_used": "traditional_svm_classifier",
                "prediction_metadata": {
                    "max_probability": 0.594920291892315,
                    "min_probability": 0.010869503926651195,
                    "entropy": 1.2244037883788486,
                    "num_classes": 6
                }
            },
            {
                "prediction": "local",
                "prediction_index": 3,
                "confidence": 0.8469012893956159,
                "probability_distribution": {
                    "culture": 0.03610036096593097,
                    "economy": 0.02966970458779607,
                    "international": 0.00998550970524301,
                    "local": 0.8469012893956159,
                    "religion": 0.025074648364464147,
                    "sports": 0.05237313697694993
                },
                "cleaned_text": "طعم دين قدم طب شه تنع",
                "model_used": "traditional_svm_classifier",
                "prediction_metadata": {
                    "max_probability": 0.8469012893956159,
                    "min_probability": 0.00998550970524301,
                    "entropy": 0.5892773509761756,
                    "num_classes": 6
                }
            }
        ],
        "total_texts": 3,
        "model_used": "traditional_svm"
    },
    "sentence_analysis": {
        "sentences": [
            {
                "index": 0,
                "sentence": "يكون سعر الفاكهة والخضراوات في موسم إنباتها أقل من غيره من المواسم",
                "score": 2.9675719816913095,
                "rank": 3
            },
            {
                "index": 1,
                "sentence": "ستلجأ محلات الخضروات إلى عرض الفاكهة بأسعار مناسبة في موسمها بسبب توفر المنتجات",
                "score": 3.2243029195650847,
                "rank": 2
            },
            {
                "index": 2,
                "sentence": "لا يقتصر الأمر على السعر الأقل، بل سيكون طعامك أشهى وألذ عند تناوله في موسمه",
                "score": 3.2339935441416645,
                "rank": 1
            },
            {
                "index": 3,
                "sentence": "في فصل الخريف يتوفر التفاح والتين والبنجر والكمثرى",
                "score": 2.6416207226871506,
                "rank": 4
            }
        ],
        "total_sentences": 4,
        "score_statistics": {
            "mean": 3.0168722920213025,
            "std": 0.24156436215421892,
            "min": 2.6416207226871506,
            "max": 3.2339935441416645
        }
    },
    "complete_analysis": {
        "original_text": EXAMPLE_TEXT,
        "text_analysis": {
            "character_count": 278,
            "word_count": 48,
            "sentence_count": 4,
            "arabic_character_count": 227,
            "arabic_character_ratio": 0.8165467625899281,
            "average_word_length": 4.8125,
            "average_sentence_length": 12.0,
            "has_diacritics": False,
            "punctuation_count": 5
        },
        "classification": {
            "prediction": "economy",
            "prediction_index": 1,
            "confidence": 0.851430067618738,
            "probability_distribution": {
                "culture": 0.03446028829161909,
                "economy": 0.851430067618738,
                "international": 0.005894582125851457,
                "local": 0.07395284130576442,
                "religion": 0.006103062287269104,
                "sports": 0.028159158370758375
            },
            "cleaned_text": "يكون سعر فكه خضراو وسم بات اقل غير وسم تلج محل خضرو الي عرض فكه سعر نسب وسم بسب وفر نتج قصر امر علي سعر اقل سيك طعم اشه ولذ نول وسم فصل خرف وفر تفح تين نجر كمثر",
            "model_used": "traditional_svm_classifier",
            "prediction_metadata": {
                "max_probability": 0.851430067618738,
                "min_probability": 0.005894582125851457,
                "entropy": 0.607505444397693,
                "num_classes": 6
            }
        },
        "summarization": {
            "summary": "ستلجأ محلات الخضروات إلى عرض الفاكهة بأسعار مناسبة في موسمها بسبب توفر المنتجات لا يقتصر الأمر على السعر الأقل، بل سيكون طعامك أشهى وألذ عند تناوله في موسمه",
            "original_sentence_count": 4,
            "summary_sentence_count": 2,
            "sentences": [
                "يكون سعر الفاكهة والخضراوات في موسم إنباتها أقل من غيره من المواسم",
                "ستلجأ محلات الخضروات إلى عرض الفاكهة بأسعار مناسبة في موسمها بسبب توفر المنتجات",
                "لا يقتصر الأمر على السعر الأقل، بل سيكون طعامك أشهى وألذ عند تناوله في موسمه",
                "في فصل الخريف يتوفر التفاح والتين والبنجر والكمثرى"
            ],
            "selected_indices": [1, 2],
            "sentence_scores": [2.9675719816913095, 3.2243029195650847, 3.2339935441416645, 2.6416207226871506],
            "top_sentence_scores": [3.2243029195650847, 3.2339935441416645]
        }
    },
    "preprocessing": {
        "task_type": "classification",
        "preprocessing_steps": {
            "original": EXAMPLE_TEXT,
            "stripped_lowered": EXAMPLE_TEXT,
            "normalized": "يكون سعر الفاكهه والخضراوات في موسم انباتها اقل من غيره من المواسم. ستلجا محلات الخضروات الي عرض الفاكهه باسعار مناسبه في موسمها بسبب توفر المنتجات. لا يقتصر الامر علي السعر الاقل، بل سيكون طعامك اشهي والذ عند تناوله في موسمه. في فصل الخريف يتوفر التفاح والتين والبنجر والكمثري.",
            "diacritics_removed": "يكون سعر الفاكهه والخضراوات في موسم انباتها اقل من غيره من المواسم. ستلجا محلات الخضروات الي عرض الفاكهه باسعار مناسبه في موسمها بسبب توفر المنتجات. لا يقتصر الامر علي السعر الاقل، بل سيكون طعامك اشهي والذ عند تناوله في موسمه. في فصل الخريف يتوفر التفاح والتين والبنجر والكمثري.",
            "punctuation_removed": "يكون سعر الفاكهه والخضراوات في موسم انباتها اقل من غيره من المواسم  ستلجا محلات الخضروات الي عرض الفاكهه باسعار مناسبه في موسمها بسبب توفر المنتجات  لا يقتصر الامر علي السعر الاقل  بل سيكون طعامك اشهي والذ عند تناوله في موسمه  في فصل الخريف يتوفر التفاح والتين والبنجر والكمثري ",
            "repeated_chars_reduced": "يكون سعر الفاكه والخضراوات في موسم انباتها اقل من غيره من المواسم ستلجا محلات الخضروات الي عرض الفاكه باسعار مناسبه في موسمها بسب توفر المنتجات لا يقتصر الامر علي السعر الاقل بل سيكون طعامك اشهي والذ عند تناوله في موسمه في فصل الخريف يتوفر التفاح والتين والبنجر والكمثري",
            "whitespace_normalized": "يكون سعر الفاكه والخضراوات في موسم انباتها اقل من غيره من المواسم ستلجا محلات الخضروات الي عرض الفاكه باسعار مناسبه في موسمها بسب توفر المنتجات لا يقتصر الامر علي السعر الاقل بل سيكون طعامك اشهي والذ عند تناوله في موسمه في فصل الخريف يتوفر التفاح والتين والبنجر والكمثري",
            "final_result": "يكون سعر فكه خضراو وسم بات اقل غير وسم تلج محل خضرو الي عرض فكه سعر نسب وسم بسب وفر نتج قصر امر علي سعر اقل سيك طعم اشه ولذ نول وسم فصل خرف وفر تفح تين نجر كمثر",
            "preprocessing_summary": {
                "original_length": 278,
                "final_length": 165,
                "reduction_percentage": 40.6,
                "words_removed": 25,
                "words_remaining": 23
            }
        }
    },
    "model_info": {
        "classifier": {
            "model_name": "traditional_svm_classifier",
            "model_type": "SVC",
            "num_classes": 6,
            "classes": ["culture", "economy", "international", "local", "religion", "sports"],
            "has_predict_proba": True,
            "has_vectorizer": True,
            "vectorizer_type": "TfidfVectorizer",
            "model_manager": {
                "model_name": "traditional_svm",
                "model_description": "Traditional SVM classifier with TF-IDF vectorization",
                "model_config": {
                    "type": "traditional",
                                "classifier_path": "models/traditional_svm_classifier.joblib",
            "vectorizer_path": "models/traditional_tfidf_vectorizer_classifier.joblib",
                    "description": "Traditional SVM classifier with TF-IDF vectorization"
                },
                "is_cached": True
            }
        },
        "summarizer": {
            "vectorizer_loaded": True,
            "model_type": "TF-IDF based summarization"
        }
    },
    "available_models": {
        "models": {
            "traditional_svm": {
                "description": "Traditional SVM classifier with TF-IDF vectorization",
                "type": "traditional",
                "available": True,
                "missing_files": [],
                "is_default": True,
                "is_cached": True
            },
            "modern_bert": {
                "description": "Modern BERT-based transformer classifier",
                "type": "modern",
                "available": True,
                "missing_files": [],
                "is_default": False,
                "is_cached": False
            },
            "modern_lstm": {
                "description": "Modern LSTM-based neural network classifier",
                "type": "modern",
                "available": True,
                "missing_files": [],
                "is_default": False,
                "is_cached": False
            }
        },
        "current_model": "traditional_svm"
    }
}