t

app.py

@@ -133,7 +133,7 @@ with gr.Blocks(theme=gr.themes.Default(), css=css) as demo:
 
 "ޔޫރޮޕާ ލީގު ކާމިޔާބު ކޮށްގެން އަންނަ ސީޒަންގައި ޗެމްޕިއަންސް ލީގު ކުޅެން ލިބުމަކީ، އަހަރެމެންގެ ކްލަބްގެ ބައިވަރު ކަންކަން ބަދަލު ކުރެވިދާނެ ކަމެއް، ކުރިއަށް އޮތް ހޫނު މޫސުމުގެ ޓްރާންސްފާގައި ވެސް،" ޔުނައިޓެޑްގެ ކޯޗު އަމޯރިމް ބުންޏެވެ.
 
-"ޔޫރޮޕާ ލީގުން މޮޅުވެގެން އަހަރެމެންގެ މައްސަލަތަކެއް ހައްލެއް ނުވާނެ. މޮޅުވެގެން ލިބޭނީ ޗެމްޕިއަންސް ލީގުގެ ޖާގައަކާއި ހަރަދު ކުރާނެ ފައިސާ. އެކަމަކު އަސްލު މައްސަލަތައް އަދިވެސް ހުރީ. އަހަރެމެންގެ ކޮންސިސްޓެންޓް ވާން ޖެހޭ. ރަނގަޅު ނިންމުންތައް ނިންމައި، ރަނގަޅު ރެކްރޫޓްމަންޓް ސިސްޓަމަކާއި ރަނގަޅު އެކަޑަމީއެއް ބޭނުންވޭ. މިއީ މި ކުލަބްގެ އަސްލު މަގާމަށް ދިޔުމަށްޓަކައި ހައްލު ކުރަން ޖެހޭ ކަންކަން."
+"ޔޫރޮޕާ ލީގުން މޮޅުވެގެން އަހަރެމެންގެ މައްސަލަތަކެއް ހައްލެއް ނުވާނެ. މޮޅުވެގެން ލިބޭނީ ޗެމްޕިއަންސް ލީގުގެ ޖާގައަކާއި ހަރަދު ކުރާނެ ފައިސާ. އެކަމަކު އަސްލު މައްސަލަތައް އަދިވެސް ހުރީ. އަހަރެމެންގެ ކޮންސިސްޓެންޓް ވާން ޖެހޭ. ރަނގަޅު ނިންމުންތައް ނިންމައި، ރަނގަޅު ރެކްރޫޓްމަންޓް ސިސްޓަމަކާއި ރަނގަޅު އެކަޑަމީއެއް ބޭނުންވޭ. މިއ މި ކުލަބްގެ އަސްލު މަގާމަށް ދިޔުމަށްޓަކައި ހައްލު ކުރަން ޖެހޭ ކަންކަން."
 
 އިނގިރޭސި ޕްރިމިއާ ލީގުގެ 14 ވަނައިގައި އޮތް މެންޗެސްޓާ ޔުނައިޓެޑަށް، އަންނަ ސީޒަންގައި ޔޫރަޕްގެ މުބާރާތެއް ކުޅެވެން އޮތް ހަމައެކަނި ގޮތަކ ޔޫރޮޕާ ލީގު ކާމިޔާބު ކުރުމެވެ.
 
@@ -290,16 +290,25 @@ All outputs generated are synthetic, created using fine-tuned models for experim
         with gr.Tab("Translation Tasks"):
             gr.Markdown("# <center>Dhivehi Translation</center>")
             gr.Markdown("Select a translation direction and enter text to translate between Dhivehi, English and Latin script.")
+            # Set up initial choices and examples based on default model
+            default_model = list(MODEL_OPTIONS_TRANSLATE.keys())[0]
+            if "MT5-B-Dhivehi-English" in default_model:
+                initial_choices = ["2dv", "2en"]
+                initial_value = "2dv"
+            else:
+                initial_choices = ["en2dv:", "dv2en:", "dv2latin:", "latin2dv:"]
+                initial_value = "en2dv:"
+
+            with gr.Row():
+                model_choice = gr.Dropdown(choices=list(MODEL_OPTIONS_TRANSLATE.keys()), value=default_model, label="Model")            
             with gr.Row():
                 instruction = gr.Dropdown(
-                    choices=["en2dv:", "dv2en:", "dv2latin:", "latin2dv:"],
+                    choices=initial_choices,
                     label="Translation Direction",
-                    value="dv2latin:"
+                    value=initial_value
                 )
             with gr.Row():
                 input_text = gr.Textbox(lines=2, label="Text to Translate", rtl=True, elem_classes="textbox1")
-            with gr.Row():
-                model_choice = gr.Dropdown(choices=list(MODEL_OPTIONS_TRANSLATE.keys()), value=list(MODEL_OPTIONS_TRANSLATE.keys())[0], label="Model")
             with gr.Row():
                 generated_response = gr.Textbox(label="Translated Text", rtl=True, elem_classes="textbox1")
             with gr.Row():
@@ -315,21 +324,37 @@ All outputs generated are synthetic, created using fine-tuned models for experim
                 inputs=[instruction, input_text, model_choice,max_tokens_slider, num_beams_slider, rep_penalty_slider, ngram_slider],
                 outputs=generated_response
             )
-            gr.Examples(
-                examples=[
-                    ["dv2en:", "ދުނިޔޭގެ އެކި ކަންކޮޅުތަކުން މިލިއަން މީހުން މައްކާއަށް ޖަމާވެފައި"],
-                    ["en2dv:", "Concerns over prepayment of GST raised in parliament"],
-                    ["dv2latin:", "ވައިބާރުވުމުން ކުޅުދުއްފުށީ އެއާޕޯޓަށް ނުޖެއްސިގެން މޯލްޑިވިއަންގެ ބޯޓެއް އެނބުރި މާލެއަށް"],
-                    ["latin2dv:", "Paakisthaanuge skoolu bahakah dhin hamalaaehgai thin kuhjakaai bodu dhe meehaku maruvehje"],
-                ],
-                inputs=[instruction, input_text],
+
+            with gr.Row():
+                gr.Examples(
+                    examples=[
+                        "ދުނިޔޭގެ އެކި ކަންކޮޅުތަކުން މިލިއަން މީހުން މައްކާއަށް ޖަމާވެފައި",
+                        "Concerns over prepayment of GST raised in parliament",
+                        "ވައިބާރުވުމުން ކުޅުދުއްފުށީ އެއާޕޯޓަށް ނުޖެއްސިގެން މޯލްޑިވިއަންގެ ބޯޓެއް އެނބުރި މާލެއަށް",
+                        "Paakisthaanuge skoolu bahakah dhin hamalaaehgai thin kuhjakaai bodu dhe meehaku maruvehje"
+                    ],
+                    inputs=input_text,
+                )
+
+            def update_choices(model_name):
+                if "MT5-B-Dhivehi-English" in model_name:
+                    return gr.update(choices=["2dv", "2en"], value="2dv")
+                else:
+                    return gr.update(choices=["en2dv:", "dv2en:", "dv2latin:", "latin2dv:"], value="en2dv:")
+
+            model_choice.change(
+                fn=update_choices,
+                inputs=[model_choice],
+                outputs=[instruction]
             )
+
             gr.Markdown("""\
 **Notes:**
 - Supports translation between Dhivehi, English and Latin script
 - Model trained on news articles and common phrases
 - Translation quality may vary based on the domain of the text
 """)
+
 # Launch the app
 if __name__ == "__main__":
     #demo.launch(server_name="0.0.0.0", server_port=7811)

en_dv_latin.py

@@ -1,13 +1,14 @@
 import random
 import numpy as np
 import torch
-from transformers import T5Tokenizer, T5ForConditionalGeneration
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 import spaces
 
 
 # Available models
 MODEL_OPTIONS_TRANSLATE = {
-    "T1DV Model": "alakxender/flan-t5-base-dhivehi-en-latin",
+    "Flan-T5-B-Dhivehi-Latin Model": "alakxender/flan-t5-base-dhivehi-en-latin",
+    "MT5-B-Dhivehi-English Model": "alakxender/mt5-base-dv-en",
 }
 
 # Cache for loaded models/tokenizers
@@ -16,8 +17,8 @@ MODEL_CACHE = {}
 def get_model_and_tokenizer(model_dir):
     if model_dir not in MODEL_CACHE:
         print(f"Loading model: {model_dir}")
-        tokenizer = T5Tokenizer.from_pretrained(model_dir)
-        model = T5ForConditionalGeneration.from_pretrained(model_dir)
+        tokenizer = AutoTokenizer.from_pretrained(model_dir)
+        model = AutoModelForSeq2SeqLM.from_pretrained(model_dir)
         device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
         print(f"Moving model to device: {device}")
         model.to(device)