safora/persian-science-qa-e5-large

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: علم مواد چگونه می\u200cتواند به بهبود خواص مکانیکی مواد در صنایع مختلف کمک کند و چه تحقیقات جدیدی در این زمینه انجام شده است؟',
    'passage: آسیب فرآیندی است برگشت ناپذیر که با کاهش تدریجی مقاومت مکانیکی، زوال ماده را به دنبال دارد. مکانیک آسیب شاخه\u200cای از مکانیک جامدات است که عوامل مکانیکی ناظر بر گسیختگی ماده تحت بارگذاری\u200cهای مختلف را مورد مطالعه قرار می\u200cدهد. خستگی گونه ای از آسیب بوده که می تواند منجر به شکست ناگهانی قطعات گردد. بارگذاری خستگی در اثر تنش های چرخه ای که کمتر از تنش کششی نهایی یا حتی تنش تسلیم هستند، نتیجه می شود. نام خستگی بر اساس این مفهوم است که یک ماده تحت بارگذاری تکرار شونده خسته شده و در سطح تنش زیر مقاومت اسمی ماده وامانده می شود. عمر خستگی یک قطعه می تواند به صورت تعداد چرخه های بارگذاری لازم برای شروع یک ترک و گسترش آن تا اندازه بحرانی بیان شود. بنابراین می توان گفت که واماندگی خستگی در سه مرحله اتفاق می افتد: شروع ترک، رشد ترک آهسته-پایدار و شکست سریع. برای شروع ترک های خستگی سه عامل اساسی لازم است: اولاً الگوی بارگذاری باید شامل مقادیر اوج بیشینه و کمینه با اختلاف یا نوسان به حد کافی بزرگ باشد. مقادیر اوج ممکن است در کشش یا فشار بوده و یا بر حسب زمان تغییر کنند، اما چرخه بارگذاری معکوس شونده برا',
    'passage: به منظور شناسایی قارچ\u200cهای عامل لکه دوده\u200cا\u200cی و فضله\u200c مگسی در استان گیلان، نمونه\u200cهای مشکوک و دارای علائم از نقاط مختلف استان گیلان طی ماه های تیر الی مهر 92 و 93، جمع آوری و مورد بررسی قرار گرفتند. این قارچ\u200cها پس از بررسی\u200cهای ریخت شناسی، با بهره\u200cگیری از نوشته\u200cها و منابع معتبر موجود شناسایی شدند. براساس نتایج به دست آمده گونه\u200cهای Microcyclosporella mali،Zasmidium sp.  و Zygophiala jamaicensis شناسایی شدند. براساس خصوصیات مرفولوژیکی و توالی نواحی ITS و TEF، احتمالاZasmidium sp.  گونه جدیدی می\u200cباشد. گونهZasmidium sp.  با داشتن کنیدیوفورهای بلند، راست تا کمی خمیده، کنیدیوم\u200cهای متنوع در شکل و اندازه و وجود راماکنیدیوم\u200cهای اولیه از بقیه گونه\u200cهای نزدیک (Z. angulare، Z. cellare، Z. noxoci و Z. citri) متمایز می\u200cگردد. همه این گونه\u200cها از روی میوه\u200cهای آلوده سیب، گلابی و خوج (گلابی محلی در استان گیلان) در استان گیلان جداسازی و خالص سازی شدند و برای اولین بار از ایران گزارش می\u200cشوند.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: sts-validation
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8943
spearman_cosine	0.8919

Training Details

Training Dataset

Unnamed Dataset

• Size: 31,837 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 15 tokens mean: 25.87 tokens max: 46 tokens	min: 67 tokens mean: 268.53 tokens max: 344 tokens	min: 0.0 mean: 0.57 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  query: روش‌های فتوگرامتری چگونه به بهبود دقت مدل‌های عوارض در مناطق شهری کمک می‌کنند؟	passage: روش‌های فتوگرامتری و سنجش از دور با توجه به وسعت منطقه تحت پوشش از یک طرف و نیز دقت قابل قبول این روش‌ها از طرف دیگر، به عنوان روش‌های مناسب جهت تولید و بهنگام رسانی اطلاعات مکانی شناخته شده‌اند. در حال حاضر یکی از زمینه‌های تحقیقاتی مهم در این رابطه کاهش نقش اپراتور انسانی در استخراج و بازسازی مدل عوارض از داده‌های مختلفی چون تصویر رقومی و داده-های ارتفاعی با بکارگیری الگوریتم‌های مختلف پردازش تصویر است.
  با توجه به تعداد زیاد ساختمان‌ها در مناطق شهری دستیابی به یک مدل یا الگوریتم جهت استخراج و بازسازی اتوماتیک این عارضه از داده‌های هوایی و ماهواره‌ای می‌تواند نقش انسان را در تولید اطلاعات مکانی بزرگ مقیاس شهری به حداقل رسانده و هزینه و زمان تولید آنها را به شدت کاهش دهد. منحنی‌های پویا به عنوان یکی از روش‌های مبتنی بر مدل‌های ریاضی با بکارگیری اطلاعات گرادیان و یا اطلاعات طیفی تصویر، یکی از روش‌های پرکاربرد در زمینه استخراج اتوماتیک عوارض از تصویر به شمار می‌روند. یکی از مشکلات اغلب مدل‌های منحنی‌های پویا موجود در زمینه استخراج ساختمان، عدم استفاده از اطلاعات و هوش انسانی د...	1.0
  query: نتایج اصلی این تحقیق چه تأثیری بر روند شیرین‌سازی گاز طبیعی دارند؟	passage: استفاده از غشا به منظور شیرین‌سازی گاز طیبعی یکی از فرآیندهای اساسی است که در سال‌های اخیر مورد توجه فراوانی قرار گرفته است. مطالعات انجام شده نشان می‌دهد که غشاهای شبکه آمیخته از پتانسیل بالایی در این زمینه برخوردارند. در این پژوهش غشاهای جداسازی گاز آمیزه‌ای پلی‌ایمید/ پلی‌اتیلن گلایکول و شبکه آمیخته‌ای پلی‌ایمید/ پلی‌اتیلن گلایکول- زئولیت ZSM-5 به روش تبخیر حلال تهیه گردیدند. با افزایش 5-1 درصد وزنی پلی‌اتیلن گلایکول تروایی گاز دی‌اکسید کربن و گزینش‌پذیری زوج گاز دی‌اکسید کربن/ متان در فشار 10 بار از Barrer 6898/7 و 7419/33 در غشای ماتریمید خالص به Barrer 5748/9 و 8452/39 در غشای حاوی %5 پلی‌اتیلن گلایکول افزایش یافت. آزمون FT-IR وجود پیوندهای ضعیف هیدروژنی میان دو پلیمر و آزمون DSC نیمه امتزاج‌پذیر بودن آمیزه‌های پلیمری را نشان دادند. نتایج آزمون SEM افزایش تخلخل غشا را با افزایش درصد وزنی پلی‌اتیلن گلایکول تائید کرد. از زئولیت ZSM-5 کلسینه شده به منظور ساخت غشاهای شبکه آمیخته استفاده شد. حضور همزمان پلی‌اتیلن گلایکول و زئولیت ZSM-5 تا %5 وزنی در شبکه پلی‌ایمیدی، افزایش قا...	1.0
  query: فرآیند پیش‌سرمایش چگونه می‌تواند بر روی دیگر محصولات باغی نیز تأثیر بگذارد؟	passage: از جمله عملیاتی که نقش موثری در افزایش عمر قفسه‌ای و کاهش ضایعات محصولات باغی دارد، فرآیند پیش‌سرمایش است. علی‌رغم اینکه در حال حاضر فرآیند پیش‌سرمایش در سطح دنیا بر روی توت‌فرنگی انجام می‌شود، ولی افت این محصول به دلیل سرمایش غیریکنواخت، هنوز قابل توجه است. هدف از این تحقیق، توسعه سامانه جدید برای پیش‌سرمایش توت‌فرنگی است که بتواند غیریکنواختی سرمایش میوه‌ها را به حداقل برساند که نتیجه آن کاهش افت محصول و مصرف انرژی فرآیند است. در این تحقیق، ابتدا با حل معادلات پیوستگی و انتقال ممنتوم برای فاز سیال و انتقال گرما برای فاز سیال و محصول بصورت توام و به روش اجزای محدود در محیط نرم‌افزار COMSOL MULTIPHYSICS و در فضای جعبه‌های طراحی شده، الگوی جریان هوا در داخل جعبه‌ها و سینی حاوی جعبه‌ها به صورت سه بعدی شبیه‌سازی شد. با اعمال تغییرات مناسب در طراحی جعبه، سینی و الگوی هوادهی، سامانه جدیدی تحت عنوان سامانه پیش‌سرمایش موازی برای توت‌فرنگی معرفی گردید که قادر است هوای سرد را بصورت یکنواخت و با دمای یکسان به کلیه جعبه‌ها در داخل هر سینی انتقال دهد و موجب سرمایش یکنواخت میوه‌ها در جعبه‌...	0.6666666666666666

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	sts-validation_spearman_cosine
0.1256	500	0.0613	0.8480
0.2513	1000	0.0376	0.8698
0.3769	1500	0.0341	0.8751
0.5025	2000	0.0308	0.8780
0.6281	2500	0.0296	0.8837
0.7538	3000	0.0281	0.8892
0.8794	3500	0.0289	0.8888
1.0	3980	-	0.8919

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.7.1+cu118
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}