te-sla/sum600

Qwen3-0.6B - sumarizacija
Модел за сумаризацију заснован на Qwen3 моделу - 600 милиона параметара	Summarization model based on Qwen3 model - 600 million parameters

>>> from transformers import Qwen3ForCausalLM, Qwen2TokenizerFast
>>> import torch

>>> device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
>>> model = Qwen3ForCausalLM.from_pretrained("te-sla/sum600")
>>> model.to(device)
>>> model.eval()
>>> tokenizer = Qwen2TokenizerFast.from_pretrained("te-sla/sum600", padding_side="left")
>>> eos_token = "<|endoftext|>"
>>> tokenizer.pad_token = eos_token
>>> tokenizer.pad_token_id = tokenizer.convert_tokens_to_ids(tokenizer.pad_token)
>>> tokenizer.eos_token = tokenizer.pad_token
>>> tokenizer.eos_token_id = tokenizer.pad_token_id
>>> tokenizer.padding_side = "left"

>>> text = "Trombofilija nastaje kao rezultat kompleksne interakcije između negenetičkih i genetičkih faktora rizika koji hemostaznu ravnotežu pomeraju u smeru hiperkoagulacije i dovode do pojave tromboze. Veoma značajan faktor rizika za nastanak trombofilije je deficijencija inhibitora koagulacije: antitrombina, proteina C ili proteina S. Veliki korak u razumevanju genetičke osnove i molekularne dijagnostike trombofilije napravljen je otkrićem rezistencije na aktivirani protein C i faktor V Leiden mutacije. Ubrzo je otkrivena i varijanta u 3'-nekodirajucem regionu gena za faktor II (FII G20210A), za koju je pokazano da dovodi do povišene koncentracije protrombina u plazmi. Ove dve genske varijante su najučestaliji genetički faktori rizika za nastanak trombofilije. Nedavno je opisana nova mutacija u genu za protrombin (c.1787G gt T) za koju je pokazano da dovodi do rezistencije na antitrombin, odnosno do smanjene mogućnosti inaktivacije mutiranog trombina od strane antitrombina, sto predstavlja novi mehanizam za nastanak trombofilije. U toku poslednjih decenija, opisan je veliki broj genetičkih faktora rizika za nastanak trombofilije, uključuju}i one koji dovode do: nedostatka inhibitora koagulacije, povećanog nivoa ili smanjene inaktivacije koagulacionih faktora ili defekata sistema za fibrinolizu. Međutim, većina njih nije od dijagnostičke važnosti zbog njihovog malog ili još uvek nepoznatog uticaja na etiologiju trombofilije. Primena novih tehnologija koje omogućavaju analizu velikog broja gena kod jednog pacijenta otvoriće mogućnost individualnog utvrđivanja genetičkih faktora rizika, samim tim i adekvatan terapeutski pristup."
>>> text += eos_token
>>> inputs = tokenizer(text, return_tensors="pt", padding="longest", truncation=True, max_length=1024)
>>> inputs = {k: v.to(device) for k, v in inputs.items()}
>>> prompt_length = inputs["input_ids"].shape[1]

>>> with torch.no_grad():
>>>     generated_ids = model.generate(
>>>     input_ids=inputs["input_ids"],
>>>     attention_mask=inputs["attention_mask"],
>>>     max_new_tokens=200,
>>>     no_repeat_ngram_size=3,
>>>     num_beams=6,
>>>     min_length = 50,
>>>     length_penalty = 0,
>>>     early_stopping = True,
>>>     pad_token_id = tokenizer.pad_token_id,
>>>     eos_token_id = tokenizer.pad_token_id)

>>> generated_ids = generated_ids.cpu()
>>> decoded_output = tokenizer.decode(generated_ids[0][prompt_length:], skip_special_tokens=True).strip()

>>> print(decoded_output)

>>> Nova mutacija kod gena za prodovebina omogućava rezibilnost na antidovebina, što je ključno za mehanizme nastanka trombozi.

Author

Mihailo Škorić

@procesaur

Computation

TESLA project

@te-sla

Истраживање jе спроведено уз подршку Фонда за науку Републике Србиjе, #7276, Text Embeddings – Serbian Language Applications – TESLA

This research was supported by the Science Fund of the Republic of Serbia, #7276, Text Embeddings - Serbian Language Applications - TESLA