Update goai_helpers/goai_traduction.py
Browse files
goai_helpers/goai_traduction.py
CHANGED
@@ -32,6 +32,7 @@ def goai_traduction(text, src_lang, tgt_lang):
|
|
32 |
|
33 |
# Tokenisation
|
34 |
inputs = tokenizer(text, return_tensors="pt", truncation=False).to(device)
|
|
|
35 |
|
36 |
# ID du token de langue cible
|
37 |
tgt_lang_id = tokenizer.convert_tokens_to_ids(tgt_lang)
|
|
|
32 |
|
33 |
# Tokenisation
|
34 |
inputs = tokenizer(text, return_tensors="pt", truncation=False).to(device)
|
35 |
+
print("Nombre de tokens :", inputs["input_ids"].shape[1])
|
36 |
|
37 |
# ID du token de langue cible
|
38 |
tgt_lang_id = tokenizer.convert_tokens_to_ids(tgt_lang)
|