Spaces:
Paused
Paused
Update finetunning.py
Browse files- finetunning.py +13 -1
finetunning.py
CHANGED
@@ -1,6 +1,7 @@
|
|
1 |
import os
|
|
|
2 |
import torch
|
3 |
-
from datasets import Dataset
|
4 |
from transformers import (
|
5 |
AutoTokenizer,
|
6 |
AutoModelForCausalLM,
|
@@ -9,6 +10,8 @@ from transformers import (
|
|
9 |
DataCollatorForLanguageModeling
|
10 |
)
|
11 |
|
|
|
|
|
12 |
# Створюємо директорії з правами на запис для всіх користувачів
|
13 |
os.makedirs('./cache', exist_ok=True)
|
14 |
os.chmod('./cache', 0o777)
|
@@ -65,5 +68,14 @@ trainer = Trainer(
|
|
65 |
# Запуск fine-tuning
|
66 |
trainer.train()
|
67 |
|
|
|
|
|
68 |
# Зберігання моделі
|
69 |
trainer.save_model("./fine_tuned_model")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
import os
|
2 |
+
import time
|
3 |
import torch
|
4 |
+
from datasets import Dataset
|
5 |
from transformers import (
|
6 |
AutoTokenizer,
|
7 |
AutoModelForCausalLM,
|
|
|
10 |
DataCollatorForLanguageModeling
|
11 |
)
|
12 |
|
13 |
+
start_time = time.time()
|
14 |
+
|
15 |
# Створюємо директорії з правами на запис для всіх користувачів
|
16 |
os.makedirs('./cache', exist_ok=True)
|
17 |
os.chmod('./cache', 0o777)
|
|
|
68 |
# Запуск fine-tuning
|
69 |
trainer.train()
|
70 |
|
71 |
+
print("LLM is finetunned");
|
72 |
+
|
73 |
# Зберігання моделі
|
74 |
trainer.save_model("./fine_tuned_model")
|
75 |
+
|
76 |
+
end_time = time.time()
|
77 |
+
|
78 |
+
training_time = end_time - start_time
|
79 |
+
print(f"Донавчання зайняло {training_time:.2f} секунд")
|
80 |
+
|
81 |
+
print("Донавчання пройшло вдало, модель сбережена у './fine_tuned_model'")
|