vector2000 commited on
Commit
e5c07c8
·
verified ·
1 Parent(s): 830ed6a

Update finetunning.py

Browse files
Files changed (1) hide show
  1. finetunning.py +9 -0
finetunning.py CHANGED
@@ -1,3 +1,4 @@
 
1
  import torch
2
  from datasets import Dataset # , load_dataset
3
  from transformers import (
@@ -8,6 +9,14 @@ from transformers import (
8
  DataCollatorForLanguageModeling
9
  )
10
 
 
 
 
 
 
 
 
 
11
  # Завантаження моделі та токенізатора
12
  model_name = "facebook/opt-350m"
13
  tokenizer = AutoTokenizer.from_pretrained(model_name)
 
1
+ import os
2
  import torch
3
  from datasets import Dataset # , load_dataset
4
  from transformers import (
 
9
  DataCollatorForLanguageModeling
10
  )
11
 
12
+ # Створюємо директорії з правами на запис для всіх користувачів
13
+ os.makedirs('./cache', exist_ok=True)
14
+ os.chmod('./cache', 0o777)
15
+ os.makedirs('./results', exist_ok=True)
16
+ os.chmod('./results', 0o777)
17
+ os.makedirs('./fine_tuned_model', exist_ok=True)
18
+ os.chmod('./fine_tuned_model', 0o777)
19
+
20
  # Завантаження моделі та токенізатора
21
  model_name = "facebook/opt-350m"
22
  tokenizer = AutoTokenizer.from_pretrained(model_name)