rocketmandrey commited on
Commit
10c01c3
·
verified ·
1 Parent(s): 412c208

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +15 -20
app.py CHANGED
@@ -1,44 +1,39 @@
1
  import os
2
  import gradio as gr
3
- from transformers import (
4
- AutoConfig,
5
- AutoTokenizer,
6
- AutoModelForCausalLM
7
- )
8
 
9
- token = os.environ.get("HF_HUB_TOKEN")
10
 
11
- # 1) Сначала загружаем конфиг с доверительным исполнением кода
12
  config = AutoConfig.from_pretrained(
13
  "MeiGen-AI/MeiGen-MultiTalk",
14
- trust_remote_code=True,
15
- use_auth_token=token
16
  )
17
 
18
- # 2) Затем токенизатор
19
  tokenizer = AutoTokenizer.from_pretrained(
20
  "MeiGen-AI/MeiGen-MultiTalk",
21
- trust_remote_code=True,
22
- use_auth_token=token
23
  )
24
 
25
- # 3) Наконец, модель, передаём ей заранее загруженный config
26
  model = AutoModelForCausalLM.from_pretrained(
27
  "MeiGen-AI/MeiGen-MultiTalk",
28
  config=config,
29
- trust_remote_code=True,
30
- use_auth_token=token
31
  )
32
 
33
- def generate(text: str) -> str:
34
  inputs = tokenizer(text, return_tensors="pt").to(model.device)
35
- outputs = model.generate(**inputs, max_new_tokens=100)
36
- return tokenizer.decode(outputs[0], skip_special_tokens=True)
37
 
38
  iface = gr.Interface(
39
  fn=generate,
40
- inputs=gr.Textbox(lines=3, placeholder="Введите текст…"),
41
  outputs="text",
42
- title="MeiGen-MultiTalk Demo"
43
  )
44
  iface.launch()
 
1
  import os
2
  import gradio as gr
3
+ from transformers import AutoConfig, AutoTokenizer, AutoModelForCausalLM
 
 
 
 
4
 
5
+ HF_TOKEN = os.environ["HF_HUB_TOKEN"]
6
 
7
+ # 1. Загружаем конфиг с доверительным исполнением кода
8
  config = AutoConfig.from_pretrained(
9
  "MeiGen-AI/MeiGen-MultiTalk",
10
+ trust_remote_code=True, # 🚩 вот здесь
11
+ token=HF_TOKEN
12
  )
13
 
14
+ # 2. Токенизатор
15
  tokenizer = AutoTokenizer.from_pretrained(
16
  "MeiGen-AI/MeiGen-MultiTalk",
17
+ trust_remote_code=True, # и здесь
18
+ token=HF_TOKEN
19
  )
20
 
21
+ # 3. Модель
22
  model = AutoModelForCausalLM.from_pretrained(
23
  "MeiGen-AI/MeiGen-MultiTalk",
24
  config=config,
25
+ trust_remote_code=True, # и здесь
26
+ token=HF_TOKEN
27
  )
28
 
29
+ def generate(text):
30
  inputs = tokenizer(text, return_tensors="pt").to(model.device)
31
+ out = model.generate(**inputs, max_new_tokens=100)
32
+ return tokenizer.decode(out[0], skip_special_tokens=True)
33
 
34
  iface = gr.Interface(
35
  fn=generate,
36
+ inputs="text",
37
  outputs="text",
 
38
  )
39
  iface.launch()