Model Card for chris365312/whisper-large-v3-de-at

Ein feingetuntes Whisper-large-v3 Modell für österreichisches Deutsch, trainiert mit LoRA auf dem Common Voice v14 Datensatz.

Model Details

Model Description

Dieses Modell ist eine Low-Rank-Adapter (LoRA) Feineinstellung von OpenAIs whisper-large-v3 auf auf Common Voice v14 gefiltert für österreichische Sprecher. Es liefert verbesserte Transkriptionen für Österreich-Dialekt bei minimalem zusätzlichem Ressourcenaufwand.

Developed by: Chris (GitHub: @chris365312)
Model type: Encoder-Decoder (Seq2Seq) mit Low-Rank-Adapter (PEFT/LoRA)
Language(s): Deutsch (de), spezialisiert auf österreichisches Deutsch
License: MIT
Finetuned from: openai/whisper-large-v3 (MIT License)
Training data: Mozilla Common Voice v14 (CC-0 Public Domain), Subset “locale=de” mit accent="at*" und positive Votes, 40 000 zufällig ausgewählte Clips, 16 kHz Mono WAV

Uses

Direct Use

Dieses Modell kann direkt zur Spracherkennung (Speech-to-Text) von deutschem Audio mit österreichischem Dialekt verwendet werden. Es ist ideal für:

Transkription von Interviews, Vorträgen oder Podcasts aus Österreich
Untertitelsoftware für Video- oder Audio-Inhalte in österreichischem Deutsch

Out-of-Scope Use

Andere Sprachen oder starke Dialekte außerhalb Österreichs
Echtzeit-Streaming mit hoher Latenzbegrenzung (< 1 s)
Sprachsynthese oder Sprachübersetzung

Bias, Risks, and Limitations

Bias: Getestet auf Common Voice, daher voreingenommen gegenüber dem dort vertretenen Sprecherprofil (z. B. junge, technikaffine Nutzer).
Risks: Kann bei stark abweichenden Dialekten, Akzentvariationen oder Hintergrundgeräuschen Fehler produzieren.
Limitations:
- Keine Gewährleistung für medizinische, juristische oder sicherheitskritische Anwendungen.
- Training auf 40 000 Clips → begrenzter Datensatzumfang (≈ 50 h Audio).

Recommendations

Evaluieren Sie das Modell auf einem eigenen Validation-Set (WER-Messung mit jiwer).
Pre- und Post-Processing (Rauschunterdrückung, Punctuation-Restoration) kann die finale Transkript-Qualität steigern.

How to Get Started with the Model

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import torchaudio, torch

model_id = "chris365312/whisper-large-v3-de-at"
proc     = WhisperProcessor.from_pretrained(model_id)
model    = WhisperForConditionalGeneration.from_pretrained(model_id, device_map="auto")
model.generation_config.forced_decoder_ids = None

# Beispiel: WAV-Datei laden und transkribieren
audio, sr = torchaudio.load("mein_audio.wav")
if sr != 16000:
    audio = torchaudio.functional.resample(audio, sr, 16000)

features = proc(audio.squeeze(), sampling_rate=16000, return_tensors="pt").input_features.to(model.device)
ids      = model.generate(features, language="de", task="transcribe", num_beams=6, temperature=0.0)
text     = proc.batch_decode(ids, skip_special_tokens=True)[0]
print(text)