Upload 3 files

README.md

@@ -1,13 +1,41 @@
----
-title: Huggingface Docs Translation Tracker
-emoji: 🦀
-colorFrom: pink
-colorTo: indigo
-sdk: gradio
-sdk_version: 5.23.3
-app_file: app.py
-pinned: false
-license: apache-2.0
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# Transformers 문서 번역 추적기
+
+HuggingFace Transformers 레포지토리의 문서 번역 상태를 추적하는 Gradio 애플리케이션입니다.
+
+## 기능
+
+- Transformers 레포지토리 자동 클론
+- 영어 문서와 한국어 번역 문서 비교
+- 번역 상태 확인: 미번역, 번역됨, 업데이트 필요
+- 번역이 필요한 문서와 업데이트가 필요한 문서 목록 제공
+
+## 번역 상태 판단 기준
+
+1. 문서 원문 경로: `docs/source/en/<title>.md`
+2. 번역 문서 경로: `docs/source/ko/<title>.md`
+3. 번역 문서가 존재하지 않으면 미번역
+4. 번역 문서가 존재하면 번역됨 
+5. 원본 문서의 커밋 시간이 번역 문서의 커밋 시간보다 최신이면 업데이트 필요
+
+## 설치 및 실행
+
+```bash
+# 의존성 설치
+pip install -e .
+
+# 애플리케이션 실행
+python main.py
+```
+
+## 사용법
+
+1. "레포지토리 클론" 버튼을 클릭하여 Transformers 레포지토리를 클론합니다.
+2. "번역 상태 확인" 버튼을 클릭하여 번역 상태를 확인합니다.
+3. 탭을 전환하여 전체 문서, 번역 필요, 업데이트 필요 문서를 확인합니다.
+4. 작업 완료 후 "정리" 버튼을 클릭하여 임시 파일을 정리합니다.
+
+## 요구사항
+
+- Python 3.11 이상
+- Gradio 4.0.0 이상
+- GitPython 3.1.0 이상

main.py

@@ -0,0 +1,198 @@
+import os
+import gradio as gr
+import git
+import tempfile
+import shutil
+from datetime import datetime
+from typing import List, Dict, Tuple, Optional
+import re
+
+class TranslationTracker:
+    def __init__(self):
+        self.repo_url = "https://github.com/huggingface/transformers.git"
+        self.repo_path = None
+        self.en_docs_path = None
+        self.ko_docs_path = None
+        self.repo = None
+
+    def clone_repo(self, progress=gr.Progress()):
+        """Transformers 레포지토리를 클론합니다."""
+        try:
+            # 임시 디렉토리 생성
+            temp_dir = tempfile.mkdtemp()
+            progress(0.1, desc="레포지토리 클론 준비 중...")
+            
+            # depth=1로 shallow clone 수행 (더 빠름)
+            progress(0.2, desc="레포지토리 클론 중...")
+            self.repo = git.Repo.clone_from(self.repo_url, temp_dir, depth=1)
+            self.repo_path = temp_dir
+            
+            # 문서 경로 설정
+            self.en_docs_path = os.path.join(self.repo_path, "docs", "source", "en")
+            self.ko_docs_path = os.path.join(self.repo_path, "docs", "source", "ko")
+            
+            progress(1.0, desc="레포지토리 클론 완료")
+            return f"레포지토리 클론 완료: {self.repo_path}"
+        except Exception as e:
+            return f"레포지토리 클론 실패: {str(e)}"
+
+    def cleanup(self):
+        """임시 디렉토리 정리"""
+        if self.repo_path and os.path.exists(self.repo_path):
+            shutil.rmtree(self.repo_path)
+            self.repo_path = None
+            self.repo = None
+    
+    def get_last_commit_date(self, file_path: str) -> Optional[datetime]:
+        """파일의 마지막 커밋 날짜를 가져옵니다."""
+        try:
+            # 파일이 존재하지 않으면 None 반환
+            if not os.path.exists(file_path):
+                return None
+            
+            # 파일의 상대 경로 구하기
+            rel_path = os.path.relpath(file_path, self.repo_path)
+            
+            # 마지막 커밋 정보 찾기
+            for commit in self.repo.iter_commits(paths=rel_path, max_count=1):
+                return commit.committed_datetime
+            
+            return None
+        except Exception:
+            return None
+    
+    def get_translation_status(self, progress=gr.Progress()) -> List[Dict]:
+        """모든 영어 문서와 해당하는 한글 번역 상태를 확인합니다."""
+        if not self.repo_path:
+            return [{"error": "레포지토리가 클론되지 않았습니다. 먼저 클론을 수행하세요."}]
+        
+        results = []
+        en_md_files = []
+        
+        # 영어 마크다운 파일 수집
+        progress(0.1, desc="영어 문서 스캔 중...")
+        for root, _, files in os.walk(self.en_docs_path):
+            for file in files:
+                if file.endswith(".md"):
+                    en_md_files.append(os.path.join(root, file))
+        
+        total_files = len(en_md_files)
+        
+        # 각 파일에 대한 번역 상태 확인
+        for i, en_file in enumerate(en_md_files):
+            progress((i + 1) / total_files, desc=f"번역 상태 확인 중 ({i+1}/{total_files})...")
+            
+            # 상대 경로 계산 (docs/source/en 이후 부분)
+            rel_path = os.path.relpath(en_file, self.en_docs_path)
+            ko_file = os.path.join(self.ko_docs_path, rel_path)
+            
+            # 파일 이름 추출
+            file_name = os.path.basename(en_file)
+            
+            # 영어 문서 마지막 커밋 날짜
+            en_commit_date = self.get_last_commit_date(en_file)
+            
+            # 번역 문서 마지막 커밋 날짜
+            ko_commit_date = self.get_last_commit_date(ko_file)
+            
+            # 번역 상태 결정
+            if ko_commit_date is None:
+                status = "미번역"
+                outdate = False
+            else:
+                if en_commit_date > ko_commit_date:
+                    status = "번역됨 (업데이트 필요)"
+                    outdate = True
+                else:
+                    status = "번역됨 (최신)"
+                    outdate = False
+            
+            # 결과 추가
+            results.append({
+                "file_name": file_name,
+                "en_path": rel_path,
+                "ko_path": rel_path if os.path.exists(ko_file) else "없음",
+                "en_last_commit": en_commit_date.strftime("%Y-%m-%d %H:%M:%S") if en_commit_date else "알 수 없음",
+                "ko_last_commit": ko_commit_date.strftime("%Y-%m-%d %H:%M:%S") if ko_commit_date else "없음",
+                "status": status,
+                "outdate": outdate
+            })
+        
+        # 파일명으로 정렬
+        results.sort(key=lambda x: x["file_name"])
+        return results
+
+def create_ui():
+    """Gradio UI 생성"""
+    tracker = TranslationTracker()
+    
+    with gr.Blocks(title="Transformers 문서 번역 추적기") as app:
+        gr.Markdown("# Transformers 문서 번역 추적기")
+        gr.Markdown("HuggingFace Transformers 레포지토리의 문서 번역 상태를 확인합니다.")
+        
+        with gr.Row():
+            clone_btn = gr.Button("레포지토리 클론", variant="primary")
+            status_btn = gr.Button("번역 상태 확인", variant="secondary")
+            cleanup_btn = gr.Button("정리", variant="stop")
+        
+        status_output = gr.Textbox(label="상태")
+        
+        with gr.Tabs():
+            with gr.TabItem("모든 문서"):
+                all_table = gr.DataFrame(
+                    headers=["파일명", "영어 경로", "한글 경로", "영어 마지막 커밋", "한글 마지막 커밋", "상태"], 
+                    datatype=["str", "str", "str", "str", "str", "str"],
+                    label="번역 상태"
+                )
+            
+            with gr.TabItem("번역 필요"):
+                untranslated_table = gr.DataFrame(
+                    headers=["파일명", "영어 경로", "상태"], 
+                    datatype=["str", "str", "str"],
+                    label="번역이 필요한 문서"
+                )
+            
+            with gr.TabItem("업데이트 필요"):
+                outdated_table = gr.DataFrame(
+                    headers=["파일명", "영어 경로", "영어 마지막 커밋", "한글 마지막 커밋"], 
+                    datatype=["str", "str", "str", "str"],
+                    label="업데이트가 필요한 문서"
+                )
+        
+        # 이벤트 핸들러
+        clone_btn.click(tracker.clone_repo, outputs=status_output)
+        
+        def process_translation_status():
+            results = tracker.get_translation_status()
+            if results and "error" in results[0]:
+                return status_output.update(results[0]["error"]), None, None, None
+            
+            # 전체 데이터
+            all_data = [[r["file_name"], r["en_path"], r["ko_path"], r["en_last_commit"], r["ko_last_commit"], r["status"]] for r in results]
+            
+            # 미번역 데이터
+            untranslated = [[r["file_name"], r["en_path"], r["status"]] for r in results if r["status"] == "미번역"]
+            
+            # 업데이트 필요 데이터
+            outdated = [[r["file_name"], r["en_path"], r["en_last_commit"], r["ko_last_commit"]] for r in results if r["outdate"]]
+            
+            return "번역 상태 조회 완료", all_data, untranslated, outdated
+        
+        status_btn.click(
+            process_translation_status,
+            outputs=[status_output, all_table, untranslated_table, outdated_table]
+        )
+        
+        cleanup_btn.click(
+            lambda: (tracker.cleanup(), "정리 완료"),
+            outputs=status_output
+        )
+    
+    return app
+
+def main():
+    app = create_ui()
+    app.launch()
+
+if __name__ == "__main__":
+    main()

requirements.txt

@@ -0,0 +1,2 @@
+gradio>=4.0.0
+gitpython>=3.1.0