hwp0725/roberta-korean-hanja-stdict-mlm

RoBERTa Korean Hanja Extended - MLM 파인튜닝 모델

hwp0725/roberta-korean-hanja-stdict 베이스 모델을 한자 코퍼스로 MLM(Masked Language Modeling) 파인튜닝한 모델입니다.

모델 정보

항목	값
베이스 모델	hwp0725/roberta-korean-hanja-stdict
파라미터 수	345.1M
학습 방식	MLM (Masked Language Modeling)
에포크	3

관련 모델

모델	설명
hwp0725/roberta-korean-hanja-stdict	vocab 확장 베이스 모델 (MLM 학습 전)
hwp0725/roberta-korean-hanja-stdict-mlm	MLM 파인튜닝 완료 모델 (현재 모델)

사용법

from transformers import AutoTokenizer, AutoModelForMaskedLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("hwp0725/roberta-korean-hanja-stdict-mlm")
model = AutoModelForMaskedLM.from_pretrained("hwp0725/roberta-korean-hanja-stdict-mlm")

fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
result = fill_mask("孔子曰：學而時習之，不亦[MASK]乎")
print(result)

학습 하이퍼파라미터

항목	값
Learning rate	2e-05
Train batch size	16
Seed	42
Optimizer	AdamW (betas=(0.9,0.999), epsilon=1e-08)
LR scheduler	linear (warmup 500 steps)
Epochs	3
Mixed precision	Native AMP

프레임워크 버전

• Transformers 5.0.0
• PyTorch 2.4.1+cu124
• Datasets 4.5.0
• Tokenizers 0.22.2

라이선스

CC BY-SA 4.0