Hugging Face'te PaddleNLP Kullanımı

PaddlePaddle çerçevesinden yararlanarak PaddleNLP, harika bir önceden eğitilmiş model koleksiyonuna sahip, kullanımı kolay ve güçlü bir NLP kütüphanesidir; araştırma alanından endüstriyel uygulamalara kadar geniş bir yelpazedeki NLP görevlerini destekler.

Hub'da PaddleNLP'yi Keşfetme

modeller sayfasının sol tarafında filtreleyerek PaddleNLP modellerini bulabilirsiniz.

Hub'daki tüm modeller aşağıdaki özelliklerle birlikte gelir:

1. Keşfedilebilirliği kolaylaştıran kısa bir açıklama ve meta veri etiketlerine sahip otomatik olarak oluşturulmuş bir model kartı.
2. Modeli doğrudan tarayıcıda denemeniz için kullanabileceğiniz etkileşimli bir widget.

3. Çıkarım istekleri yapmanıza olanak tanıyan bir Inference Providers widget'ı.

4. Modelinizi Spaces üzerinde bir Gradio uygulaması olarak kolayca dağıtın.

Kurulum

Başlamak için, PaddlePaddle Framework'ü tercih ettiğiniz işletim sistemi, paket yöneticisi ve hesaplama platformuyla birlikte yüklemek için PaddlePaddle Quick Start rehberini izleyebilirsiniz.

paddlenlp, pip üzerinden tek satırlık hızlı bir kurulum sunar:

pip install -U paddlenlp

Mevcut modelleri kullanma

transformer modellerine benzer şekilde, paddlenlp kütüphanesi, from_hf_hub=True ayarını yaparak Hugging Face Hub'dan modelleri yüklemek için basit bir tek satırlık komut sunar! Kullanım amacınıza bağlı olarak, daha fazla kontrol için AutoModel ve AutoTokenizer kullanabilir veya Taskflow işleviyle yüksek seviyeli API'den yararlanabilirsiniz.

# Taskflow provides a simple end-to-end capability and a more optimized experience for inference
from paddlenlp.transformers import Taskflow
taskflow = Taskflow("fill-mask", task_path="PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

# If you want more control, you will need to define the tokenizer and model.
from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

Belirli bir modelin nasıl yükleneceğini görmek istiyorsanız, Use in paddlenlp bağlantısına tıklayabilir ve modelinizi yüklemek için kullanabileceğiniz çalışan bir kod parçası alabilirsiniz!

Modellerinizi paylaşma

PaddleNLP modellerinizi, tüm Model ve Tokenizer sınıfları altındaki save_to_hf_hub yöntemini kullanarak paylaşabilirsiniz.

from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")

Ek kaynaklar

• PaddlePaddle Kurulum kılavuzu.
• PaddleNLP GitHub Deposu.
• Hugging Face Hub'da PaddlePaddle