Hub documentation
Sử dụng PEFT trên Hugging Face
Sử dụng PEFT trên Hugging Face
🤗 Parameter-Efficient Fine-Tuning (PEFT) là một thư viện để thích ứng hiệu quả các mô hình ngôn ngữ được huấn luyện trước cho nhiều ứng dụng hạ nguồn khác nhau mà không cần tinh chỉnh tất cả các tham số của mô hình.
Khám phá PEFT trên Hub
Bạn có thể tìm các mô hình PEFT bằng cách lọc ở phía bên trái của trang models.
Cài đặt
Để bắt đầu, bạn có thể xem Quick Tour trong tài liệu PEFT. Để cài đặt, hãy làm theo hướng dẫn cài đặt PEFT. Bạn cũng có thể sử dụng lệnh cài đặt một dòng sau đây thông qua pip:
$ pip install peftSử dụng các mô hình có sẵn
Tất cả các mô hình PEFT đều có thể được tải từ Hub. Để sử dụng một mô hình PEFT, bạn cũng cần tải mô hình gốc đã được tinh chỉnh, như minh họa bên dưới. Mỗi mô hình đã tinh chỉnh đều có mô hình gốc được nêu trong thẻ mô hình (model card) của nó.
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel, PeftConfig
base_model = "mistralai/Mistral-7B-v0.1"
adapter_model = "dfurman/Mistral-7B-Instruct-v0.2"
model = AutoModelForCausalLM.from_pretrained(base_model)
model = PeftModel.from_pretrained(model, adapter_model)
tokenizer = AutoTokenizer.from_pretrained(base_model)
model = model.to("cuda")
model.eval()Sau khi tải xong, bạn có thể truyền các đầu vào của mình vào tokenizer để chuẩn bị, và gọi model.generate() theo cách thông thường của transformers.
inputs = tokenizer("Tell me the recipe for chocolate chip cookie", return_tensors="pt")
with torch.no_grad():
outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=10)
print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0])Nó in ra kết quả sau:
Tell me the recipe for chocolate chip cookie dough. 1. Preheat oven to 375 degrees F (190 degrees C). 2. In a large bowl, cream together 1/2 cup (1 stick) of butter or margarine, 1/2 cup granulated sugar, and 1/2 cup packed brown sugar. 3. Beat in 1 egg and 1 teaspoon vanilla extract. 4. Mix in 1 1/4 cups all-purpose flour. 5. Stir in 1/2 teaspoon baking soda and 1/2 teaspoon salt. 6. Fold in 3/4 cup semisweet chocolate chips. 7. Drop by
Nếu bạn muốn tải một mô hình PEFT cụ thể, bạn có thể nhấp vào Use in PEFT trong thẻ mô hình và bạn sẽ nhận được một đoạn mã hoạt động!
