Distilabel

Distilabel은 검증된 연구 논문을 기반으로 빠르고 신뢰할 수 있으며 확장 가능한 파이프라인이 필요한 엔지니어를 위한 합성 데이터 및 AI 피드백 프레임워크입니다.

Distilabel은 전통적인 예측형 NLP(분류, 추출 등)부터 생성형 및 대규모 언어 모델 시나리오(지시 따르기, 대화 생성, 판단 등)까지 다양한 프로젝트에서 합성 데이터 및 AI 피드백 생성에 사용할 수 있습니다. Distilabel의 프로그래밍 방식은 확장 가능한 데이터 생성 및 AI 피드백 파이프라인 구축을 가능하게 합니다. distilabel의 목표는 검증된 연구 방법론에 기반한 AI 피드백 생성 및 판단을 통해 고품질이고 다양한 데이터셋을 빠르게 생성하여 AI 개발을 가속화하는 것입니다.

사람들은 distilabel로 무엇을 만드나요?

Argilla 커뮤니티는 distilabel을 사용하여 놀라운 데이터셋과 모델을 생성합니다.

• 1M OpenHermesPreference는 teknium/OpenHermes-2.5 LLM을 사용하여 생성된 약 100만 개의 AI 선호도 데이터로 구성된 데이터셋입니다. distilabel을 활용하여 데이터셋 개발을 확장하고 규모를 키울 수 있는 훌륭한 예시입니다.
• distilabeled Intel Orca DPO dataset는 improved OpenHermes model을 fine-tune하는 데 사용되었습니다. 이 데이터셋은 Argilla의 human curation과 distilabel의 AI feedback을 결합하여 구축되었으며, Intel Orca dataset의 개선된 버전으로, 원본 데이터셋으로 fine-tune된 모델보다 우수한 성능을 발휘합니다.
• haiku DPO 데이터는 누구나 특정 작업을 위한 합성 데이터셋을 만들 수 있는 예시이며, 이 데이터셋은 큐레이션과 평가를 거친 후 맞춤형 LLM의 파인튜닝에 사용할 수 있습니다.

필수 조건

먼저 Hugging Face 계정으로 로그인합니다:

hf auth login

distilabel이 설치되어 있는지 확인하세요:

pip install -U distilabel[vllm]

Distilabel 파이프라인

Distilabel 파이프라인은 서로 연결된 여러 단계나 작업으로 구성할 수 있습니다. 한 단계 또는 작업의 출력은 다른 단계의 입력으로 전달됩니다. 여러 단계를 연결하여 LLM을 활용한 복잡한 데이터 처리 및 생성 파이프라인을 구축할 수 있습니다. 각 단계의 입력은 데이터 배치이며, 데이터셋의 각 행을 나타내는 사전의 목록을 포함합니다. 이때 사전의 키는 열 이름입니다. Hugging Face 허브에서 데이터를 가져오고 보내기 위해 datasets.DatasetDict의 추상화로 Distiset 클래스를 정의했습니다.

Distiset를 데이터셋 객체로

distilabel의 Pipeline은 Distiset이라고 불리는 Hugging Face의 datasets.DatasetDict 특수 유형을 반환합니다.

Pipeline은 Distiset에서 여러 하위 집합을 출력할 수 있으며, Distiset은 하위 집합별로 하나의 항목을 가진 사전과 유사한 객체입니다. 이후 Distiset은 모든 하위 집합이 동일한 저장소에 포함되도록 Hugging Face Hub에 원활하게 업로드할 수 있습니다.

Hub에서 Distiset으로 데이터를 로드

Hub에서 데이터를 로드하는 예시를 보여주기 위해, Prometheus 2 논문을 재현하고 distilabel에 구현된 PrometheusEval 작업을 사용합니다. Prometheus 2와 Prometheuseval 작업은 각각 직접 평가(direct assessment)와 쌍별 랭킹(pairwise ranking) 작업입니다. 즉, 주어진 지시어에 대해 참조 답변이 있거나 없는 상태에서 단일 격리된 응답의 품질을 평가하는 작업과, 주어진 지시어에 대해 참조 답변이 있거나 없는 상태에서 한 응답을 다른 응답과 비교하여 품질을 평가하는 작업입니다. Hugging Face H4 팀이 만든 HuggingFaceH4/instruction-dataset이라는 이름의 Hub에서 로드한 데이터셋에 이 작업들을 적용할 것입니다.

from distilabel.llms import vLLM
from distilabel.pipeline import Pipeline
from distilabel.steps import KeepColumns, LoadDataFromHub
from distilabel.steps.tasks import PrometheusEval

if __name__ == "__main__":
    with Pipeline(name="prometheus") as pipeline:
        load_dataset = LoadDataFromHub(
            name="load_dataset",
            repo_id="HuggingFaceH4/instruction-dataset",
            split="test",
            output_mappings={"prompt": "instruction", "completion": "generation"},
        )

        task = PrometheusEval(
            name="task",
            llm=vLLM(
                model="prometheus-eval/prometheus-7b-v2.0",
                chat_template="[INST] {{ messages[0]['content'] }}\n{{ messages[1]['content'] }}[/INST]",
            ),
            mode="absolute",
            rubric="factual-validity",
            reference=False,
            num_generations=1,
            group_generations=False,
        )

        keep_columns = KeepColumns(
            name="keep_columns",
            columns=["instruction", "generation", "feedback", "result", "model_name"],
        )

        load_dataset >> task >> keep_columns

그런 다음 런타임 매개변수를 지정하여 pipeline.run을 호출해야 합니다. 이를 통해 파이프라인이 시작되고 데이터가 Distiset 객체에 저장됩니다.

distiset = pipeline.run(
    parameters={
        task.name: {
            "llm": {
                "generation_kwargs": {
                    "max_new_tokens": 1024,
                    "temperature": 0.7,
                },
            },
        },
    },
)

Hub에 distilabel Distiset 업로드

Distiset을 Hugging Face 저장소에 푸시하면 각 서브셋이 서로 다른 구성에 대응합니다:

distiset.push_to_hub(
    "my-org/my-dataset",
    commit_message="Initial commit",
    private=False,
    token=os.getenv("HF_TOKEN"),
)

📚 리소스

• 🚀 Distilabel 문서
• 🚀 Distilabel 문서 - distiset
• 🚀 Distilabel 문서 - prometheus
• 🆕 distilabel 소개