사용자 연구

모델 카드 대상 및 사용 사례

모델 문서화 도구(데이터 카드 등)의 현황을 조사하는 과정에서, 다양한 이해관계자들이 기존 인프라를 활용하여 자신들이 필요한 도메인에 초점을 맞춘 정보를 담은 일종의 모델 카드를 생성하는 방식을 확인했습니다.

그 예로 ‘비즈니스 분석가’나 B2B 및 내부 전용 대상에 초점을 맞추는 사람들을 들 수 있습니다. 이 대상에 대한 정적이고 수동적인 접근 방식은 Confluence 페이지를 사용하는 것입니다. (PM이 페이지를 작성하면 모델 생성자가 모델의 이론적 활용과 분리되고, ML 엔지니어가 페이지를 작성하면 특정 유형의 정보에만 중점을 두는 경향이 있습니다. [^1]) 또는 HTML(Jinja) 템플릿, Metaflow 클래스, 외부 API 키의 조합을 제안하여 해당 도메인/사용 사례에 필요한 모델 정보의 관점을 포함하는 모델 카드를 생성하는 것입니다.

문헌에 기반한 모델 카드 구조를 검증하고, 다양한 이해관계자의 관점에서 중요도가 순서대로 나열된 섹션/영역을 이해하기 위해 사용자 연구를 수행했습니다. 이 연구는 다음 구성 요소를 검증하는 것을 목표로 했습니다:

• 모델 카드 레이아웃

모델 카드의 최첨단 현황을 조사하는 과정에서, 허브에서 다운로드 횟수가 상위 ~100개에 드는 모델 카드가 있는 모델들에서 반복적으로 나타나는 섹션을 확인했습니다. 이 분석을 통해 반복적으로 나타나는 모델 카드 섹션과 정보를 정리했으며, 이를 Bloom 모델 카드의 구조와 결합하여 표준 모델 카드 구조의 초기 버전을 도출했습니다.

사용자 연구를 구조화하기 시작하면서, 초기 모델 카드 구조를 활용한 두 가지 버전의 모델 카드를 인터랙티브 데모로 사용했습니다. 이러한 데모의 목적은 모델 카드의 시각적 요소에 대한 다양한 사용자 관점뿐만 아니라, 사용자에게 제시되는 콘텐츠까지 이해하는 것이었습니다. {desired} 결과는 모델 카드가 더 쉽게 읽히면서도 일정한 수준의 인터랙티브성을 유지하고, 정보를 쉽게 이해할 수 있는 [접근하기 쉬운] 방식으로 제시하는 데 도움이 될 것입니다.

• 관계자 관점

기술적 배경이 다른 다양한 사람들이 모델 및 모델 카드 작성에 협력할 수 있으므로, 다양한 이해관계자의 관점이 필요한지 검증하고자 했습니다. 이는 모델 카드의 각 섹션을 작성하는 용이성과 사용자가 가장 먼저 읽을 섹션을 기준으로 판단했습니다.

참가자들은 모델 카드를 읽는 독자의 관점과 모델 카드 작성자의 관점에서 모델 카드의 각 섹션을 순위 매겼습니다. 사용자가 모델 카드에서 보통 가장 먼저 읽는 섹션과 모델 카드 작성자가 작성하기 가장 쉽다고 느끼는 섹션에 대해 1이 가장 높은 가중치, 10이 가장 낮은 가중치가 되도록 하는 순위 매김 방식이 적용되었습니다.

사용자 연구 설문 응답 요약

사용자 연구는 다양한 사용자 프로필/관계자가 어떤 섹션을 작성하는 것이 더 어렵거나 쉬운지에 대해 추가적인 명확성을 제공했습니다.

The results illustrated below show that while the Bias, Risks and Limitations section ranks second for both model card writers and model card readers for In what order do you write the model card and What section do you look at first, respectively, it is also noted as the most challenging/longest section to write. This favoured/endorsed the need to further evaluate the Bias, Risks and Limitations sections in order to assist with writing this decisive/imperative section.

이 템플릿은 이후에 가장 많이 다운로드된 Hugging Face(HF) 모델 상위 200개에 대한 모델 카드를 생성하는 데 사용되었습니다.

• 우리는 먼저 Hugging Face 허브의 모든 모델을 수집했으며, 특히 한계 및 편향(Limitations and Bias) 소절을 중점적으로 살펴봤습니다(위험(Risks) 소절은 대부분 존재하지 않았습니다).
• 모델 유형별로 그룹화하여, 모델 다운로드 수가 많고 지속적으로 가장 많이 사용된 입력을 기반으로, 이 도구는 Bias, Risks and Limitations 섹션 내에 프롬프트된 텍스트를 제공합니다. 모델 유형이 지정되지 않은 경우에도 기본 텍스트를 프롬프트합니다.

이 정보를 바탕으로, 우리는 허브의 모든 모델 카드에 대한 분석으로 돌아가, HF의 다른 연구자 및 동료들의 제안과 사용자가 모델 카드를 생성하는 동안 제공할 수 있는 프롬프트 정보 유형에 대한 추가 연구를 병행했습니다. 이러한 기본 프롬프트 텍스트를 통해 우리는 다음 목표를 달성할 수 있었습니다:

1) 모델 카드를 작성해 본 적 없거나, 모델에 대해 모델 카드나 기타 유형의 모델 문서를 작성하지 않는 사용자의 경우, 프롬프트된 텍스트를 통해 이러한 사용자가 모델 카드를 쉽게 작성할 수 있습니다. 이를 통해 생성된 모델 카드의 수가 증가했습니다.

2) 모델 카드를 작성하고 있는 사용자의 경우, 프롬프트된 텍스트를 통해 모델 카드에 더 많은 내용을 추가하도록 유도하여 모델 카드의 콘텐츠/표준을 한층 더 발전시킵니다.

사용자 연구 세부 정보

기계 학습 및 모델 문서화와 관련된 다양한 배경을 가진 사람들을 선정했습니다. 아래에서는 이들의 인구통계학적 특성, 그들이 받은 질문, 그리고 응답에서 도출된 통찰력을 자세히 설명합니다. 응답에 대한 전체 세부 사항은 부록 A에서 확인할 수 있습니다.

응답자 인구통계

• 기술 및 규제 관련 법률 자문
• ML 엔지니어 (2명)
• 개발자 에보커트
• 수석 비서
• Monetization Lead
• 정책 매니저/AI 연구원
• 연구 인턴

기계 학습 모델과 상호작용할 때 모델에 대해 알고 싶거나 알아야 하는 핵심 정보는 무엇인가요?

인사이트:

• 응답자들은 모델의 작업/도메인 정보(x3), 학습 데이터/학습 절차(x2), 모델 사용 방법(코드 포함)(x2), 편향 및 한계, 모델 라이선스에 우선순위를 두었습니다

특정 모델 카드 형식에 대한 피드백

형식 1:

Hub의 현재 distilbert/distilgpt2 모델 카드

인사이트:

• 응답자들은 이 모델 카드 형식이 간결하고 완전하며 가독성이 좋다고 평가했습니다.
• 접기 가능한 섹션에 대해서는 합의가 이루어지지 않았습니다(일부는 좋아하고 더 많이 원했으며, 일부는 싫어했습니다).
• 응답자 중 일부는 “위험 및 한계”가 “범위 외 사용”과 함께 배치되어야 한다고 언급했습니다.

포맷 2:

Nazneen Rajani의 Interactive Model Card space

인사이트:

• 응답자 중 일부는 이 형식을 매우 좋아했지만, 대부분이 압도적이거나 정보 과부하라고 느꼈습니다. 여러 응답자는 이 형식이 고급 사용자를 위한 도구로 기본 모델 카드 위에 추가하는 것이 좋겠다고 제안했습니다.

형식 3:

Ezi Ozoani의 Semi-Interactive Model Card Space

인사이트:

• 응답자 중 다수가 이 형식이 부담스럽다고 답했지만, 전반적으로 형식 2보다는 덜 부담스럽다고 평가했습니다.
• 응답자 중 다수가 현재 레이아웃에 동의하지 않았으며, 각 열 내에서 우선적으로 배치해야 할 섹션에 대해 구체적인 피드백을 제공했습니다.

섹션 순위

평균 순위 기준으로 정렬됩니다. 화살표는 설문지의 해당 섹션 순서에 상대적으로 표시됩니다.

인사이트:

• 모델 카드를 작성할 때, 응답자들은 일반적으로 설문 질문에서 섹션이 나열된 순서와 동일한 순서로 모델 카드를 작성한다고 답했습니다.
• 모델 카드의 각 섹션을 작성하기의 용이성/속도 기준으로 순위를 매겼을 때, 합의된 의견은 용도 및 한계와 위험에 관한 섹션이 가장 작성하기 어렵다는 것이었습니다.
• 모델 카드를 읽을 때, 응답자들은 설문 질문에서 섹션이 나열된 순서와 거의 일치하지만 완전히 일치하지는 않는 순서로 카드의 섹션을 확인한다고 답했습니다.

부록을 확인해 보세요.

감사의 말

유저 리서치 과정에서 질문 생성과 사용자 중심의 순서 및 제시 방식에 대한 조언을 제공해 주신 Bibi Ofuya님께 감사의 말씀을 드립니다.

[^1]: See https://towardsdatascience.com/dag-card-is-the-new-model-card-70754847a111

---

인용 방법: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub