ML 문서 도구의 현황

2018년 모델 카드 프레임워크의 개발은 자연어 처리를 위한 데이터 진술(Bender & Friedman, 2018)과 데이터셋용 데이터시트(Gebru et al., 2018)라는 주요 문서화 프레임워크 노력에서 영감을 받았습니다. 모델 카드가 제안된 이후, 기계 학습 개발 주기의 다양한 측면을 문서화하고 평가하기 위한 여러 다른 도구들이 제안되었습니다. 모델 카드와 모델 카드 이전에 제안된 관련 문서화 노력을 포함하는 이러한 도구들은 초점(예: 도구가 ML 시스템 라이프사이클의 어느 부분에 초점을 맞추는가?)과 대상 독자(예: 도구가 누구를 위해 설계되었는가?)에 따라 맥락화할 수 있습니다. 아래 그림 1-2에서 이러한 차원에 따라 몇 가지 대표적인 문서화 도구를 요약하고, 각 도구에 대한 맥락적 설명을 제공하며, 예시로 링크합니다. 문서화 도구를 다음과 같은 그룹에 속한다고 광범위하게 분류합니다:

• 데이터 중심, 기계 학습 시스템 라이프사이클에서 사용되는 데이터셋에 초점을 맞춘 문서화 도구를 포함
• 모델 및 방법 중심으로, 기계 학습 모델과 방법에 초점을 맞춘 문서화 도구를 포함하며
• 시스템 중심으로, ML 시스템에 초점을 맞춘 문서화 도구를 포함하며, 모델, 방법론, 데이터셋, API, 그리고 ML 시스템의 일부로서 상호작용하는 비 AI/ML 구성 요소를 다룹니다

이러한 그룹화는 상호 배타적이지 않으며, ML 시스템 라이프사이클의 중복되는 측면을 포함합니다. 예를 들어, system cards는 여러 모델과 데이터셋을 포함할 수 있는 ML 시스템을 문서화하는 데 초점을 맞추므로, 데이터 중심 또는 모델 중심의 문서화 도구와 내용이 중복될 수 있습니다. 설명된 도구들은 ML 시스템 라이프사이클에 대한 문서화 도구의 비포괄적 목록입니다. 일반적으로 다음 조건을 충족하는 도구를 포함했습니다:

• ML 시스템 라이프사이클의 일부(또는 여러) 측면에 대한 문서화에 초점을 맞춥니다
• 반복 사용, 채택 및 적응을 목적으로 하는 템플릿의 릴리스를 포함합니다

ML 문서 도구 요약

그림 1

ML 시스템 수명 주기 단계	도구	간단한 설명	예시
데이터	데이터시트 (Gebru et al., 2018)	모든 데이터셋에는 동기, 생성, 구성, 의도된 용도, 배포, 유지 관리 및 기타 정보를 문서화한 데이터시트가 함께 제공되도록 권장합니다.	예를 들어, Ivy Lee의 저장소에 예제가 있습니다
데이터	데이터 성명 (Bender & Friedman, 2018)(Bender et al., 2021)	“데이터 성명서는 데이터셋에 대한 특성 설명으로, 개발자와 사용자가 실험 결과가 어떻게 일반화될 수 있는지, 소프트웨어가 어떻게 적절하게 배포될 수 있는지, 그리고 해당 소프트웨어를 기반으로 구축된 시스템에 어떤 편향이 반영될 수 있는지를 더 잘 이해할 수 있도록 맥락을 제공합니다.”	NLP 워크숍용 데이터 선언을 참조하세요.
데이터	데이터셋 영양 정보 라벨 (Holland et al., 2018)	“Dataset Nutrition Label…은 AI 모델 개발 전에 데이터셋의 ‘재료’에 대한 정제되었지만 포괄적인 개요를 제공하여 표준화된 데이터 분석의 장벽을 낮추는 진단 프레임워크입니다.”	데이터 영양 정보를 참조하세요.
데이터	NLP용 데이터 카드 (McMillan-Major et al., 2021)	“We present two case studies of creating documentation templates and guides in natural language processing (NLP): the Hugging Face (HF) dataset hub[^1] and the benchmark for Generation and its Evaluation and Metrics (GEM). We use the term data card to refer to documentation for datasets in both cases.	(McMillan-Major et al., 2021)을 참조하세요.
데이터	데이터셋 개발 라이프사이클 문서화 프레임워크 (Hutchinson et al., 2021)	“데이터셋 개발의 투명성을 지원하여 의사결정과 책임 소재를 뒷받침하는 엄격한 프레임워크를 소개합니다. 이 프레임워크는 데이터셋 개발의 순환적, 인프라적, 공학적 특성을 활용하여 소프트웨어 개발 생명주기의 모범 사례를 적용합니다.”	템플릿은 (Hutchinson et al., 2021) 부록 A를 참조하세요
데이터	데이터 카드 (Pushkarna et al., 2021)	Data Cards는 책임 있는 AI 개발을 위해 데이터셋의 수명 주기 전반에 걸쳐 이해관계자들이 필요로 하는 ML 데이터셋의 다양한 측면에 관한 핵심 사실에 대한 구조화된 요약입니다. 이러한 요약은 데이터와 궁극적으로 모델을 형성하는 프로세스와 근거에 대한 설명을 제공합니다.	Data Cards Playbook github를 참조하세요.
데이터	CrowdWorkSheets (Díaz et al., 2022)	“데이터셋 개발자가 데이터 주석 파이프라인의 다양한 단계, 즉 작업 정의, 주석자 선택, 플랫폼 및 인프라 선택, 데이터셋 분석 및 평가, 데이터셋 릴리스 및 유지 관리에서 주요 의사결정 지점을 투명하게 문서화할 수 있도록 돕는 새로운 프레임워크인 CrowdWorkSheets를 소개합니다.”	(Díaz et al., 2022)를 참조하세요.
모델 및 방법	모델 카드 Mitchell et al. (2018)	“모델 카드는 학습된 기계 학습 모델과 함께 제공되는 짧은 문서로, 의도된 응용 분야와 관련된 다양한 조건에서의 벤치마크 평가를 제공합니다… 모델 카드는 또한 모델이 사용될 의도된 맥락, 성능 평가 절차의 세부 사항, 기타 관련 정보를 공개합니다.”	https://huggingface.co/models, Model Card Guidebook, Model Card Examples를 참고하세요.
모델 및 방법	Value Cards Shen et al. (2021)	“저희는 Value Cards를 소개합니다. Value Cards는 기계 학습 기반 의사결정 시스템의 사회적 영향에 대한 인식을 컴퓨터 과학 학생과 실무자에게 전달하기 위한 숙의(deliberation) 기반 툴킷입니다. ……Value Cards는 다양한 ML 성능 지표와 그 잠재적 트레이드오프에 대한 조사와 논의를 장려합니다.”	Shen et al. (2021)의 3.3절을 참조하세요.
모델 및 방법	메소드 카드 Adkins et al. (2022)	“ML 엔지니어가 모델 개발 과정을 안내하기 위한 메서드 카드를 제안합니다… 이 정보는 지시적 요소와 기술적 요소를 모두 포함하며, ML 엔지니어가 이러한 메서드를 올바르게 사용할 수 있도록 하는 데 주된 초점을 맞춥니다.”	Adkins et al. (2022) 부록 A를 참조하세요
모델 및 방법	ML 모델용 소비자 라벨 Seifert et al. (2019)	학습 및 공개된 ML 모델에 대한 소비자 라벨을 발급하는 것을 제안합니다. 이러한 라벨은 ML 시스템 운영자, 의사결정 실행자, 의사결정 대상자 등 기계 학습 비전문가를 주요 대상으로 합니다.	Seifert et al. (2019)를 참조하세요.
시스템	팩트시트 Arnold et al. (2019)	“FactSheet에는 AI 서비스의 의도된 용도, 성능, 안전성, 보안 등 관련 속성에 대한 섹션이 포함됩니다. 성능에는 적절한 정확도 또는 위험도 측정치와 타이밍 정보가 포함됩니다.”	IBM의 AI Factsheets 360 및 Hind et al., (2020)을 참조하세요.
시스템	시스템 카드 Procope et al. (2022)	System Cards는 ML 시스템의 다양한 구성 요소, 이러한 구성 요소 간의 상호작용 방식, 그리고 시스템이 데이터와 보호된 정보를 어떻게 사용하는지에 대한 개요를 이해관계자에게 제공함으로써 ML 시스템의 투명성을 높이는 것을 목표로 합니다.	Meta의 Instagram Feed Ranking System Card를 참조하세요.
시스템	RL을 위한 보상 보고서 Gilbert et al. (2022)	“배포된 학습 시스템을 문서화하기 위한 프레임워크, 즉 Reward Reports를 제안합니다… Reward Reports는 특정 자동화 시스템이 최적화하는 대상의 설계 선택과 전제 조건에 대한 업데이트를 추적하는 살아있는 문서로 정의됩니다. 이는 모델이나 데이터의 정적인 속성을 단순히 나열하는 것이 아니라, 시스템 배포 과정에서 발생하는 동적인 현상을 추적하는 것을 목표로 합니다.”	https://rewardreports.github.io를 참조하세요.
시스템	Robustness Gym Goel et al. (2021)	“NLP 시스템 평가의 과제들을 식별하고, 4가지 표준 평가 패러다임인 서브포뮬레이션(subpopulations), 변환(transformations), 평가 세트(evaluation sets), 적대적 공격(adversarial attacks)을 통합하는 단순하고 확장 가능한 평가 툴킷인 Robustness Gym(RG) 형태의 해결책을 제안합니다.”	https://github.com/robustness-gym/robustness-gym를 참조하세요.
시스템	ML 개요 Raji and Yang, (2019)	“ABOUT ML(기계 학습 라이프사이클의 이해와 투명성에 대한 어노테이션 및 벤치마킹)은 PAI가 주도하는 다년, 다중 이해관계자 이니셔티브입니다. 이 이니셔티브는 다양한 관점을 하나로 모아 대규모로 기계 학습 시스템 문서화 관행을 개발, 테스트 및 구현하는 것을 목표로 합니다.”	ML의 리소스 라이브러리에 대해 확인하세요

데이터 중심 문서화 도구

여러 제안된 문서화 도구는 ML 시스템 라이프사이클에서 기계 학습 모델을 학습, 개발, 검증, 파인튜닝 및 평가하는 데 사용되는 데이터셋에 초점을 맞추고 있습니다. 이러한 도구는 일반적으로 데이터 라이프사이클의 다양한 측면(특정 데이터셋, 데이터셋 그룹, 또는 더 넓은 범위에 대해)에 초점을 맞추며, 여기에는 데이터가 어떻게 조립, 수집, 주석 처리되었는지 및 어떻게 사용되어야 하는지가 포함됩니다.

• 전자 산업의 데이터시트 개념을 확장하여, Gebru et al. (2018)은 데이터셋의 생성, 잠재적 용도 및 관련 우려 사항에 대한 세부 정보를 문서화하기 위해 데이터셋 데이터시트를 제안합니다.
• Bender and Friedman (2018) propose data statements for natural language processing. Bender, Friedman and McMillan-Major (2021) update the original data statements framework and provide resources including a guide for writing data statements and translating between the first version of the schema and the newer version[^2].
• Holland et al. (2018)은 식품의 영양 성분표와 개인정보 공개를 위한 영양 라벨에 비유되는 데이터 영양 라벨을 데이터셋을 분석하고 의사결정을 내리기 위한 도구로 제안했습니다. Data Nutrition Label 팀은 2020년에 라벨의 업데이트된 디자인과 인터페이스를 공개했습니다 (Chmielinski et al., 2020)).
• McMillan-Major et al. (2021)은 NLP용 데이터 카드의 개발 과정과 결과된 템플릿을 Hugging Face Hub[^3]의 데이터 카드 형식과 Generation and its Evaluation Metrics (GEM) 환경[^4]의 NLP 벤치마크에 포함된 데이터셋의 데이터 카드로 설명합니다.
• Hutchinson et al. (2021)은 포괄적인 데이터셋 문서화의 필요성을 설명하고, 소프트웨어 개발 관행을 참고하여 데이터셋 개발 라이프사이클의 여러 측면을 문서화하기 위한 템플릿을 제공합니다(표 1과 표 2를 위해, 우리는 그들의 프레임워크를 Dataset Development Lifecycle Documentation Framework라고 부릅니다).
• Pushkarna et al. (2021)은 산업 및 연구에서 사용되는 데이터셋에 초점을 맞춘 인간 중심의 문서화 도구인 data card playbook의 일부로 data cards를 제안했습니다.

모델 및 방법 중심의 문서화 도구

또 다른 문서 도구 집합은 기계 학습 모델과 기계 학습 기법에 초점을 맞춘다고 볼 수 있습니다. 여기에는 다음이 포함됩니다:

• Mitchell et al. (2018)은 학습된 ML 모델과 함께 제공되어 평가, 사용 및 기타 문제와 관련된 사항을 문서화하는 모델 보고를 위한 model cards를 제안합니다.

• Shen et al. (2021)은 ML 모델과 관련된 가치에 대해 학생과 실무자에게 교육하기 위한 value cards를 제안합니다

• Seifert et al. (2019)는 모델을 사용하거나 모델의 영향을 받는 비전문가가 모델과 관련된 주요 문제를 이해할 수 있도록 ML 모델용 소비자 라벨을 제안합니다.

• Adkins et al. (2022)는 기술적 문서화 도구의 측면을 분석합니다. 이들은 model cards와 data sheets를 이러한 도구에 포함한다고 보며, ML 엔지니어를 위한 규정적(prescriptive) 도구의 확대를 주장합니다. 이들은 ML 메서드에 초점을 맞춘 method cards를 제안하며, 주로 모델 개발자와 리뷰어와 같은 기술적 이해관계자를 대상으로 설계되었습니다.

  • 모델 카드와 방법 카드 간의 관계를 그들은 부분적으로 다음과 같이 설명합니다. “우리가 제안하는 섹션과 프롬프트…[방법 카드 템플릿에서]는 정의된 입력, 출력, 작업을 가진 적절한 ML 모델을 생성하는 데 충분한 ML 메서드에 초점을 맞춥니다. 이러한 메서드의 예로는 Single-shot Detectors와 같은 객체 감지 메서드와 Generative Pre-trained Transformers (GPT)와 같은 언어 모델링 메서드가 있습니다. 이러한 메서드를 사용하여 생성된 모델에 대해 모델 카드를 작성할 수 있습니다.”

  • 또한 “Model Cards와 FactSheets는 기존 모델의 문서화에 주된 초점을 두는 반면, Method Cards는 이러한 모델을 생성하고 학습할 때 고려해야 하는 근본적인 방법론적 및 알고리즘적 선택에 더 초점을 맞춥니다. 대략적인 비유로, Model Cards와 FactSheets가 조리된 음식의 영양 정보를 제공한다면, Method Cards는 레시피를 제공합니다.”라고 명시합니다.

시스템 중심 문서화 도구

특정 모델, 데이터셋, 또는 방법에 초점을 맞추는 대신, 시스템 중심의 문서화 도구는 모델이 서로, 데이터셋, 방법, 그리고 다른 ML 구성 요소와 어떻게 상호작용하여 ML 시스템을 형성하는지를 살펴봅니다.

• Procope et al. (2022)는 작업을 수행하기 위해 함께 작동하는 AI 시스템을 문서화하고 설명하기 위한 시스템 카드를 제안합니다. 여기에는 여러 ML 모델, AI 도구 및 비-AI 기술이 포함될 수 있습니다.
• Arnold et al. (2019)은 소비자 제품 적합성 선언의 개념을 AI 서비스로 확장하여, 일반적으로 API를 통해 접근되며 여러 다른 ML 모델로 구성될 수 있는 “AI 서비스”의 측면을 문서화하기 위해 FactSheets를 제안했습니다. Hind et al. (2020)은 factsheets를 구축하는 과정에 대한 성찰을 공유했습니다.
• Gilbert et al. (2022)은 Reward Reports for Reinforcement Learning 시스템을 제안하며, ML 시스템의 동적 특성과 배포 후 성능에 대한 고려를 문서화 노력에 포함해야 할 필요성, 특히 강화 학습 시스템의 경우를 인식하고 있습니다.
• Goel et al. (2021)은 실제 시스템에서 딥 뉴럴 네트워크의 여러 측면을 테스트하기 위한 평가 툴킷인 Robustness Gym을 개발하여, 다양한 평가 패러다임 간의 비교를 가능하게 했습니다.
• ABOUT ML 프로젝트(Raji and Yang, 2019)를 통해 Partnership on AI는 기계 학습 커뮤니티의 다양한 이해관계자 그룹 간의 노력을 조정하여 ML 시스템을 위한 포괄적이고 확장 가능한 문서화 도구를 개발하고 있습니다.

모델 카드의 진화

2018년 Mitchell 외의 연구자들이 모델 카드(model card)를 제안한 이후, 모델 카드는 기계 학습 모델을 개발하고 호스팅하는 주요 기술 기업과 스타트업[^5], 새로운 기법을 설명하는 연구자[^6], 다양한 프로젝트에서 모델을 평가하는 정부 이해관계자[^7] 등 여러 조직에 의해 채택되고 변형되어 활용되어 왔습니다. 모델 카드는 AI 윤리 교육 툴킷의 일부로도 등장하며, 수많은 조직과 개발자가 모델 카드 생성을 자동화하거나 반자동화하기 위한 구현을 만들어 왔습니다. 부록 A에서는 다양한 조직이 만든 여러 유형의 ML 모델(대형 언어 모델의 모델 카드를 포함)에 대한 모델 카드 예시, 모델 카드 생성 도구, 모델 카드 교육 도구의 모음을 제공합니다.

HUGGING FACE HUB의 MODEL CARDS

2018년 이후로, 모델 카드를 호스팅하고 공유하기 위한 새로운 플랫폼과 매체가 등장했습니다. 예를 들어, 이 프로젝트와 특히 관련이 깊은 내용으로, Hugging Face는 Hugging Face Hub에서 ML 모델과 연관된 저장소의 README 파일로 모델 카드를 호스팅합니다. 그 결과, 모델 카드는 Hugging Face Hub의 모델 사용자에게 두드러진 형태의 문서로 자리 잡았습니다. 모델 카드 분석의 일환으로, 우리는 Hugging Face Hub의 수십 개 ML 모델에 대한 모델 카드를 개발하고 제안했으며, Hub의 Pull Request(PR) 및 Discussion 기능을 활용하여 모델 카드에 대한 피드백을 수집하고, 모델 카드에 포함된 정보를 검증하며, Hugging Face Hub의 모델에 대한 모델 카드를 게시했습니다. 이 가이드북 작성 시점 기준으로, Hugging Face의 Hugging Face Hub에 있는 모든 모델은 Hub에 연관된 모델 카드를 가지고 있습니다[^8].

Hugging Face Hub에 업로드된 모델의 수가 매우 많기 때문에(작성 시점 기준 101,041개), Hub 내 모델 카드의 내용을 탐색할 수 있었습니다. 패턴(예: 반복되는 섹션과 하위 섹션)을 식별하기 위해 언어 모델의 모델 카드를 분석하는 것으로 시작했으며, 이를 통해 다음과 같은 초기 질문에 답하고자 했습니다:

1) 이 모델들 중 모델 카드가 있는 모델은 몇 개인가요?

2) 다운로드 중 모델 카드가 연결된 비율은 얼마였나요?

hub의 모든 모델에 대한 분석 결과, 가장 많은 다운로드가 상위 200개 모델에서 발생한다는 점을 확인했습니다.

대형 언어 모델에 대한 지속적인 관심에 맞춰, 다운로드 횟수 순으로 정렬하고 모델 카드가 있는 모델만 대상으로 하여, 각 모델 카드에서 가장 반복적으로 나타나는 섹션을 확인했습니다.

모델 카드 내 일부 헤딩은 모델에 따라 다를 수 있지만, 각 모델 카드의 섹션별 구성 요소/주제를 그룹화한 후 가장 반복적으로 나타나는 섹션 헤딩(주로 다운로드 상위 200개 모델에서 발견되며, Bloom 모델 카드의 도움/가이드를 참고)에 매핑했습니다.

사용자 연구를 확인해 보세요

부록을 참조하세요

[^1]: 각 도구에 대한 설명은 두 번째 열에 나열된 링크된 논문에서 발췌한 것입니다.

[^2]: https://techpolicylab.uw.edu/data-statements/을 참조하세요.

[^3]: https://techpolicylab.uw.edu/data-statements/을 참조하세요.

[^4]: https://techpolicylab.uw.edu/data-statements/을 참조하세요.

[^5]: 예를 들어, Hugging Face Hub, Google Cloud의 Model Cards https://modelcards.withgoogle.com/about 를 참고하세요.

[^6]: 부록 A를 참조하세요.

[^7]: GSA / 미국 인구조사국(Model Card Generator) 협업에 대해 확인하세요.

[^8]: “Hugging Face 모델”이란 다른 조직이 아닌 Hugging Face가 Hub에 공유한 모델을 의미합니다. 공식적으로, 이는 모델 ID에 ‘/’가 없는 모델을 가리킵니다.

---

인용 방법: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub