Kullanıcı Çalışmaları

Model Kartı Hedef Kitleleri ve Kullanım Senaryoları

Model dokümantasyon araçlarının (veri kartları vb.) mevcut durumuna yönelik inceleme sırasında, farklı paydaşların mevcut altyapıyı kullanarak ihtiyaç duydukları alana odaklanan bilgilere sahip bir tür model kartı oluşturmak için bu altyapıyı nasıl kullandıklarını gözlemledik.

Bunun bir örneği, ‘iş analistleri’ veya odağı B2B ile birlikte yalnızca dahili bir kitleye yönelik olan kişilerdir. Bu kitle için statik ve daha manuel yaklaşım, Confluence sayfalarını kullanmaktır. (eğer PM’ler sayfayı yazarlarsa, model oluşturucuları teorik tüketimden koparıyoruz; eğer ML mühendisleri sayfayı yazarlarsa, yalnızca belirli bir bilgi türüne vurgu yapma eğiliminde olabilirler. [^1]) veya HTML (Jinja) şablonları, Metaflow sınıfları ve harici APi anahtarlarının önerilen bir kombinasyonu, böylece alanlarına/kullanım senaryolarına ihtiyaç duydukları model bilgisi perspektifini içeren model kartları oluşturulabilir.

Literatürden beslenen bir model kartı yapısını doğrulamak ve farklı paydaş perspektifleri için sıralı önemdeki bölümleri/alanları anlamak amacıyla bir kullanıcı çalışması gerçekleştirdik. Çalışma, aşağıdaki bileşenleri doğrulamayı amaçladı:

• Model Kartı Düzeni

Model kartlarının son durumunu incelerken, hub'da model kartı bulunan en çok indirilen ~100 modeldeki tekrarlayan bölümleri not ettik. Bu analizden, en sık tekrarlanan model kartı bölümlerini ve tekrarlayan bilgileri derledik; bu bulgular, Bloom model kartının yapısıyla birleşerek standart bir model kartı yapısının ilk sürümüne yol açtı.

Kullanıcı çalışmalarımızı yapılandırmaya başladığımızda, başlangıç model kartı yapısını kullanan model kartının iki varyasyonu etkileşimli gösterimler olarak kullanıldı. Bu demoların amacı, model kartlarının görsel öğelerine yönelik farklı kullanıcı bakış açılarını ve kullanıcılara sunulan içeriği anlamaktı. {İstenen} sonuç, model kartının hem daha kolay okunabilir kılınmasını hem de model kartları içinde belirli bir düzeyde etkileşim sunmasını, tüm bunları ise bilgileri kolayca anlaşılır [erişilebilir] bir biçimde sunarak mümkün kılacak şekilde, model kartını neyin daha anlaşılır kıldığını daha derinlemesine anlamamızı sağlayacaktı.

• Paydaş Perspektifleri

Farklı teknik geçmişlere sahip farklı kişilerin bir model üzerinde ve ardından model kartı üzerinde iş birliği yapabileceğini göz önünde bulundurarak, farklı paydaşların bakış açılarının gerekliliğini doğrulamak istedik. Bunun temelinde, model kartının farklı bölümlerini yazmanın kullanım kolaylığı ve bir kullanıcının ilk olarak okuyacağı bölümler yatmaktadır.

Katılımcılar, model kartlarının farklı bölümlerini hem bir model kartı okuyucusu hem de bir model kartı yazarı perspektifinden sıraladı. Kullanıcıların bir model kartında genellikle ilk okuyacağı bölümler ile bir model kartı yazarının yazması en kolay bulacağı bölümler için bir sıralama şeması uygulandı; bu şemada 1 en yüksek ağırlığı, 10 ise en düşük ağırlığı temsil ediyordu.

Kullanıcı Araştırmaları Anketine Verilen Yanıtların Özeti

Kullanıcı çalışmalarımız, farklı kullanıcı profillerinin/paydaşların hangi bölümleri yazmanın daha zor veya daha kolay olduğunu buldukları konusunda ek açıklık sağladı.

Aşağıda gösterilen sonuçlar, Model kartını hangi sırayla yazıyorsunuz ve ilk olarak hangi bölümü inceliyorsunuz sorularında sırasıyla model kartı yazarları ve model kartı okuyucuları için Bias, Risks and Limitations bölümünün ikinci sırada yer aldığını göstermektedir; ancak aynı zamanda yazılması en zor/uzun bölüm olarak da belirtilmiştir. Bu durum, bu belirleyici/önemli bölümün yazılmasına yardımcı olmak amacıyla Bias, Risks and Limitations bölümlerinin daha fazla değerlendirilmesi ihtiyacını desteklemiştir/onaylamıştır.

Bu şablonlar, ardından en çok indirilen 200 Hugging Face (HF) modeli için model kartları oluşturmak üzere kullanıldı.

• Öncelikle hub'daki tüm Hugging Face modellerini çektik ve özellikle Kısıtlamalar ve Önyargı alt bölümlerine odaklandık (“Riskler” alt bölümleri büyük ölçüde mevcut değildi).
• Model indirme sayısı daha yüksek olan ve en sürekli kullanılan girdilere dayalı olarak, model türüne göre gruplandırılan bu araç, Yanlılık, Riskler ve Sınırlamalar bölümlerinde yönlendirilmiş metin sağlar. Model türü belirtilmediyse varsayılan bir metin de yönlendiririz.

Bu bilgiyi kullanarak, hub'daki tüm model kartlarının analizine geri döndük; bu analiz, HF'deki diğer araştırmacıların ve meslektaşlarımızın önerileri ile model kartları oluştururken kullanıcılara sağlayabileceğimiz yönlendirilmiş bilgi türüne ilişkin ek araştırmalarla birleştirildi. Bu varsayılan yönlendirilmiş metinler, hedefleri karşılamamızı sağladı:

1) Daha önce model kartı oluşturmayan veya modelleri için genellikle bir model kartı ya da başka bir tür model dokümantasyonu hazırlamayan kullanıcılar için, yönlendirilen metin bu kullanıcıların bir model kartını kolayca oluşturmasını sağlar. Bu da oluşturulan model kartlarının sayısını artırmıştır.

2) Zaten model kartı yazan kullanıcılar için, yönlendirilen metin onları model kartlarına daha fazla içerik eklemeye ve model kartlarının içeriğini/standartlarını daha da geliştirmeye teşvik eder.

Kullanıcı Çalışması Detayları

Makine öğrenimi ve model dokümantasyonu ile ilgili çeşitli farklı geçmişlere sahip kişiler seçtik. Aşağıda, bu kişilerin demografik bilgilerini, kendilerine sorulan soruları ve yanıtlarından elde edilen ilgili içgörüleri detaylandırıyoruz. Yanıtlara ilişkin tüm ayrıntılar Ek A'da mevcuttur.

Yanıtlayıcı Demografisi

• Teknoloji ve Düzenleyici İşler Hukuk Danışmanı
• ML Mühendisi (x2)
• Geliştirici Avukatı
• Yönetici Asistanı
• Para Kazanma Lideri
• Policy Manager/AI Araştırmacısı
• Araştırma Stajyeri

Bir makine öğrenimi modeliyle etkileşime geçtiğinizde, model hakkında bilmek istediğiniz veya bilmeniz gereken temel bilgi parçaları nelerdir?

Görüş:

• Katılımcılar, model görevi/alanı (x3), eğitim verisi/eğitim süreci (x2), modelin nasıl kullanılacağı (kod ile) (x2), önyargılar ve sınırlamalar ile model lisansı hakkında bilgiyi önceliklendirdi

Belirli Model Kartı Biçimleri Hakkında Geri Bildirim

Biçim 1:

Hub'daki mevcut distilbert/distilgpt2 model kartı

Görüşler:

• Katılımcılar bu model kartı biçimini öz, eksiksiz ve okunabilir buldu.
• Katlanabilir bölümler konusunda bir uzlaşıya varılamadı (bazıları beğendi ve daha fazlasını istedi, bazıları ise beğenmedi).
• Bazı katılımcılar, “Risks and Limitations”ın “Out of Scope Uses” ile birlikte yer alması gerektiğini belirtti.

Biçim 2:

Nazneen Rajani’nin Etkileşimli Model Kartı alanı

Görüşler:

• Katılımcılardan birkaçı bu formatı gerçekten beğenirken, çoğu aşırı yoğun veya bilgi yükü fazla buldu. Birkaç kişi, bu formatın daha ileri düzey kitlelere yönelik olarak temel bir model kartına ek katman olarak kullanılmasının iyi bir araç olabileceğini önerdi.

Biçim 3:

Ezi Ozoani’nin Semi-Interactive Model Card Space

Görüşler:

• Katılımcıların bir kısmı bu formatın aşırı yoğun olduğunu belirtirken, genel olarak format 2'ye kıyasla daha az yoğun bulduklarını ifade ettiler.
• Cevap verenlerin bir kısmı mevcut yerleşimle hemfikir değildi ve her sütundaki bölümlerin önceliklendirilmesine ilişkin belirli geri bildirimlerde bulundu.

Bölüm Sıralamaları

Ortalama sıralamaya göre sıralanmıştır. Oklar, anketteki ilgili bölümün sorudaki sırasına göre gösterilir.

Görüşler:

• Model kartları yazarken, katılımcılar genel olarak model kartını, anket sorusunda bölümlerin listelendiği sırayla yazacaklarını belirtmiştir.
• Model kartının bölümlerini yazım kolaylığı/hızına göre sıraladığımızda, kullanımlar ile sınırlamalar ve riskler bölümlerinin en zor olanlar olduğu konusunda fikir birliğine varıldı.
• Model kartlarını okurken katılımcılar, kartların bölümlerini, anket sorusunda bölümlerin listelendiği sıraya yakın –ancak tam olarak örtüşmeyen– bir sırayla incelediklerini belirtmiştir.

Ek'e göz atın

Teşekkürler

Soruların oluşturulması ve kullanıcı odaklı sıralama ve sunum konusundaki rehberliği için Bibi Ofuya'ya teşekkürlerimizi sunarız.

[^1]: https://towardsdatascience.com/dag-card-is-the-new-model-card-70754847a111 adresine bakın

---

Lütfen şu şekilde atıf yapın: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub