Desalegnn/embeddinggemma-300m-finetuned-amharic

SentenceTransformer based on google/embeddinggemma-300m

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the amharic-passage-retrieval-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • amharic-passage-retrieval-dataset

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Desalegnn/embeddinggemma-300m-finetuned-amharic")
# Run inference
queries = [
    "\u12d3\u1218\u1273\u12ca\u12cd \u12e8\u12a0\u121d\u1263\u1233\u12f0\u122e\u127d \u1235\u1265\u1230\u1263 \u1270\u1320\u1293\u1240\u1240",
]
documents = [
    'አዲስ አበባ፣ ጳጉሜን 2፣ 2012 (ኤፍ.ቢ.ሲ) የውጭ ጉዳይ ሚኒስቴር የዋናው መስሪያ ቤት ከፍተኛ የሥራ ኃላፊዎች፣ አምባሳደሮች እና ቆንስል ጀኔራሎች ዓመታዊ ስብሰባ ተጠናቀቀ።ስብሰባው “ዲፕሎማሲያዊ ተልዕኳችን ለሃገራዊ ብልጽግናችን” በሚል መሪ ቃል ነበር ላለፉት 15 ተከታታይ ቀናት በቢሾፍቱ ሲካሄድ የቆየው፡፡ተሳታፊዎቹ በተያዘው በጀት ዓመት ሚኒስቴር መስሪያ ቤቱ በሚከያናውናቸው ዋነኛ ጉዳዮች ላይ አተኩረው ተወያይተዋል፡፡እንዲሁም ከፍተኛ የስራ ኃላፊዎችና ባለድርሻ አካላት በአዲሱ የውጭ ጉዳይ ፖሊሲ ዙሪያ መክረዋል፡፡በተመሳሳይ በኢትዮጰያ የ10 ዓመት /ከ2013 እስከ 2022 ዓም/ መሪ የልማት እቅድ ላይ ውይይት አድርጓል።በመጨረሻም የውይይቱ ተሳታፊዎች ባለፉት ሁለት ሳምንታት የመከሩባቸውን ጉዳዮች መሰረት አድርገው ለሀገራቸው የተሻለ ነገር እንደሚያበርክቱ ገልጸዋል፡፡',
    'እስራኤል ሌሊቱን በጋዛ ሰርጥ የአየር ድብድባ አካሂዳለች። የፍልስጤማዊያን ታጣቂዎች በበኩላቸው ወደእስራኤል ግዛቶች ሮኬት ተኩሰዋል።በሁኔታው የተባበሩት መንግሥታት ድርጅት የመካከለኛው ምሥራቅ ልዩ ልዑክ ስጋታቸውን ገልፀዋል።የተመድ የመካከለኛው ምሥራቅ የሰላም ሂደት አስተባባሪ ኒኮላይ ምሊዴኖቭ አሁን እየተጋጋለ ያለውን ሁኔታ መቆጣጠር ካልተቻለ አጠቃላዩን ህዝብ ለከባድ ጉዳት የሚያጋልጥ ደረጃ ላይ ሊደረስ ይችላል ሲሉ አስጠንቅቀዋል።',
    'ከድምፃዊ ሃጫሉ ሁንዴሳ ግድያ ጋር በተያያዘ በተለይ በኦሮሚያ ክልል በምዕራብና ምሥራቅ አርሲ፣ በሐረርጌ፣ በባሌ፣ በምሥራቅ ሸዋ፣ በኢሉአባቦር፣ በሆሮ ጉድሩ፣ በወለጋና በጅማ አካባቢዎች ተለይተው ቤታቸውና ንብረታቸው ለተቃጠለባቸው የኦርቶዶክስ እምነት ተከታዮች፣ ቤተሰቦቻቸው ለተገደሉባቸው፣ ከባድና ቀላል ጉዳት ለደረሰባቸው 2,170 አባወራዎች 40 ሚሊዮን ብር ማከፋፈሏን የኢትዮጵያ ኦርቶዶክስ ተዋህዶ ቤተ ክርስቲያን አስታወቀች፡፡በእምነታቸው ምክንያት በተለያዩ ጊዜያት በጥቅምት፣ በጥርና በሰኔ 2012 ዓ.ም. በተደጋጋሚ በደረሱ ጉዳቶች ቤተሰቦችቻቸው ለሞቱባቸው፣ የአካል ጉዳት ለደረሰባቸው፣ ቤት ንብረታቸው ለወደመባቸው 12,719 የቤተሰብ አባላት እንደ ጉዳታቸው መጠን የባንክ ሒሳብ ተከፍቶላቸው ማስረከቡን፣ በኢትዮጵያ ኦርቶዶክስ ተዋህዶ ቤተ ክርስቲያን ጉዳት የደረሰባቸውን ሰዎች መልሶ ለማቋቋም የተቋቋመው ኮሚቴ ጳጉሜን 4 ቀን 2012 ዓ.ም. በሰጠው መግለጫ አስታውቋል፡፡የ2013 ዓ.ም. አዲስ ዓመት በዓል ምክንያት በማድረግ ከቤተ ክርስቲያንና ከምዕመናን ተጎጂዎችን ለመደገፍ ከተሰበሰበው 44.5 ሚሊዮን ብር ውስጥ፣ 4.5 ሚሊዮን ብር በመረጃ ክፍተት የተዘለሉ ተጎጂዎች ካሉ ለመጠባበቂያ መቀመጡን ኮሚቴው አስረድቷል፡፡ ዕርዳታው ጉዳት በደረሰባቸው ሁሉም አካባቢዎች በሚገኙ አሥር ሀገረ ስብከቶች ሥር ለሚገኙ ተጎጂዎች እንደሚደርስም ጠቁሟል፡፡ ጉዳት የደረሰባቸው ግለሰቦች ዝርዝር መረጃና አድራሻ ተይዞ ከኢትዮጵያ ንግድ ባንክ ጋር በመነጋገር የቁጠባ ሒሳብ በስማቸው በመክፈት፣ ድጋፉ በቀጥታ ገቢ እንደተደረገላቸውም ኮሚቴው አስታውቋል፡፡በጉጂ ዞንና በቤኒሻንጉል ጉሙዝ ክልል መተከል ሀገረ ስብከቶችም ጉዳት የደረሰባቸው ክርስቲያኖች ስንት እንደሆኑና የጉዳት መጠናቸውም ጥናት እየተሠራ መሆኑንም አክሏል፡፡ ጉዳት የደረሰባቸውን ወገኖች በዘላቂነት ለማቋቋና ወደፊት ያልታሰበና ድንገተኛ የሆነ ሰው ሠራሽ ወይም የተፈጥሮ አደጋዎች ቢያጋጥሙ፣ ፈጥኖ ለመርዳት የሚያስችል የሦስት ቢሊዮን ብር ድጋፍ የማሰባሰብ እንቅስቃሴ መጀመሩንና በአጭር ጊዜ የታሰበውን ያህል ገንዘብ መሰብሰብ እንደሚቻልም ኮሚቴው አስረድቷል፡፡',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5137, 0.0262, 0.0116]])

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator with these parameters:

  {
      "truncate_dim": 768
  }
  

Metric	Value
cosine_accuracy@1	0.6663
cosine_accuracy@3	0.7839
cosine_accuracy@5	0.8217
cosine_accuracy@10	0.862
cosine_precision@1	0.6663
cosine_precision@3	0.2613
cosine_precision@5	0.1643
cosine_precision@10	0.0862
cosine_recall@1	0.6663
cosine_recall@3	0.7839
cosine_recall@5	0.8217
cosine_recall@10	0.862
cosine_ndcg@10	0.7648
cosine_mrr@10	0.7336
cosine_map@100	0.7377

Information Retrieval

• Dataset: dim_256
• Evaluated with InformationRetrievalEvaluator with these parameters:

  {
      "truncate_dim": 256
  }
  

Metric	Value
cosine_accuracy@1	0.6377
cosine_accuracy@3	0.7607
cosine_accuracy@5	0.8009
cosine_accuracy@10	0.8472
cosine_precision@1	0.6377
cosine_precision@3	0.2536
cosine_precision@5	0.1602
cosine_precision@10	0.0847
cosine_recall@1	0.6377
cosine_recall@3	0.7607
cosine_recall@5	0.8009
cosine_recall@10	0.8472
cosine_ndcg@10	0.7421
cosine_mrr@10	0.7085
cosine_map@100	0.7129

Training Details

Training Dataset

amharic-passage-retrieval-dataset

• Dataset: amharic-passage-retrieval-dataset at e7be243
• Size: 40,237 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 9 tokens mean: 33.37 tokens max: 108 tokens	min: 92 tokens mean: 437.67 tokens max: 512 tokens

• Samples:

  anchor	positive
  ተመድ - የጦርና የስብዓዊ ወንጀሎችን የፈፀሙ የደቡብ ሱዳንን ባለሥልጣናት ማወቁን ገለፀ	የተባበሩት መንግሥታት ድርጅት መርማሪዎች ከ40 በላይ የሚሆኑ የጦርና የሰብዓዊ ወንጀሎችን በመፈፀም ኃላፊነት እንዳለባቸው የሚታመኑ ከ40 በላይ የደቡብ ሱዳን ባለሥልጣናትና ወታደራዊ መኮንኖችን ማንነት አውቀናል ብለዋል።.የተጠቀሱት ወንጀሎች የተፈፀሙት በ10 ሺሕዎች በተገደሉበትና ከ4 ሚሊዮን በላይ ሌሎች በተፈናቀሉበት ሀገሪቱ ውስጥ እየተካሄደ ባለው የርስ በርስ ጦርነት ወቅት ነው። ዛሬ በደቡብ ሱዳን የተባበሩት መንግሥታት የሰብዓዊ መብቶች ኮሚሽን ይፋ የተደረገው ሪፖርት፣ በሲቪሎች ላይ የተፈፀሙ አሰቃቂ እና አረመኔዊ ድርጊቶችን ይዘረዝራል። የአንዳንዶቹ የጥቃቱ ሰለባዎች ዓይን ፈሷል፣ እንደ ከብት ታርደዋል፣ ተኮላሽተዋል ወይም ተሰልበዋል፡፡ ሌሎች ደግሞ በኃይልና በብዛት ወሲብ የተፈፀምባቸው ሲሆን ድርጊቱን የቤተሰብ አባላት እንዲመለከቱ መድረጋቸውንም ሪፖርቱ ጨምሮ አጋልጧል።ሪፖርቱ በተጨማሪም የመርማሪው ኮሚሽን አባል አድንሪው ክላፕሃም በሰብዓዊ ወንጀሎች ሊከሰሱ በሚገባቸው - በአብዛኛው የመንግሥት ኃይሎች በግልፅ የተፈጸሙ ዘር ተኮር ጥቃቶች ሲሉ የገለጿቸው ድርጊቶችንም ዘርዝሯል።የተባበሩት መንግሥታት ድርጅት መርማሪዎች፣ ይህን የዛሬውን ሪፖርት ያወጡት፣ 230 ዕማኞች የሰጧቸውን መግለጫዎችና ከ60 ሺሕ በላይ ሰነዶችን መሠረት በማድረግ መሆኑን ተናግረዋል።ደቡብ ሱዳን ውስጥ እአአ በ2013 ዓ.ም የርስ በርስ ጦርነቱ የፈነዳው በአብዛኛው የፕሬዚዳንት ሣልቫ ኪር ደጋፊ በሆኑት የዲንቃ ብሄረሰብ አባላትና በቀድሞ ምክትላቸው በሪክ ማቻር ሽምቅ ተዋጊ ኑዌሮች መካከል ግጭት በመፈጠሩ ምክንያት መሆኑ ይታወቃል።በሪፖርቱ መሠረት በሚሥጥር የተያዘው የ41 ተጠርጣሪዎች ስም ዝርዝር - በተባበሩት መንግሥታት ለሰብዓዊ መብቶች ከፍተኛ ኮሚሽነር ለዛይድ ራዳ አልሁሴን ተልኳል።ከሚጠረጠ...
  በአረቡ አገራት ቀውስ ምክንያት ዶሃ ዲፕሎማሲያዊ ስጋት ላይ እንደምትገኝ ተገለጸ	የአረብ አገራት ከሳዑዲ አረቢያ ጋር ያላቸውን ግንኙነት ማቋረጣቸውን ተከትሎ የዶሃ ዲፕሎማሲ ስጋት ላይ ይገኛል፡፡ከዚህ ቀደም ከኳታር ጋር ጥሩ የሚባል የሁለትዮሽ ግንኙነት ያላቸው አገራት ስማቸው ኳታር ከተከሰሰችበት የሽብር ጉዳይ ጋር እንዳይነሳ የሰጉ ይመስል ዝምታን መርጠዋል፡፡ኳታር ደግሞ ክሷን በማጣጣል ከባህረ ሰላጤው አገራት ጋር ያላት ግንኙነት እንዳይሻክር ፍላጎት ያላት መሆኗን ደጋግማ አስታውቃ እንደነበር ይታወሳል፡፡ሆኖም ወደሚፈለገው የመፍሔ አቅጣጫ ያልመጣው እና መቋጫ ያላገኘው የአረቡ አገራት ቀውስ አሁን ወደ መካከለኛው ምስራቅ የተሸጋገር ይመስላል፡፡ቻይና ከባህረ ሰላጤው አገራት ጋር ያላትን ግንኙነት ለማጠናከር ረቡዕ እለት በአህመድ አልጃብር  የሚመራውን የተባበሩት አረብ ኤሚሬትስ ልዑክን ቤጂንግ ተቀብላለች፡፡ ከአንድ ቀን በኋላም  የኳታሩ ውጭ ጉዳይ ሼክ ሞሐመድ ቢን አብዱራህማን አል ታኒ ቻይና ገብተዋል፡፡እንደ ሺኗ ቻይና አገራቱን የመዳኘት ሚናዋን ለመወጣት የምታደርገው ጥረት ነው ተብሏል፡፡ የውጭ ጉዳይ ሚኒስትሩ ዋንግ ዪ በአረቡ አገራት እና በመካከለኛው ምስራቅ ለአመታት የዘለቀው ግንኙነት የሚጠናከርበት ጊዜ አሁን ነው፡፡ ቻይና ደግሞ በዚህ ግንኙነት መካከል የአገራቱን ቅራኔ ለመፍታት ትጥራለች ነው የተባለው፡፡ይህ የጋራ ጥቅም ላይ የተመሰረተ የዲፕሎማሲ ተግባር ነው እየፈፀምን ያለነው ብለዋል የውጭ ጉዳይ ሚኒስትሩ፡፡ የኳታሩ አቻቸው በበኩላቸው የቻይናን ጥረት አድንቀዋል፡፡ ቻይና አለማቀፍ ህጎች እንዲከበሩ እና በድርድሩ የኳታር ድምፅ እንዲሰማ መንገድ እንደምትከፍት ተስፋ እናደርጋለን ብለዋል፡፡በሌላ በኩል ከቻይና ጋር የመከሩት የሳዑዲው ሱልጣን አህመድ አልጃብር ቤጂንግ በባህረ ሰላጤው አገራት መካከል ታሪካዊ አሻራዋን ለማሳረፍ እየጣረች ነው ብለዋ...
  ሞት የናፈቃቸው የ99 ዓመት አዛውንት!	ለአገራቸው ነፃነት ከጣልያን ጋር የተዋጉ አርበኛ ታሪክሁለት ልጆቻቸው በቀይ ሽብር ተገደሉ፡፡ ልጆቼን ልቅበር ሲሉ እስር ቤት ተወረወሩ፡፡ ሚስታቸው በሃዘን ብዛት ህይወታቸው አለፈ፡፡ አንድ የቀረቻቸው ልጅ የት እንደገባች አያውቁም፡፡ ስድስት ዓመት ታስረው ሲወጡ ቤታቸው ፈርሷል! እንዴታ! አምስት አመት ሙሉ ተዋግቻለሁ፡፡እንዴት ነው የዘመቱት?አባቴ ቀኝአማች ብሩ ሀይለኛ አርበኛ ነበሩ፡፡ በጦርነቱ ጣሊያኖች አባቴን ሲገድሉብኝ እጅግ ተቆጣሁ፣ ደሜ ፈላ፡፡ በወቅቱ የ20 ዓመት ወጣት ነበርኩ፡፡ ማቄን ጨርቄን የምለው አልነበረኝም፡፡ ጫካ ገባሁና መዋጋት ጀመርኩኝ፡፡ ከየት አካባቢ ነው ወደ ጦርነቱ የሄዱት?የተወለድኩት ወሎ ውስጥ አማራ ሳይንት ነው፡፡ ጦርነቱን የተቀላቀልኩትም ከዚያ ሄጄ ነው፡፡ በላይ ዘለቀን ያውቁታል ይባላል፡፡ እውነት ነው?አሳምሬ አውቀዋለሁ እንጂ እንዴት አላውቀውም! አብራችሁ ዘምታችኋል እንዴ?አብረን አልዘመትንም፡፡ እኔ እራያ አዘቦ፣ መሆኒ፣ ሸዋ፣ መንዝ፣ መራ ቤቴ፣ አህያ ፈጅ ዶባ እየተዘዋወርኩ ራያው ከፈለ ከተባለ የጦር መሪ ጋር ነው የተዋጋሁት፡፡ ጐበዝ የጦር መሪ ነበር፡፡ በላይ ዘለቀ ግን አባይ በረሃ ላይ ነበር፡፡ ግን ተገናኝተን እናውቃለን፡፡ በደንብ ነው የማውቀው! ድል ካደረጋችሁ በኋላ ስለነበረው ሁኔታ ያጫውቱኝ-----ጃንሆይ “አገርህን ለመጠበቅ በጫካ ያለህ ወደ እኔ ተሰብሰብ” ብለው ሲጣሩ፣ ከነበርኩበት ተነስቼ ከጓደኞቼ ጋር መጣሁ፡፡ እርሳቸው ውጭ አገር ከርመው መምጣታቸው ነበር፡፡ እናም አርበኛው ሁሉ በጠቅላላ አዲስ አበባ ገባና ተሰበሰበ፡፡ ጃንሆይ ጃን ሜዳ መጡ፣ በሬው ሁሉ ታረደ፣ ተደገሰ፡፡ ድግሱ ሲያልቅ እዚሁ ለትንሽ ጊዜ ቆዩ ተባልን፡፡ ግን ማንም የሰማቸው የለም፣ ሁሉም በየሀገሩ ሲበታተን እኔም አማራ ሳይንት ገባሁ፡፡ በወቅቱ ጡ...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          256
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 8
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 8
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10	dim_256_cosine_ndcg@10
1.0	315	0.2335	0.6866	0.6425
2.0	630	0.0872	0.7340	0.6930
3.0	945	0.0294	0.7508	0.7260
4.0	1260	0.013	0.7648	0.7421

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.2
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}