[EVAL REQUEST] BAAI/bge-m3

[cross32768]

https://huggingface.co/BAAI/bge-m3 は、論文 によればmultilingual-e5-largeよりも性能が良く、日本語にも対応しているmultilingualモデルですが、今の所JMTEBのような包括的な日本語ベンチマークでの評価はなされていないように見えます。お時間がありましたら、ぜひ評価を回してleaderboardに追加してみていただけないでしょうか。

モデルの基本情報

name: BAAI/bge-m3
type:
size:
lang: multilingual

モデル詳細

https://huggingface.co/BAAI/bge-m3

seen/unseen申告

JMTEBの評価データセットの中，training splitをモデル学習に使用した，またはvalidation setとして，ハイパラチューニングやearly stoppingに使用したデータセット名をチェックしてください。

（一応論文を参考につけています。日本語wikipediaは入っているようですが、JAQKETなどを直接使ってはいなさそうです。Mr.Tydiはmultilingualを使っていそうなので、日本語も入っていそうです）

• Classification
  • Amazon Review Classification
  • Amazon Counterfactual Classification
  • Massive Intent Classification
  • Massive Scenario Classification
• Clustering
  • Livedoor News
  • MewsC-16-ja
• STS
  • JSTS
  • JSICK
• Pair Classification
  • PAWS-X-ja
• Retrieval
  • JAQKET
  • Mr.TyDi-ja
  • JaGovFaqs-22k
  • NLP Journal title-abs
  • NLP Journal title-intro
  • NLP Journal abs-intro
• Reranking
  • Esci
• [] 申告しません

評価スクリプト

その他の情報