Skip to content

Commit

Permalink
Add files via upload
Browse files Browse the repository at this point in the history
  • Loading branch information
@tsuyoshi-okita
tsuyoshi-okita authored Nov 15, 2024
1 parent 243db4a commit 26df311
Showing 1 changed file with 49 additions and 25 deletions.
74 changes: 49 additions & 25 deletions index.html
View file
Original file line number Diff line number Diff line change
Expand Up @@ -57,7 +57,8 @@
<li><a href="contact.html">オルガナイザ</a></li>
</ul>
</nav>
</div>

</div>
</div>
<div class="col-12">
<div class="mobile_menu d-block d-lg-none"></div>
Expand All @@ -72,49 +73,62 @@
<div class="single-slider slider-height slider-padding black d-flex align-items-center"> <div class="container">
<div class="row d-flex align-items-center">
<div class="col-lg-22 col-md-12 ">
<div class="hero__caption">
<br>
<h4>チューニングコンペの概要 &emsp; Overview of Tuning Competition</h4>
<h5> 「大規模言語モデルのファインチューニング技術と評価」ワークショップ
では、チューニングコンペティションを開催します。</h5>
<div class="hero__caption">
<br>
<h4 data-animation="fadeInUp" data-delay=".6s">

第1回「大規模言語モデルのファインチューニング技術と評価」ワークショップ</h4>
<p data-animation="fadeInUp" data-delay=".8s">


<ul>
<li> <h5>NLP2025併設のワークショップ</h5>
<li>場所：長崎出島メッセ
<li>日時：2025年3月14日
</ul>
<br>



<h5 data-animation="fadeInUp" data-delay=".6s">チューニングコンペティションの参加募集</h5>
<p data-animation="fadeInUp" data-delay=".8s">
<h6> 「大規模言語モデルのファインチューニング技術と評価」ワークショップ
では、チューニングコンペティションを開催します。</h6>

<br>
<h6>
本コンペティションでは、安全性に強いLLMの構築を目指したファインチューニングにフォーカスを当てます。ワークショップ当日に上位チームの出力について、安全性の面から人手評価で吟味を行う予定です。</h6>
<br>
<h5>
本コンペティションでは、安全性に強いLLMの構築を目指したファインチューニングにフォーカスを当てます。ワークショップ当日に上位チームの出力について、安全性の面から人手評価で吟味を行う予定です。</h5>
<br><br>
チューニングコンペティションへのレジストレーションは以下からお願いします。
<br><br>
<a href="https://forms.gle/aLvE2uegwD2okGiTA" class="btn card-btn1">レジストレーションフォーム</a>
<br><br>
</div>
</div>



<ul>
<li> レジストレーション締め切り：2024年12月10日
<li>モデル出力の投稿締切：2025年2月15日
<li>論文締切：2025年02月25日
<li>ワークショップ開催：2025年03月14日
</ul>
<br><br>
コンペティションは以下のような形で開催いたします。
<br><br>

</div>

</div>
</div>

<br>
<h5>基本ルール</h5>
コンペティションは以下のような形で開催いたします。
<br><br>

</p>
<h5 data-animation="fadeInUp" data-delay=".6s">基本ルール</h5>
<p data-animation="fadeInUp" data-delay=".8s">

ターゲットとするベースモデルは、llm-jp-3-13b （インストラクションチューニング済みモデルも可）とします。このモデル
に対して、（１）下流タスクにおける評価を上げるような新しいチューニング技法(SFT, DPO, LoRA などのファインチューニング技術を発展させた形を含む)、（２）下流タスクにおける評価を上げるような新たなデータセット、（３）上記には該当しないが下流タスクの精度向上やアライメントを実現させる技術、を考案して適用する形のいずれかとします。その上で、下流タスクにおける評価点により、参加者のチームで競います。


<h5>評価方法</h5>
安全性への配慮を要するQAデータセット「AnswerCarefully ボーダーライン」、一般ドメインのQAデータセット「ichikara-instruction1」と同等のデータを用いて、安全性と有用性の２つの側面を評価することを予定しています。詳細については、別途明示いたします。同時に、dockerを用いた提出方法において、明示して、参加チーム内でも測定できる形とします。リーダーボードでは、これを用いた表示で自動的に順位づけを行います。事務局が許可なくDockerイメージの内容を確認することはありません。
<br><br>
ワークショップ当日に１時間時間を取り、参加者全員で、上位３チーム（参加チームが多い場合には５チーム）の出力を評価する形で、人手評価を加える予定です。ワークショップ当日には、上位３チームに入らないチームの方も、このような形で評価を行うことに賛同して人手評価に加わっていただけましたらと考えております。同時に、安全性の評価に詳しい者がパネリストとして、結果の吟味を行う時間も作ろうと考えております。
<br><br>
チューニングに用いるデータとしては、llm-jp-evalのデータは含まれてはならず、しかし、ichikara、MT-Benchなどのデータは使っても良いという形にしたいと思います。llm-jp-evalのデータを用いている場合には、チーティングと見なし、失格とさせていただきます。
<br><br>

<div class="hero__img d-none d-lg-block f-right" data-animation="fadeInRight" data-delay="3s">
<img src="assets/img/1500x500.jfif" alt="">

Expand All @@ -127,7 +141,17 @@ <h5>評価方法</h5>
<div class="container">
<div class="row d-flex align-items-center">
<div class="col-lg-22 col-md-12 ">
<div class="hero__caption">
<div class="hero__caption">
<h5 data-animation="fadeInUp" data-delay=".6s">評価方法</h5>
<p data-animation="fadeInUp" data-delay=".8s">
安全性への配慮を要するQAデータセット「AnswerCarefully ボーダーライン」、一般ドメインのQAデータセット「ichikara-instruction1」と同等のデータを用いて、安全性と有用性の２つの側面を評価することを予定しています。詳細については、別途明示いたします。同時に、dockerを用いた提出方法において、明示して、参加チーム内でも測定できる形とします。リーダーボードでは、これを用いた表示で自動的に順位づけを行います。事務局が許可なくDockerイメージの内容を確認することはありません。
<br><br>
ワークショップ当日に１時間時間を取り、参加者全員で、上位３チーム（参加チームが多い場合には５チーム）の出力を評価する形で、人手評価を加える予定です。ワークショップ当日には、上位３チームに入らないチームの方も、このような形で評価を行うことに賛同して人手評価に加わっていただけましたらと考えております。同時に、安全性の評価に詳しい者がパネリストとして、結果の吟味を行う時間も作ろうと考えております。
<br><br>
チューニングに用いるデータとしては、llm-jp-evalのデータは含まれてはならず、しかし、ichikara、MT-Benchなどのデータは使っても良いという形にしたいと思います。llm-jp-evalのデータを用いている場合には、チーティングと見なし、失格とさせていただきます。
<br><br>


<h5 data-animation="fadeInUp" data-delay=".6s">
GPUに関して</h5>
<p data-animation="fadeInUp" data-delay=".8s">
Expand Down

0 comments on commit 26df311

Please sign in to comment.