Skip to content

Commit

Permalink
change position of figure because it is still working in progress
Browse files Browse the repository at this point in the history
  • Loading branch information
kaisugi committed Oct 30, 2023
1 parent bcdb28d commit bf4b9f1
Show file tree
Hide file tree
Showing 2 changed files with 18 additions and 14 deletions.
16 changes: 9 additions & 7 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,13 +1,6 @@
# 日本語LLMまとめ
[ [**English**](./README_en.md) | 日本語 ]

<p align="center">
<img src="figures/parameter_size_overview.png" alt="日本語LLM・英語LLMのパラメータサイズの推移" width="768px">
</p>
<figcaption style="font-style: italic; font-size: 0.9em; color: #6b7280; text-align: center;">日本語LLM・英語LLMのパラメータサイズの推移。日本語モデルの情報は本記事、英語モデルの情報は LifeArchitect.ai の <a href="https://lifearchitect.ai/models-table/">Models table</a> を参照しています。修正・追加等ありましたらお知らせ下さい。</figcaption>

---

この記事は、一般公開されている日本語LLM(日本語を中心に学習されたLLM)に関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。

⚠ 以下の点について、あらかじめご理解とご了承をお願いいたします:
Expand All @@ -32,6 +25,7 @@
- [その他](#multimodal-others)
- [(参考)日本語LLMベンチマーク/データセットまとめ](#benchmark-suites)
- [(参考)各モデルの原論文](#reference)
- [(参考)日本語LLM・英語LLMのパラメータサイズの推移](#parameter-size-overview)

<a id="generative"></a>
## テキスト生成に主に使うモデル
Expand Down Expand Up @@ -240,6 +234,14 @@
| RWKV | 2023.05.22 | - | [RWKV: Reinventing RNNs for the Transformer Era](https://arxiv.org/abs/2305.13048) |
| Llama 2 | 2023.07.18 | - | [Llama 2: Open Foundation and Fine-Tuned Chat Models](https://arxiv.org/abs/2307.09288) |

<a id="parameter-size-overview"></a>
## (参考)日本語LLM・英語LLMのパラメータサイズの推移

<p align="center">
<img src="figures/parameter_size_overview.png" alt="日本語LLM・英語LLMのパラメータサイズの推移" width="768px">
</p>
<figcaption style="font-style: italic; font-size: 0.9em; color: #6b7280; text-align: center;">日本語LLM・英語LLMのパラメータサイズの推移。日本語モデルの情報は本記事、英語モデルの情報は LifeArchitect.ai の <a href="https://lifearchitect.ai/models-table/">Models table</a> を参照しています。修正・追加等ありましたらお知らせ下さい。</figcaption>

---

[^1]: ただし、モデル高速化のため本家の Llama に対してアーキテクチャの変更を加えている。詳しくは以下を参照: [PLaMo-13Bを公開しました](https://tech.preferred.jp/ja/blog/llm-plamo/)
Expand Down
16 changes: 9 additions & 7 deletions README_en.md
Original file line number Diff line number Diff line change
@@ -1,13 +1,6 @@
# Overview of Japanese LLMs
[ English | [**日本語**](./README.md) ]

<p align="center">
<img src="figures/parameter_size_overview.png" alt="Parameter sizes of Japanese and English LLMs over time" width="768px">
</p>
<figcaption style="font-style: italic; font-size: 0.9em; color: #6b7280; text-align: center;">Parameter sizes of Japanese and English LLMs over time. We refer to this article for information about Japanese LLMs, and to the <a href="https://lifearchitect.ai/models-table/">Models table</a> on LifeArchitect.ai for information about English LLMs. Please notify us if there are any corrections or additions needed.</figcaption>

---

A list of publicly available LLMs trained with a focus on Japanese, maintained by volunteers based on public data.

⚠ Caution:
Expand All @@ -31,6 +24,7 @@ Please point out any errors on the [issues page](https://github.com/llm-jp/aweso
- [Other](#multimodal-others)
- [Benchmarks for Japanese LLMs](#benchmark-suites)
- [References for Model Architectures](#reference)
- [Parameter sizes of Japanese and English LLMs over time](#parameter-size-overview)


<a id="generative"></a>
Expand Down Expand Up @@ -238,6 +232,14 @@ Please point out any errors on the [issues page](https://github.com/llm-jp/aweso
| RWKV | 2023.05.22 | - | [RWKV: Reinventing RNNs for the Transformer Era](https://arxiv.org/abs/2305.13048) |
| Llama 2 | 2023.07.18 | - | [Llama 2: Open Foundation and Fine-Tuned Chat Models](https://arxiv.org/abs/2307.09288) |

<a id="parameter-size-overview"></a>
## Parameter sizes of Japanese and English LLMs over time

<p align="center">
<img src="figures/parameter_size_overview.png" alt="Parameter sizes of Japanese and English LLMs over time" width="768px">
</p>
<figcaption style="font-style: italic; font-size: 0.9em; color: #6b7280; text-align: center;">Parameter sizes of Japanese and English LLMs over time. We refer to this article for information about Japanese LLMs, and to the <a href="https://lifearchitect.ai/models-table/">Models table</a> on LifeArchitect.ai for information about English LLMs. Please notify us if there are any corrections or additions needed.</figcaption>

---

[^1]: Some performance enhancements have been made to the original Llama model. See [here](https://tech.preferred.jp/ja/blog/llm-plamo/) for details.
Expand Down

0 comments on commit bf4b9f1

Please sign in to comment.