diff --git a/README.md b/README.md index a883f80..b4167c8 100644 --- a/README.md +++ b/README.md @@ -1,13 +1,6 @@ # 日本語LLMまとめ [ [**English**](./README_en.md) | 日本語 ] -

- 日本語LLM・英語LLMのパラメータサイズの推移 -

-
日本語LLM・英語LLMのパラメータサイズの推移。日本語モデルの情報は本記事、英語モデルの情報は LifeArchitect.ai の Models table を参照しています。修正・追加等ありましたらお知らせ下さい。
- ---- - この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）に関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 ⚠ 以下の点について、あらかじめご理解とご了承をお願いいたします： @@ -32,6 +25,7 @@ - [その他](#multimodal-others) - [（参考）日本語LLMベンチマーク/データセットまとめ](#benchmark-suites) - [（参考）各モデルの原論文](#reference) +- [（参考）日本語LLM・英語LLMのパラメータサイズの推移](#parameter-size-overview) ## テキスト生成に主に使うモデル @@ -240,6 +234,14 @@ | RWKV | 2023.05.22 | - | [RWKV: Reinventing RNNs for the Transformer Era](https://arxiv.org/abs/2305.13048) | | Llama 2 | 2023.07.18 | - | [Llama 2: Open Foundation and Fine-Tuned Chat Models](https://arxiv.org/abs/2307.09288) | + +## （参考）日本語LLM・英語LLMのパラメータサイズの推移 + +

+ 日本語LLM・英語LLMのパラメータサイズの推移 +

+
日本語LLM・英語LLMのパラメータサイズの推移。日本語モデルの情報は本記事、英語モデルの情報は LifeArchitect.ai の Models table を参照しています。修正・追加等ありましたらお知らせ下さい。
+ --- [^1]: ただし、モデル高速化のため本家の Llama に対してアーキテクチャの変更を加えている。詳しくは以下を参照: [PLaMo-13Bを公開しました](https://tech.preferred.jp/ja/blog/llm-plamo/) diff --git a/README_en.md b/README_en.md index bf3476b..e7f3396 100644 --- a/README_en.md +++ b/README_en.md @@ -1,13 +1,6 @@ # Overview of Japanese LLMs [ English | [**日本語**](./README.md) ] -

- Parameter sizes of Japanese and English LLMs over time -

-
Parameter sizes of Japanese and English LLMs over time. We refer to this article for information about Japanese LLMs, and to the Models table on LifeArchitect.ai for information about English LLMs. Please notify us if there are any corrections or additions needed.
- ---- - A list of publicly available LLMs trained with a focus on Japanese, maintained by volunteers based on public data. ⚠ Caution: @@ -31,6 +24,7 @@ Please point out any errors on the [issues page](https://github.com/llm-jp/aweso - [Other](#multimodal-others) - [Benchmarks for Japanese LLMs](#benchmark-suites) - [References for Model Architectures](#reference) +- [Parameter sizes of Japanese and English LLMs over time](#parameter-size-overview) @@ -238,6 +232,14 @@ Please point out any errors on the [issues page](https://github.com/llm-jp/aweso | RWKV | 2023.05.22 | - | [RWKV: Reinventing RNNs for the Transformer Era](https://arxiv.org/abs/2305.13048) | | Llama 2 | 2023.07.18 | - | [Llama 2: Open Foundation and Fine-Tuned Chat Models](https://arxiv.org/abs/2307.09288) | + +## Parameter sizes of Japanese and English LLMs over time + +

+ Parameter sizes of Japanese and English LLMs over time +

+
Parameter sizes of Japanese and English LLMs over time. We refer to this article for information about Japanese LLMs, and to the Models table on LifeArchitect.ai for information about English LLMs. Please notify us if there are any corrections or additions needed.
+ --- [^1]: Some performance enhancements have been made to the original Llama model. See [here](https://tech.preferred.jp/ja/blog/llm-plamo/) for details.