巨大なNLPモデル処理

Training a 20–Billion Parameter AI Model on a Single Processor (EETIMES)より。

自然言語処理(NLP)のモデルは年々進化を続け、その精度は大きく向上している。それにともないモデルも巨大化するため、トレーニング可能なシステム構成がかぎられることが課題だ。

GPT-Neoは、GPT-3 (OpenAI)のオープンソース版として開発が進められているモデルである。GPT-NeoX20Bはその名前から想像されるように20B(=200億個)のパラメータを持つ非常に巨大なモデルである。このサイズのモデルを効率よくトレーニングするには、システム側の要件も必然的に高くなる。Cerebras CS-2は単一のプロセッサとして初めてこのサイズのモデルのトレーニングに成功し、その存在意義を如実に示した。

関連記事

• Cerebrasの与えるインパクト