Archive
巨大なNLPモデル処理
この記事は過去の記録です。内容と外部リンクは公開時点の情報であり、現在の状況とは異なる場合があります。
Training a 20–Billion Parameter AI Model on a Single Processor (EETIMES)より。 自然言語処理(NLP)のモデルは年々進化を続け、その精度は大きく向上
Training a 20–Billion Parameter AI Model on a Single Processor (EETIMES)より。
自然言語処理(NLP)のモデルは年々進化を続け、その精度は大きく向上している。それにともないモデルも巨大化するため、トレーニング可能なシステム構成がかぎられることが課題だ。
GPT-Neoは、GPT-3 (OpenAI)のオープンソース版として開発が進められているモデルである。GPT-NeoX20Bはその名前から想像されるように20B(=200億個)のパラメータを持つ非常に巨大なモデルである。このサイズのモデルを効率よくトレーニングするには、システム側の要件も必然的に高くなる。Cerebras CS-2は単一のプロセッサとして初めてこのサイズのモデルのトレーニングに成功し、その存在意義を如実に示した。