Scaling Transformer to 1M tokens and beyond with RMT
https://arxiv.org/abs/2304.11062
2 ： 風吹けば名無し ：2023/04/24(月) 14:26:34.44 ID:LCLzx/dm0
やばい
3 ： 風吹けば名無し ：2023/04/24(月) 14:26:48.69 ID:LCLzx/dm0
これもう産業革命超えたやろ
4 ： 風吹けば名無し ：2023/04/24(月) 14:27:04.21 ID:LCLzx/dm0
人間終わりです
10 ： 風吹けば名無し ：2023/04/24(月) 14:31:07.86 ID:LCLzx/dm0
この論文は、コンピュータが文章を理解するためのモデルを改良して、もっとたくさんの単語を覚えられるようにする方法について書かれています。
今までのモデルでは、文章の一部しか覚えられませんでしたが、新しい技術を使うことで、200万もの単語を覚えることができるようになりました。
この改良によって、コンピュータは長い文章でも、文の前後の関係をよりうまく理解できるようになります。
また、たくさんの情報を覚えておくことができるので、いろいろな大規模な仕事にも役立ちます。
この新しい技術は、コンピュータがもっと賢くなるための大切なステップです。
続きを読む
