平坂久門ただいま失業中: ChatGPTよりもスゴイもの？

2023年2月28日火曜日

コンサルや経営者の「技術進歩サイコー」みたいな提灯記事なんか読んだってムカつくだけなので、「へっ」とか思ってタグを閉じるのが常でありますが、ChatGPTについて書かれたこちらの記事はなかなか面白かったのでご紹介．

別のサイトにも似た記事があります．

ChatGPTよりも小規模なハードウエアで同等の演算ができるFlexGenはスゴイという内容です．

昨晩の寝しなに読んでの記憶ですが、３段落の解説からなります．

　１）自然言語処理の方法

　２）ChatGPTが必要とするハードウエア

　３）FlexGenが必要とするハードウエア

１）従来型の自然言語処理は文法から意味を解析する原理だったが、googleのは単なるパターンマッチであると書かれています．

たとえば、

　２０時　→　全員集合

　リコリス　→　リコイル

みたいな感じ．

鬼のような記憶容量が必要だかねぇ、、、というイメージが湧くと思います．

２）ChatGPTのシステム規模

推論部だけで341GB、全体で2.3TB．

NVIDIA H100でも80GB　→推論で5基必要、学習で30基必要

H100は一枚475万円だから、推論で2300万円、学習で１．４億円

３）FlexGen

ChatGPTと同等の大規模言語モデルを１００倍の速度で動かせる．

しかも、GPUメモリ16GB、メインメモリ256GB という小規模構成で．

自分のマシンの中に理想の彼女を作れるぞ．

ーーーー

Interface 2023.4月号は機械学習の特集で、なかなか泥臭い内容でよろしいかと思います．たぶん買います．なんか表紙ダサくね？それに女性技術者が居ないじゃないか！

わたしは機械学習で遊ぼうと思って２～３回取り組んだ経験があるんですが、バックプロパゲーションとか自動微分の辺りは楽しいんだけど、そこから先はこの特集に書かれているような泥臭いところに分け入ります．その段階になると嫌気がさして、やる気がなくなっちゃうんです、わたしの場合．

どーせこの特集を読んでまた「あーはいはい」って思うんだろうな．

かしこ