2026年4月6日月曜日

【ポエム】LLM Bonsaiってどうなんでしょ?

LLMのBonsai-8Bというのが「すごく軽い」「メモリが1/14で済む」などと言われています.

1桁を超えるカイゼンはなかなか偉い.
話題が出てきてまだ数日しか経ってなくてnet mediaの記事もあまり出てないかんじ.
fakeだという情報は目にしてないので本当なんだろうねぇ.

内部演算を1bitでやってるので軽いというのが技術の注目ポイントのようです.(従来は8bitとか16bitとかだったらしい)

ひら的にはニューロン演算はぜんぶ浮動小数点でやってると思ってたよ.
LLMの学習アルゴリズムは今でも「誤差逆伝播法」かその改良版でやってると思っているので、ニューロンの出力から逆向きに重み修正を計算すると偏微分の値がすごく小さくなってしまって浮動小数点じゃないと動かないんじゃないのかな? それだから浮動小数点のためにGPUが必要なんでしょという流れ.飽くまでもわたしの想像ですが.

もしかしたらBonsaiの学習は浮動小数点でやって、使用時は1bit演算にするのかな?

1bit演算で回路規模を小さくしちゃおう、というのはわたしも実用回路でやったことがあります.
しかし1bit演算のデメリットは演算誤差が激しいことで、そのままじゃ使えません.
演算誤差を回避するには、繰り返し演算して平均化して演算誤差を小さくしてゆけば使いものになる数値に収束してゆく.
1bit LLMでは各ニューロンで256回平均化したら、8bit相当になれるという目論見はあるかもしれないなどと思ったりして.

Bonsaiは出力を得るまでに時間がかかるのだろうか?

STM32でエッジAIとかエッジLLMをやるproj.があって、そちらは量子化4-bit/8-bitでやってるんだとか.BonsaiをSTM32に移植したらモアベター.

かしこ

9 件のコメント:

  1. 「Bonsai」なので、
    ・「可もなく不可もない」AIになる
    と言うのはどうでしょう?
    ※我ながら、ツマランな。
    つか、もう既に誰か言ってんだろうな(笑)

    返信削除
    返信
    1. つか、コレ
      https://wirelesswire.jp/2026/04/93202/
      最初に見たので、
      ・Bonai
      だと思ってたわ。(本文は「Bonsai」になってる。勘弁してよ・・・)

      削除
    2. NVIDIAの株価は大丈夫なのかしら?

      こうゆう目立つ発表ってたいていfakeなので、
      しばらく放っといたんだけど、
      本物らしいんですよね
      まだなんか怪しいと思ってる部分はなくはなく

      削除
  2. 自販機で買えるマイコン
    https://www.youtube.com/watch?v=DtPab4x40V8
    なんてのが「ホントに出て来た」ので、そのうち、
    ・自販機で買える「AI」
    とか出てくんのかな・・・?
    ※あの「攻殻」でも、流石にそこまでは行かなかったよな・・・
    まぁでも「昆虫型ロボット(当然AI搭載)」と言うのはあったから、出来なくは無いと思いますが。
    たぶんイメージ的には、「バージョンアップ」用途とかに成るんだろうけど。
    「差し替えれば」新型になる、とか。

    返信削除
    返信
    1. 蔵前橋通りの先、大阪王将の脇を入った辺りかしら
      まるで煙草かコンドームの自販機で恥ずいわ

      このboardってフツーの人が1万個つくってみたという物のことかな
      IDEどうなってるんだろ?

      削除
    2. >煙草かコンドームの自販機
      どうも、「タバコの自販機」を、改造(というか、パッケージが「タバコ」の大きさに見える)したっぽいですが。
      >IDEどうなってるんだろ?
      推奨はごく普通に「Arduino」のようですが。
      CH32V用の専用開発環境、でも出来るのかな?まぁ出来るんだろうな。

      削除
    3. aitendoの商売領域という感じで自販機へ

      むかし、伊勢海老の自販機が話題になりました
      金魚の自販機があったらちょっと怖いかも →死体が出てきそう

      削除
    4. >金魚の自販機
      なんかどこかで聞いたような気がする。
      技術的には、難しくはなさそうな気がする。通販/宅急便で「金魚」が買えるんだから。
      難しいのは「賞味期限の設定」かな?それクリアすれば出来そう(笑)

      削除
  3. >「差し替えれば」新型になる
    もしかしたら、「電脳」って、
    ・人間の脳と、コンパチブルになるように
    作ってるのかしら?「人工ニューロンインターフェース」になってるとかね。
    ※よく考えたら「そうじゃないと」人体に置き換えられないよな。
    「自分の脳と置き換えられる」AI電脳が、自販機で売られる時代は来るのだろうか・・・?

    返信削除