Raspberry Pi 5×3でexoを使ったLLMの並列化を試す
🕒 25/12/12 21:41 / 📰 はてな
▶ 元記事を見る(はてな) ▶ Xでシェア

Raspberry Pi 5×3でexoを使ったLLMの並列化を試す

Raspberry Pi 5×3でexoを使ったLLMの並列化を試す

(今回はラズパイが3個使われていますが、最安でパイプライン並列を試すだけなら2個で十分です) 早い話がRaspberry Pi 5 16GBをつなげてクラスタを作って、LLMを動かそう!ということです。実際、Adafruitというラズパイの周辺機器などを扱っている電子工作企業が「ローカルでGemma動かせるぜ」と言っているくらい、Rasp...

はてなブックマーク - Raspberry Pi 5×3でexoを使ったLLMの並列化を試す はてなブックマークに追加

新感覚!ニュースで遊ぶ「ヒットアンドブロー」

6つのニュースの中から正解の4つを順番通りに当てよう!君はクリアできるか?

ゲームに挑戦する
前日のランキング