Raspberry Pi 5×3でexoを使ったLLMの並列化を試す
(今回はラズパイが3個使われていますが、最安でパイプライン並列を試すだけなら2個で十分です) 早い話がRaspberry Pi 5 16GBをつなげてクラスタを作って、LLMを動かそう!ということです。実際、Adafruitというラズパイの周辺機器などを扱っている電子工作企業が「ローカルでGemma動かせるぜ」と言っているくらい、Rasp...
Raspberry Pi 5×3でexoを使ったLLMの並列化を試す
(今回はラズパイが3個使われていますが、最安でパイプライン並列を試すだけなら2個で十分です) 早い話がRaspberry Pi 5 16GBをつなげてクラスタを作って、LLMを動かそう!ということです。実際、Adafruitというラズパイの周辺機器などを扱っている電子工作企業が「ローカルでGemma動かせるぜ」と言っているくらい、Rasp...