ローカルLLMでの開発でvscodeがリミッターに達したからOpenHandsとかいうのWebUIを使ってみたら、会話長くなったら糞みたいに出力が遅くなって使い物にならないゴミだった
AIは演算終わってるのにアプリの仕組みがゴミなせいで文字出す速度が10t/sくらいになってしばらくかかる