llama-cpp-pythonをGPUも活用して実行してみたので、 動かし方をメモ ポイント GPUを使うために環境変数に以下をセットする CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 n_gpu_layersにGPUにオフロードされるモデルのレイヤー数を設定。7Bは32、13Bは40が…

日本語ローカルLLMの情報をこの記事にまとめ中です。 ※2023年10月31日現在の情報を記入したつもりですが、正確性は保証できません。 まとめ lightblue/karasu-7B-chat-plus-unleashed lightblue/qarasu-14B-chat-plus-unleashed rinna/nekomata-14b-instruct…