Google Colab上でollamaでGPUを活用してc4ai-command-r-plusを動かしてみた

Google Colab上でollamaでGPUを活用してc4ai-command-r-plus-ggufを動かしてみたので、メモ。

※A100とL4で動作することを確認

※もっと簡単にOllamaで動かせるようになっていたので、2024年10月20日手順を更新　

まずは、ollamaをインストール

!curl https://ollama.ai/install.sh | sh
!nohup ollama serve &
!ollama pull command-r-plus

pythonからollamaを使うためにpip install

!pip install ollama

プログラムから利用

import ollama

response = ollama.chat(model='command-r-plus', messages=[
  {
    'role': 'user',
    'content': 'こんにちは',
  },
])
print(response['message']['content'])

参考にしたページ

カスタムモデルの作り方は以下を参考にした github.com

Modelファイルのテンプレート、パラメータは以下を参考にした ollama.com

Google Colabへのollamaのインストールは以下の記事を参考にさせていただきました qiita.com