Autogen v0.4のクィックスタートをAzure OpenAI Serviceを使ってやってみた 事前準備 Azure OpenAI Serviceのリソース作成 Azure OpenAI Serviceに利用するモデルをデプロイしておく ColabのシークレットにAzure OpenAIという名前のシークレットを登録してお…

Google ColabでOllamaでLightRAGを動かしてみたので、手順をメモ まずは、Ollamaの環境をセットアップ !curl -fsSL https://ollama.com/install.sh | sh !nohup ollama serve & !ollama pull <利用するLLMモデル> !ollama pull nomic-embed-text ollamaのコ…

Hugging Face HubのGGUFモデルをollamaで使ってみたので、その方法をメモ 環境の準備 !curl -fsSL https://ollama.com/install.sh | sh !nohup ollama serve & !ollama pull hf.co/<ユーザー名>/<リポジトリ名> !pip install ollama モデルを実行 import oll…

llama-cpp-agentを使ってPhi-3-miniでWebデータを収集するエージェントを作ってみたので、実装メモ ポイント MessagesFormatterTypeを利用するLLMに合わせて設定する Phi-3の場合は、MessagesFormatterType.PHI_3 Web検索用のツールとして、WebSearchToolが…

Google ColabでLangChainのドキュメントに従い、CSVファイルを元にしたRAGを実装してみたので、メモ。 ※実際は、SQLiteにCSVデータを入れて、SQLでデータを読み出している !pip install -qU langchain langchain-community langchain-experimental pandas !w…

Google Colab上でollamaでGPUを活用してc4ai-command-r-plus-ggufを動かしてみたので、メモ。 ※A100とL4で動作することを確認 ※もっと簡単にOllamaで動かせるようになっていたので、2024年10月20日手順を更新 まずは、ollamaをインストール !curl https://ol…

LangGraphのチュートリアルをGemini APIで実行してみたので、メモ 事前準備 「Google AI Studio」でAPIキーを取得 Google ColabのシークレットにGOOGLE_API_KEYに登録 参考 note.com 実行したコード ! pip install langgraph langchain==0.1.9 langchain-goo…

llama-cpp-pythonをGPUも活用して実行してみたので、 動かし方をメモ ポイント GPUを使うために環境変数に以下をセットする CMAKE_ARGS="-DLLAMA_CUDA=on" FORCE_CMAKE=1 n_gpu_layersにGPUにオフロードされるモデルのレイヤー数を設定。7Bは32、13Bは40が最…

日本語ローカルLLMの情報をこの記事にまとめ中です。 ※2023年10月31日現在の情報を記入したつもりですが、正確性は保証できません。 まとめ lightblue/karasu-7B-chat-plus-unleashed lightblue/qarasu-14B-chat-plus-unleashed rinna/nekomata-14b-instruct…

以下の論文の26の原則の日本語訳のメモ arxiv.org ※日本語訳を作成する際にChatGPTを活用してます。 番号 プロンプト原則 1 LLMに対して礼儀正しくする必要はない。「お願いします」、「差し支えなければ」、「ありがとう」、「私は...したいです」などのフ…

生成AIの利用ガイドラインで見つけたものを張っていく 東京都職員向け文章生成AIの利活用に関するガイドライン 中小企業のための「生成AI」活用入門ガイド JDLA 生成AIの利用ガイドライン 初等中等教育段階における生成AIの利用に関する暫定的なガイドライン…