LLM
ollamaでStructured Outputができるはずなのですが、 プロンプトでJSONを吐き出すように指示した方がうまくいったため、JSON吐き出しして、学習用データを作成している。 事前作業 !curl -fsSL https://ollama.com/install.sh | sh !nohup ollama serve & !o…
本当は、MCPを使ってTavilyを使いたかったが、 Colab上ですぐに動かせなかったので、APIをラップする関数を作り、その関数を呼び出す形にした。 事前処理 !curl -fsSL https://ollama.com/install.sh | sh !nohup ollama serve & !ollama pull <ollamaのモデル名> !pip install</ollamaのモデル名>…
LightRAGで生成をせずに取得したコンテキストをJSONで取得する方法をメモしておく。 まとめ only_need_context=Trueをパラメータに追加し、queryする queryのレスポンスから正規表現でエンティティ、リレーション、データソースを取得する ソースコード付き…
Google ColabでOllamaのLLMでAutogenのグループチャットを動かしてみたので、メモ まずはollamaのインストール !curl -fsSL https://ollama.com/install.sh | sh !nohup ollama serve & !ollama pull <利用したいモデル> 次に必要なPythonライブラリのインス…
Document Intelligenceでダウンロード済HTMLファイルをmarkdownに変換する処理を作成してみたので、メモ Doucment Intelligenceを動かすために、DocumentIntelligenceのライブラリをインストール pip install azure-ai-documentintelligence 以下のコードを…
MicorosoftのPlaywright MCPのDockerイメージを作り、そのイメージでClaude DesktopでMCPを試したので、メモ 回避する方法があるかもしないですが、Chromeをダウンロードしないと動かなかった。 以下のDockerファイルを作成 FROM node:20-slim # 必要な依存…
OpenAIのAgents SDKをAzure OpenAI Serviceを動かそうとしたところ、 Microsoftが公開しているブログそのままでは動かないなどはまったので、動かし方をメモ 必要ライブラリのインストール !pip install openai openai-agents python-dotenv !pip install ne…
Swallow LLM Leaderboard 言語処理学会の年次大会が始まるのでトレンドを時系列で分析してみた AI駆動開発で苦労した話 〜笑えないけど笑うしかない日々〜 MCPでLLMに行動させる - Terraformを例とした tfmcp の紹介 レトリバ、RAGの検索精度を高めるEmbeddi…
Google Colab上でAzureOpenAI ServiceでLangChainのOpen Deep Researchを動かしてみたので、メモ ! pip install -U -q open-deep-research from google.colab import userdata import os os.environ["TAVILY_API_KEY"] = "TAVILY_API_KEY" os.environ["OPENA…
AI Toolkitのローカルで稼働しているモデルでClineを動かそうとしたところ、Model IDの設定時にはまったため、メモ 手順 まず、VS Codeの拡張機能でAI Toolkitをインストールする 次にカタログが使いたいモデルをインストールする Model IDを確認する AI Too…
Azure OpenAI Serviceでbrowser-useを動かしてみたので、動かし方をメモ Langchainで利用する 環境構築 必要なライブラリのインストール pip install browser-use playwright install 以下のPythonコードを実行する from langchain_openai import AzureChatO…
Autogen v0.4のクィックスタートをAzure OpenAI Serviceを使ってやってみた 事前準備 Azure OpenAI Serviceのリソース作成 Azure OpenAI Serviceに利用するモデルをデプロイしておく ColabのシークレットにAzure OpenAIという名前のシークレットを登録してお…
Google ColabでOllamaでLightRAGを動かしてみたので、手順をメモ まずは、Ollamaの環境をセットアップ !curl -fsSL https://ollama.com/install.sh | sh !nohup ollama serve & !ollama pull <利用するLLMモデル> !ollama pull nomic-embed-text ollamaのコ…
Hugging Face HubのGGUFモデルをollamaで使ってみたので、その方法をメモ 環境の準備 !curl -fsSL https://ollama.com/install.sh | sh !nohup ollama serve & !ollama pull hf.co/<ユーザー名>/<リポジトリ名> !pip install ollama モデルを実行 import oll…
llama-cpp-agentを使ってPhi-3-miniでWebデータを収集するエージェントを作ってみたので、実装メモ ポイント MessagesFormatterTypeを利用するLLMに合わせて設定する Phi-3の場合は、MessagesFormatterType.PHI_3 Web検索用のツールとして、WebSearchToolが…
Google ColabでLangChainのドキュメントに従い、CSVファイルを元にしたRAGを実装してみたので、メモ。 ※実際は、SQLiteにCSVデータを入れて、SQLでデータを読み出している !pip install -qU langchain langchain-community langchain-experimental pandas !w…
Google Colab上でollamaでGPUを活用してc4ai-command-r-plus-ggufを動かしてみたので、メモ。 ※A100とL4で動作することを確認 ※もっと簡単にOllamaで動かせるようになっていたので、2024年10月20日手順を更新 まずは、ollamaをインストール !curl https://ol…
LangGraphのチュートリアルをGemini APIで実行してみたので、メモ 事前準備 「Google AI Studio」でAPIキーを取得 Google ColabのシークレットにGOOGLE_API_KEYに登録 参考 note.com 実行したコード ! pip install langgraph langchain==0.1.9 langchain-goo…
llama-cpp-pythonをGPUも活用して実行してみたので、 動かし方をメモ ポイント GPUを使うために環境変数に以下をセットする CMAKE_ARGS="-DGGML_CUDA=on" FORCE_CMAKE=1 n_gpu_layersにGPUにオフロードされるモデルのレイヤー数を設定。7Bは32、13Bは40が最…
日本語ローカルLLMの情報をこの記事にまとめ中です。 ※2023年10月31日現在の情報を記入したつもりですが、正確性は保証できません。 まとめ lightblue/karasu-7B-chat-plus-unleashed lightblue/qarasu-14B-chat-plus-unleashed rinna/nekomata-14b-instruct…
以下の論文の26の原則の日本語訳のメモ arxiv.org ※日本語訳を作成する際にChatGPTを活用してます。 番号 プロンプト原則 1 LLMに対して礼儀正しくする必要はない。「お願いします」、「差し支えなければ」、「ありがとう」、「私は...したいです」などのフ…
生成AIの利用ガイドラインで見つけたものを張っていく 東京都職員向け文章生成AIの利活用に関するガイドライン 中小企業のための「生成AI」活用入門ガイド JDLA 生成AIの利用ガイドライン 初等中等教育段階における生成AIの利用に関する暫定的なガイドライン…
