SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2024-05-01から1ヶ月間の記事一覧

2024年5月20日の週に気になった記事などまとめ

100万トークン入力できるAI、Gemini 1.5 Proを使って超長文の文書について質問してみる Chat VectorでLLaVAを日本語対応させる Langchain統合のためのクックブック: Langfuse編 CHI2024_summary_japanese.pdf Security consideration of Azure OpenAI with R…

GoogleColabでGeminiを使ってCSVを元データにした簡易RAGを試してみた

LLM

Google ColabでLangChainのドキュメントに従い、CSVファイルを元にしたRAGを実装してみたので、メモ。 ※実際は、SQLiteにCSVデータを入れて、SQLでデータを読み出している !pip install -qU langchain langchain-community langchain-experimental pandas !w…

2024年5月13日の週に気になった記事などまとめ

moment-timeseries-foundation-model/moment karaage0703/code-cooker TSKaigi 2024 スライドまとめ【非公式】 【LLM】1B帯の日本語事前学習モデルのベンチマークを測定する これまでの検索と生成AI時代の検索 Googleが“一歩先の未来を予知”できる時系列予測…

2024年5月6日の週に気になった記事などまとめ

GPUなサービスをそこそこな費用で運営する 基本に立ち戻る:LLMのプロンプト LLMをWebフレームワークにしたら、未来が見えた #2024 次世代Web認証「パスキー」 LLM にプロンプトチューニングをしていただく手法まとめ LLMプロダクト開発における独自評価基準…

Google Colab上でollamaでGPUを活用してc4ai-command-r-plus-ggufを動かしてみた

LLM

Google Colab上でollamaでGPUを活用してc4ai-command-r-plus-ggufを動かしてみたので、メモ。 ※A100とL4で動作することを確認 まずは、ollamaをインストール !curl https://ollama.ai/install.sh | sh !echo 'debconf debconf/frontend select Noninteractiv…

2024年4月29日の週に気になった記事などまとめ

Arxiv RAGによる論文サーベイの自動生成 mergekit-evolve のパラメータまとめ Best Practices and Lessons Learned on Synthetic Data for Language Models 複数の企業でデータエンジニアとして求められたスキル Continual Pre-Training for Cross-Lingual L…

Gemini APIでLangGraphのチュートリアルをGoogle Colabでやってみた

LLM

LangGraphのチュートリアルをGemini APIで実行してみたので、メモ 事前準備 「Google AI Studio」でAPIキーを取得 Google ColabのシークレットにGOOGLE_API_KEYに登録 参考 note.com 実行したコード ! pip install langgraph langchain==0.1.9 langchain-goo…