足りないパッケージを自分で判断して、インストールして再実行してくれる機能の実装例
qiita.com
- 「足りないパッケージを自分で判断して許可を仰いだうえで、勝手にインストールする機能」を実装する一例を紹介した記事
yoheinakajima/instagraph
github.com
- 入力したテキストからナレッジグラフをさk末井するアプリケーション
- Function Callingを利用してナレッジグラフを作成している
【ChatGPTにできることを正しく理解する③】グノシーのChatGPT活用法とは
www.youtube.com
zenn.dev
GPT-3.5-turbo を Fine-tuning して GPT-4 相当の性能を獲得する
tech.drobe.co.jp
- GPT4で得られたデータを使って、GPT-3.5-turboをFine-Tuningした
- 特定タスクはGPT-4相当の性能が出た
- GPT4で使っていたプロンプトをそのまま使う場合が一番性能が高い
text-generation-webuiで、ELYZA-japanese-Llama-2-7n-fast-instructのLoRAトレーニングを試す。
note.com
- text-generation-webuiで、ELYZA-japanese-Llama-2-7n-fast-instructのLoRAトレーニングを試した記事
シュッと gpt-3.5-turbo-instruct を流してみる
note.com
- gpt-3.5-turbo-instructを試した記事
- Chat モデルと比べて簡潔に回答する
Flash Attentionを使ってLLMの推論を高速・軽量化できるか？
qiita.com
- OptimumライブラリのBetter Transformerの機能を使うことで、Hugging Face形式のモデルでPytorch 2のFlash Attentionを使用可能にする方法を試した記事
- Flash Attentionを使用する方法と元モデルと計測時間、VRAM使用量を比較
- key-value cacheの有無による計測時間、VRAM使用量も比較されている
LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法
aiboom.net
- LLMが生成した参照（引用文献などの情報）が幻覚を減らすために取り入れることができる工夫について説明されている
CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages
huggingface.co
aiwaves-cn/agents
github.com
- 自律的な言語エージェントを構築するためのライブラリ/フレームワークが公開された
- 長短期記憶、ツールの使用、Web検索、エージェント間通信などの機能をサポートするエージェントを構築できる
自律言語エージェントを構築するためのフレームワーク Agents を試す
note.com
- 自律言語エージェントを構築するためのフレームワーク「Agents」を試した記事
NII Today 第100号 特集生成AIに挑む
www.nii.ac.jp
- 画像や音声を含む生成AIの進化は、その技術や活用に期待がかかる一方、データの真偽、正当性、フェイクによる情報の錯乱や犯罪の脅威に人々を晒している。何が本当で何が偽物なのか。「生成AIに挑む」NIIの取り組みと研究成果を紹介した記事
NExT-GPT/NExT-GPT
github.com
- インプット、アウトプットともに、以下を利用できるマルチモーダルLLM
Owl : A Large Language Model for IT Operations
arxiv.org
- IT起案連の幅広い知識を持つ大規模言語モデルowlを構築した論文
- 訓練用のデータセットを構築しただけでなく、学習用のアダプター戦略も提案されている
Multimodal Foundation Models: From Specialists to General-Purpose Assistants
arxiv.org
- マルチモーダルモデルの分類と進化について記載されたサーベイ論文
最近話題の Vision-Languageモデル まとめ
note.com
ローカルLLM のリリース年表
note.com
- 主な「ローカルLLM」のリリース年表をまとめた記事
- 日本語データで学習したモデルが多く紹介されており、非常に参考になる
Stability AI Japanにおける大規模言語モデルの研究開発
speakerdeck.com
- Japanese StableLMの紹介
- より強力な日本語LLMを作成するために考えていること
AzureのGPU搭載VMを安い順に並べる（2023年9月版）
note.com
- Azure でGPUが使えるVMについてまとめた記事
Demystifying Azure OpenAI Networking for Secure Chatbot Deployment
techcommunity.microsoft.com
- Azure OpenAI Serviceを活用活用したアプリを安全に展開するためのネットワーク構成を説明した記事
JR西日本カスタマーリレーションズとLLM DXパートナー ELYZA、通話内容要約業務に言語生成AIを導入
prtimes.jp
- 株式会社JR西日本カスタマーリレーションズと株式会社ELYZAは、JWCRのコンタクトセンターにおける通話内容要約業務に、マイクロソフト社のAzure OpenAI GPTシリーズ(以下GPTシリーズ)をベースとしELYZAが開発した言語生成AIを導入した
- LLMがようやくしやすい形式にデータを整える前処理や要約出力後に記載を修正する後処理システムも設計した
note.com
大規模言語モデル(Llama2など)を正攻法でファインチューニングする際のメモ(ZeRO-Offload, not QLoRA)
note.com
- deepspeedを使って、「elyza/ELYZA-japanese-Llama-2-7b-instruct」をフルファインチューニングした記事
LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset
arxiv.org
- vicunaデモとChatbotArenaウェブサイトで収集したデータセットを分析した論文
LLM Fine-Tuning (東大松尾研LLM講座 Day5資料)
speakerdeck.com
- 東大松尾研サマースクール2023「大規模言語モデル」Day5の講義の資料
- 主にInstruction TuningとPEFTについて分かりやすく説明がなされている
生成AI・LLMのツール拡張に関する論文の動向調査 2023年8月版
blog.brainpad.co.jp
- LLM論文レビュー会のツール拡張のトピックで取り上げた４つの論文の紹介
- 以下の論文が紹介されている
- コンテキストへの外部情報の入力方法やモデルのコンテキスト長がQAタスクの回答精度への影響
- 事実誤認を検知する最新のフレームワーク
- ハルシネーションへ対処できるように標準作業手順（SOP）を組み込んだ「MetaGPT」
- 公開されているAPIを利用能力を引き出す研究
self-attentionを代替する各種手法について
zenn.dev
- self-attentionの計算量の課題に対応することを目的として提案されたTransFormerの代替アーキテクチャについてまとめた記事
engineering.linecorp.com
Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。
note.com
- 「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試した記事
[AI 論文]基礎知識"NeRF"の論文のやさしい日本語訳
zenn.dev
zenn.dev
ReactPy
reactpy.dev
- ReactのようにComponentベースでインターフェースを構築できるPythonライブラリ
サーバーレスで仮想待合室を作ろう！ / Serverless Virtual Waiting Room
speakerdeck.com
- 大規模なバースト中にダウンしないようなシステムをサーバーレスで構築する方法
- Virtual Waiting Room on AWSの紹介
LLM 時代におさえておきたい Azure Serverless ファミリーまとめ / serverlessdaystokyo2023-llm-aoai
speakerdeck.com
失敗から学ぶAPIファースト / API first learning from failure
speakerdeck.com
