github.com
- promptflowがOSSで公開された
- 手元の端末でpromptflowを動かす際に利用するコード
- ドキュメントも公開されている
好みのチャットbotを短い文章で作れるツール「Prompt2Model」 米カーネギーメロン大などが開発
www.itmedia.co.jp
- プロンプトから自然言語処理モデルを自動で作り出すフレームワークを提案した
- プロンプトからデータ収集、モデルの選定、ファインチューニング、評価に至るまですべて自動化し、特定のタスクに適した小規模なモデルを生成する
- 引用元の論文
LLMの出力制御や新モデルについて【技術動向調査】
blog.brainpad.co.jp
- LLM性能改善関連についての4つの論文が紹介されている
- 以下の4つが紹介されている
- 各言語モデルの政治意見のバイアス
- 有害な出力を促すプロンプト
- 少量の高品質なデータセットで学習した新しいモデル
- モデルの出力を規制するモデル
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編
zenn.dev
- ELYZA社が公開した日本語追加事前学習済みモデルに着目し、そのモチベーションや学習手順の詳細、また現時点で成功していない実験について説明した記事
- 以下が公開されている
- 事前学習時のハイパーパラメータの設定や実験環境
- 日本語語彙の追加したTokenizerの作成方法
MicrosoftのLLMの13億パラメータのPhi-1.5のGoogle Colabでの実行方法
note.com
自然言語処理で扱うテキストのchunkingについて
zenn.dev
- 直前のセンテンスと処理中のセンテンスの意味的類似度を比較して、意味が離れているものは次にチャンク煮詰めるというやり方の紹介
note.com
- 「Transformers」でサポートされている量子化 「bitsandbytes」と「auto-gptq」を比較した記事
- それぞれの量子化手法の利点、欠点、速度ベンチマーク結果が掲載されている
RAG評価ツール ragas を試す
note.com
- RAG評価ツール「ragas」を試した記事
- 5種類のメトリクスや利用状況が追跡されていることなどが紹介されている
LLM開発のためにMLOpsチームがやるべきこと
future-architect.github.io
- LLM開発での従来のMLOpsとの違い・ツール・構成例等について調査・整理した記事
- モデル開発、デプロイメント、インテグレーション、モニタリングのそれぞれの課題・検討事項や解決に役立つツールが紹介されている
公開シンポジウム「生成AIの課題と今後」
www.scj.go.jp
Vector databases (Part 4): Analyzing the trade-offs
thedataquarry.com
LiteLLM
docs.litellm.ai
- OpenAI, Azure, Cohere, Anthropic, Huggingface API Endpointsなど様々な場所のLLMを簡単に呼び出せるパッケージ
Announcing the Preview of OpenAI Whisper in Azure OpenAI service and Azure AI Speech
techcommunity.microsoft.com
- QpenAIのWhisperモデルをAzureで利用できるようになった
- Azure OpenAI Service
- OpenAI Whisper APIと同様の機能を利用できる
- Azure AI Speech
- 話者分離、タイムスタンプを利用できる
- 独自データでファインチューニングする機能も今後提供される予定
Discover the LLMs
llm.extractum.io
- LLMの一覧
- データはHugging FaceやGitリポジトリから持ってきている
- 実行時のVRAMなどが記載されている
