- Google Colab で LLM-jp 13B v1.1 を試す
- 大規模言語モデルの構築の事前学習に使えそうなデータセット(主に日本語系)の整理メモ
- Top Evaluation Metrics for RAG Failures
- Agent AI: Surveying the Horizons of Multimodal Interaction
- Self-Discover: Large Language Models Self-Compose Reasoning Structures
- Azure OpenAIでHyDEを使ったRAGの検索精度向上を目指す！
- 【Day 2】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】
- LlamaIndex v0.10 の概要
- Amazon Bedrockの導入効果をレビューでご紹介（KDDIアジャイル開発センター株式会社-みのるん
- Google Colabで高性能？LLMモデル『Orion-14B』を試用してみる
- Large Language Models: A Survey
- Google Colabでの日本語Mambaの事前学習
- Memory and new controls for ChatGPT
- Your RAGs powered by Google Search technology, part 2
- オープンなLLM (大規模言語モデル) の発展と、それを活かした日本語LLMの開発について
- azure-functions-openai-extension
- 生成 AI のセキュリティと生産性を両立させる
- JDLAが、『生成AIの利用ガイドライン（画像編）』を公開
- Azure OpenAI Service の Assistants API を理解する
- CommonCrawlの生データをダウンロードして解析する練習
- UFO: A UI-Focused Agent for Windows OS Interaction
- RAG Fusionが思ってたより凄そう
- 「Copilot for Microsoft 365 ユーザー向け研修資料」を公開しました！
- DiskANN: Vector Search for Web Scale Search and Recommendation
- 【ローカルLLM】QLoRAの複雑なパラメータを（少しでも）整理する
- Kotomamba: Mamba State Space Model 分散学習ライブラリ
- GPT-4レベルの質問応答タスク性能をオープンソースモデルのLlama 2で実現する「ChatQA」NVIDIAが開発
- LangChain社LLMOpsツール「LangSmith」を触ってみた（詳細解説つき）
- GraphRAG: Unlocking LLM discovery on narrative private data
- ソフトウェアセキュリティはAIの登場でどう変わるか - OWASP LLM Top 10
- Style-Bert-VITS2 JP-Extra と LLM を用いた AI エージェント構築
- LlamaIndex v0.10 クイックスタートガイド - Python版
- 音声入出力でLLM on Google Colab
- Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート
- Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context
- Video generation models as world simulators
- ChatGPT for Developer - Promptのチカラ
- 【自然言語処理】テキストデータにラベル付けするサイトを作った
- [02/10~02/16] LLM Weekly News
- Microsoft 生成AI活用事例と評価方法について
- Secure Code Game
- 【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】
- 【AI動画生成】Sora 要素技術解説
- Ollama で Elyza-7B を試す
- LangChain v0.1 クイックスタートガイド - Python版
- Microsoft Copilot - Edge と Microsoft 365
- Chat with RTXでELYZA-japanese-Llama-2-7b-instructを試してみる
- Premise Order Matters in Reasoning with Large Language Models
- 2024.02.16_LLMを活用してオンライン薬局のオペレーションを自動化した話
- 日本語の事前学習データセット(OSCAR,mc4)を機械学習でクリーニングしてみる練習
- Generative AI Design Patterns: A Comprehensive Guide
- 教師なし学習で事前学習用のWebテキストを分類する
- ChatGPTを社内に配ってもあまり使われない本当の理由
- GitHub Copilotは開発者の生産性をどれだけ上げるのか？ZOZOでの全社導入とその効果
Google Colab で LLM-jp 13B v1.1 を試す
大規模言語モデルの構築の事前学習に使えそうなデータセット(主に日本語系)の整理メモ
- 日本語データセットが含まれるものをまとめた記事
Top Evaluation Metrics for RAG Failures
- RAGがうまくいかない時の解決方法を検討する際に参考になる記事
Agent AI: Surveying the Horizons of Multimodal Interaction
- マルチモーダルエージェントのサーベイ論文
Self-Discover: Large Language Models Self-Compose Reasoning Structures
- LLMがタスクごとに適切な推論プロセスを自ら考えて実行できるようにするためのプロンプト手法が考案された
Azure OpenAIでHyDEを使ったRAGの検索精度向上を目指す！
【Day 2】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】
LlamaIndex v0.10 の概要
- 「llama-index-core」を作成し、「Integration」を個別パッケージに分離
- 「llama-index」パッケージはまだ存在しており、「llama-index-core」と最小限の統合セットをインポートしている
Amazon Bedrockの導入効果をレビューでご紹介（KDDIアジャイル開発センター株式会社-みのるん
Google Colabで高性能？LLMモデル『Orion-14B』を試用してみる
- 「A100 GPU」を利用する
Large Language Models: A Survey
Google Colabでの日本語Mambaの事前学習
- Mambaは状態空間モデル
Memory and new controls for ChatGPT
- ChatGPTにメモリ機能がリリースされた
Your RAGs powered by Google Search technology, part 2
オープンなLLM (大規模言語モデル) の発展と、それを活かした日本語LLMの開発について
https://www.jaistso.or.jp/wp-content/uploads/2024/02/JAIST-SO_seminar_202403_2.pdf
azure-functions-openai-extension
- Azure FunctionでOpen AI LLMのバインディングをサポート
生成 AI のセキュリティと生産性を両立させる
JDLAが、『生成AIの利用ガイドライン（画像編）』を公開
- 画像生成のAIモデルを審査する手続きでの観点について記載されている
Azure OpenAI Service の Assistants API を理解する
- Knowledge retrievalはまだ公開されていない
- Code interpreter と Function calling の両方に対応しているモデルバージョンが完全に一致していない
- APIバージョンは、"2024-02-15-preview"のみ対応
- メッセージは新しいものから順に格納される
- Azure OpenAI Studio では、各操作を行った際にどのようなリクエストが投げられてるかを画面右側の Logs から確認することができるため、操作とリクエストの対応関係を直感的に理解しやすくなっている
- Azure OpenAI Studio からも新規アシスタントの作成を行ったり、既存のアシスタントを開いたりすることができる
CommonCrawlの生データをダウンロードして解析する練習
UFO: A UI-Focused Agent for Windows OS Interaction
RAG Fusionが思ってたより凄そう
- RAG Fusionは、RAG、Reciprocal Rank Fusion、生成されたクエリを組み合わせた新しいシステム
- RAG Fusionの流れ
- 複数クエリの生成
- ベクトル検索
- リランキング
- Outputの生成
「Copilot for Microsoft 365 ユーザー向け研修資料」を公開しました！
DiskANN: Vector Search for Web Scale Search and Recommendation
【ローカルLLM】QLoRAの複雑なパラメータを（少しでも）整理する
Kotomamba: Mamba State Space Model 分散学習ライブラリ
- 状態空間モデル SSM(State Space Models)では O(L) の計算量に抑えることで、長い系列長を高速に推論することができるモデルアーキテクチャ
- Mamba は状態空間モデルの1種であり、S4の問題点であった「入力に対して"動的"な推論が不可能である」という点を克服したモデル
- kotomambaとは、一言で言うと、Mambaを分散並列学習するためのライブラリ
GPT-4レベルの質問応答タスク性能をオープンソースモデルのLlama 2で実現する「ChatQA」NVIDIAが開発
- 指示チューニング（モデルをタスクに適応させること）を2段階で行うことにより、LLMの質問応答タスクのゼロショット性能が大幅に改善されるとのこと
LangChain社LLMOpsツール「LangSmith」を触ってみた（詳細解説つき）
- LangChain で実装した LLM アプリケーションの入出力履歴の実行トレースを、LangSmith のコンソール UI 上で確認できる
- LLM のファインチューニングや RAG、品質評価などに使用するデータセットを LangSmith のコンソール UI 上で管理できる
- 各実行トレースをアノテーションキューに保管し、LangSmith のコンソール UI 上で入出力文やフィードバック情報等をアノテーションできる
- LangSmith の Hub 機能では、プロンプトの作成とバージョン管理できる
GraphRAG: Unlocking LLM discovery on narrative private data
- GraghRAGはLLMが作成したナレッジグラフを使用して、質疑応答のパフォーマンスを大幅に向上させる
ソフトウェアセキュリティはAIの登場でどう変わるか - OWASP LLM Top 10
- AI関連ソフトウェアでは従来とは異なる保護施策も必要
- 入力値検証の複雑性が高まるなど
- AIを守る・調べるOSSツール実装も出てきている
Style-Bert-VITS2 JP-Extra と LLM を用いた AI エージェント構築
LlamaIndex v0.10 クイックスタートガイド - Python版
音声入出力でLLM on Google Colab
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート
- array型は数値専用のシーケンス型
- シーケンス型の値を後から変更しない時はタプルを使う
- setは要素の重複を想定しないかつ要素の順番を意識していない時に使う
- 戦闘や末尾の挿入・削除を実行するときは、dequeを使う
Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context
https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf
- ブログによる紹介は以下のページ
- Gemini1.5 Pro はより少ないコンピューティングの使用で1.0 Ultra と同等の品質
- MoEアーキテクチャが採用されている
- Gemini1.5 Pro は 1 時間のビデオ、11 時間のオーディオ、30,000 行以上のコードまたは 700,000 ワード以上のコードベースなど、膨大な量の情報を一度に処理できる
- 100万ト－クンまで利用できる
- 日本語で紹介した記事
Video generation models as world simulators
- Soraの概要は以下のページに記載されている
- openai.com
- プロンプトに従う最長1分のビデオを生成できる
- プロンプトで要求したことだけでなく、物理世界を理解してシミュレートするように教えている
- 拡散モデルで生成している
- DALL-EとGPTモデルの過去の研究に基づいている
- 日本語に訳した記事
- openai.com
- ビデオをパッチに変換している
- 視覚データの次元を削減するネットワークをトレーニングしている
- 拡散トランスフォーマーでビデオを生成している
- 画像やビデオをからビデオを生成することもできる
- 日本語に訳した記事
ChatGPT for Developer - Promptのチカラ
【自然言語処理】テキストデータにラベル付けするサイトを作った
[02/10~02/16] LLM Weekly News
Microsoft 生成AI活用事例と評価方法について
Secure Code Game
【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】
- TransformerとLLMの事前学習について学ぶときに参考となる資料が張られている
【AI動画生成】Sora 要素技術解説
- 以下の要素が主軸
Ollama で Elyza-7B を試す
- Ollamaのサイトに載っていないモデルは、自分で「Modelfile」を作成して、追加する必要がある
- 同じチャットテンプレートのモデルのモデルファイル名だけ変更すれば動く
LangChain v0.1 クイックスタートガイド - Python版
Microsoft Copilot - Edge と Microsoft 365
- Copilot を商用データ保護なしで使用できないようにするには、DNS 設定を変更する必要がある
Chat with RTXでELYZA-japanese-Llama-2-7b-instructを試してみる
Premise Order Matters in Reasoning with Large Language Models
- 前提条件の順序がモデルのパフォーマンスに影響する
2024.02.16_LLMを活用してオンライン薬局のオペレーションを自動化した話
- 以下を自動化した
日本語の事前学習データセット(OSCAR,mc4)を機械学習でクリーニングしてみる練習
Generative AI Design Patterns: A Comprehensive Guide
- 特定のタスク用の生成AIモデルを並行させる
- 大きなモデルはどのエージェントを使うかの判断に利用する
- 1つのAIが作成したコンテンツを別のAIが批判的に評価する
教師なし学習で事前学習用のWebテキストを分類する
- FastText + KMeansで、Webページをジャンル分けできるかを試した記事bed:cite]
ChatGPTを社内に配ってもあまり使われない本当の理由
- 素のChatGPTに解けるタスクは、要するに公開情報に基づくもの
- 特に活用素地が大きいのは、企画・マーケティング, 研究者・リサーチャー, ITエンジニア
- 社内の利用状況のギャップを埋めるための施策としては、「社内情報のコンテキストを持たせるRAGのレベルをどれだけ上げていくか？」という事が真に問うべき論点
