Advanced RAG Techniques: an Illustrated Overview
freedium.cfd
Retrieval-Augmented Generation (RAG):Paradigms, Technologies, and Trends
github.com
プロンプトの原則26ヶ条をまとめた報告
ai-data-base.com
- LLMに適切に反応させるための26の原則を紹介した論文の紹介
LangChain v0.1.0
blog.langchain.dev
社長(AI)に頼んで今度こそ商用利用可能な日本語マルチターン会話データセットを作ってもらった
note.com
- Tencentのllama2Pro8Bで日本語マルチターン会話データセットを作成した記事
- 作成されたデータセット
Smart load balancing for OpenAI endpoints using containers
techcommunity.microsoft.com
- Azure OpenAI Serviceの負荷分散に利用できるロードバランサーが公開された
AGIを見据えて専門家レベルの問題を集めたベンチマーク「MMMU」、GPT-4VやGemini Ultraでも正解率6割未満
ai-data-base.com
- LLMのレベルを測るために開発された、専門的な内容を多く含む新しいベンチマークMMMUについての論文を紹介した記事
M2UGen の概要
note.com
- 「M2UGen」は、テキスト・画像・動画からの音楽生成・音楽理解・音楽編集が可能
Web版ChatGPTのContext長と一度に入力可能なToken数
note.com
- Web版のGPT-4、GPT-3.5のContext長と一度の入力の最大Token数を調べた記事
画像からテーブル構造の抽出を GPT4V と Instructor を使って実現する
note.com
- GPT-4V を使って画像から表を抽出し、Instructor を使って表を整形するサンプルコード
github.com
「Notion AI」導入企業に見る「日常業務における生成AIの活用事例と導入効果」
japan.zdnet.com
- 生成AIを活用することで日常業務にどのようなメリットがもたらされるのか、実際にNotion AIを導入した企業の例を紹介した記事
- 以下の用途でNotion AIは利用される
- 「生産性の向上」
- 「品質の向上」
- 「アイデア創出」
2023年12月20日文化庁「AIと著作権に関する考え方について（素案）」についての考察（1）
storialaw.jp
- 「AIと著作権に関する考え方について（素案）」の「（1） 学習・開発段階」について検討した記事
- 「生成AIの学習段階における著作物利用行為を行うに際して、当該生成AIを用いて学習対象著作物の「表現上の本質的な特徴」を感じ取れるようなAI生成物の作成を目的として行う場合」
- AI学習時にはそのような目的がなかったが、結果的に生成・利用段階においてAIが学習した著作物に類似した生成物が生成されたからといって、学習時に遡って必ずそのような目的があると認定されるわけではない
人間のカリキュラム教育のような学習でLLMの性能は向上するとの報告
ai-data-base.com
- 人間の教材にインスパイアされたカリキュラム学習によるチューニング手法によってLLMを賢くする手法を検証した論文を紹介した記事
Unsloth + TRL でLLMファインチューニングを2倍速くする
note.com
- 「Unsloth」は、HuggingFaceと完全に互換性のある、より高速なLLMファインチューニングのための軽量ライブラリ
- ほとんどのNVIDIA GPUをサポートし、「TRL」(SFTTrainer、DPOTrainer、PPOTrainer) のトレーナー全体で使用できる
- サポートしているアーキテクチャは「Llama」と「Mistral」
育児中でもエンジニアとして技術キャッチアップするために編み出した西谷流・勉強法
levtech.jp
- 実際に手を動かすまではいかなくても、こういうときに「こういうものがある」という引き出しだけは常にアップデートしておく
Azure の ハンズオン・ワークショップ・ハッカソン 運営者のための環境の作り方
qiita.com
- 以下を実現するハッカソンを実現するための環境の作り方
- 運営側の Azure Subscription に簡単に参加者を追加・削除したい
- ハンズオンやハッカソンの期間中だけ、参加者が使えるようにしたい
- チーム単位でも、アクセスできるコンピューターリソースの設定を用意に管理したい
機械学習を「社会実装」するということ 2024年版
speakerdeck.com
これからのLangChainとの向き合い方／第16回もくもくLangChainレポート
note.com
wandb を活用して LangChain を 日本語ローカルLLM 対応させる
note.com
- 「ELYZA-japanese-Llama-2-7b」と埋め込みモデル「multilingual-e5-large」でRAGを作成した記事
- 「wandb」でLLMの入出力を簡単に確認できる
LangChainキャッチアップ - LangChain Expression Languageを完全に理解する
speakerdeck.com
- ChatModelのインポート元が変更になった
- JsonOutputParserを使うだけでなく、JSONを出力するようにプロンプトに含めれる必要がある
Geminiの「常識を推論する能力」を網羅的に調査した結果 間違えやすいタイプの問題も明らかに
ai-data-base.com
- 様々な常識推論タスクを通じてGeminiの性能を評価した研究を紹介した記事
Generative AIのビジネス動向を把握する20のレポート集
note.com
arxiv.org
Gartner、日本の企業がセキュリティに関して2024年に押さえておくべき10の重要論点を発表
www.gartner.co.jp
LLMの内部状態を観察することで「出力がハルシネーションか否かを判別する」手法『LLMファクトスコープ』
ai-data-base.com
- LLMが出力を生成する際に「事実と非事実で異なる内部状態を示す」という仮説に基づき、新しい検証アプローチ『LLMファクトスコープ』の研究を紹介する記事
GTPs における一文でできる Prompt Injection (Prompt Leaking) 対策
note.com
プリウス開発に見るアジャイル開発要素と今時の進め方：続編
speakerdeck.com
[01/06~01/12] LLM Weekly News by EXPLAZA
note.com
Serverless + Fargate構成で継続的デリバリーの速度を劇的に改善した話
speakerdeck.com
無料枠Google Colab で LLaMA-Factory をやってみた
hamaruki.com
- LLaMA-Factoryは、大規模言語モデル（LLM）のファインチューニングを容易にするツール
Google Colab で Moore-AnimateAnyone を試す
note.com
- 「Moore-AnimateAnyone」は、「AnimateAnyone」の再現実装
- 元の論文で実証された結果を一致させるために、さまざまなアプローチやトリックを採用していますが、それらは論文や別の実装とは多少異なる場合がある
未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜
speakerdeck.com
- Amazon Q機能一覧
- CodeWhisperer Customization
- プライベートコードリポジトリを読みこませ、内部ライブラリやAPIを含むコードを生成できるようになる
- Amazon BedrockとStep Functionの統合をサポートされている
Google Colab：Mergekitによる日本語モデルMoEの作成
note.com
- rinna/youri-7b-chatとrinna/youri-7b-instructionを使って、MoEモデルを作成した記事
