- 0.1-1B程度の日本語・大規模言語モデルを作る練習日記
- Swallow on mistral
- Swallow-MX: Mixtral日本語継続事前学習MoEモデル
- Azure AI Searchを使ったマルチモーダルRAGの実現
- LLMOpsを推進！Azure Log Analyticsを活用したLLMの継続的な監視と改善
- Retrieval-Augmented Generation for AI-Generated Content: A Survey
- NLP2024 チュートリアル３ 作って学ぶ日本語大規模言語モデル - 環境構築手順と実験ソースコード
- izumi-lab/llm-japanese-dataset
- Google Colab で Swallow MS 7B を試す
- 大規模言語モデルのフルスクラッチ作成の予習〜データセット取得、クリーニングまで〜
- ML 駆動の検索エンジンで企業の情報管理を革新 !Amazon Kendra をグラレコで解説
- Microsoft Fabric 開発ガイド
- SharePoint の共有リンクの仕組み
- Table TransformerとGPT-4Vを用いたPDF内の表の解析
- Stealing Part of a Production Language Model
- Chain-of-table: Evolving tables in the reasoning chain for table understanding
- JLR2024 プログラム 日本語言語資源の構築と利用性の向上
- LLM学習用QAデータセットの自動構築手法の提案
- RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
- 700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」を開発し、デモを公開しました
- Llama.cpp で Swallow MX 8x7B を試す
- OWASP Top 10 for LLM を活用した生成 AI アプリケーションの多層防御セキュリティ設計
- 今日から始めるChatGPT+Zapierで雑パーソナライズ情報収集
- LangGraphのグラフ可視化機能で複雑なタスクの流れを一目で把握
- 世界初？Claude3を使った動画解析 - claude3-video-analyzer
- RealPersonaChat
- Claude 3 Haiku の概要
- Artificial Intelligence Controller Interface (AICI)
- LLM
- Access to the most powerful Anthropic AI models begins today on Amazon Bedrock
- GPT4を使用したVision&Languageモデルの評価手法LLaVA-Benchを試す
- Enabling and Analyzing How to Efficiently Extract Information from Hybrid Long Documents with LLMs
- Prompt Tuning から Fine Tuning への移行時期推定
- MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training
- 「生成AI」(3) 松尾豊・東京大学大学院教授 2024.3.15
- データ分析基盤まとめ(随時更新)
0.1-1B程度の日本語・大規模言語モデルを作る練習日記
Swallow on mistral
Swallow-MX: Mixtral日本語継続事前学習MoEモデル
- Mixtralの継続事前学習に独自ライブラリを開発した
Azure AI Searchを使ったマルチモーダルRAGの実現
LLMOpsを推進！Azure Log Analyticsを活用したLLMの継続的な監視と改善
- コンソールログにあらかじめ分析用の情報を出力しておくことでAzure Log Analyticsで分析できる
Retrieval-Augmented Generation for AI-Generated Content: A Survey
NLP2024 チュートリアル３ 作って学ぶ日本語大規模言語モデル - 環境構築手順と実験ソースコード
izumi-lab/llm-japanese-dataset
- LLM構築用の日本語インストラクション(チャット)データセット
- 英語で構築されたLLMモデルなどに対して，チャット(Instruction)応答タスクに関してLoRAなどでチューニングするために使用できる
Google Colab で Swallow MS 7B を試す
大規模言語モデルのフルスクラッチ作成の予習〜データセット取得、クリーニングまで〜
ML 駆動の検索エンジンで企業の情報管理を革新 !Amazon Kendra をグラレコで解説
Microsoft Fabric 開発ガイド
SharePoint の共有リンクの仕組み
- 共有リンクを作成すると、サイトからの権限の継承を中止し、固有の権限を作成する
- ファイルの上位コンテナである「ライブラリ」自体も固有の権限となる
- 共有リンクを作成すると、自動的に特殊なSharePointグループが複数、自動作成される
Table TransformerとGPT-4Vを用いたPDF内の表の解析
- 表の部分の画像だけを抽出してから解析する方法の紹介
- Table Transformerを使うと、画像から表の部分だけを抜きだすことができる
Stealing Part of a Production Language Model
- ブラックボックスでLLMの隠れ層の次元サイズを取得する方法を紹介する論文
Chain-of-table: Evolving tables in the reasoning chain for table understanding
- Chain-of-Tableでは、コンテキスト内学習で表を更新して、表形式データ上の推論チェーンを表すようにガイドする
- 指示への回答促す中間ステップとなるように列を追加するなどを行う
JLR2024 プログラム 日本語言語資源の構築と利用性の向上
LLM学習用QAデータセットの自動構築手法の提案
RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
- CoTをしてからRAGをすることでスコアが改善したという論文
700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」を開発し、デモを公開しました
- 追加事前学習には、約100Bトークンの日本語コーパスを用いている
- 「ELYZA-japanese-Llama-2-70b」は「Claude Instant」や「GPT-3.5 Turbo (1106)」を上回り、その他のグローバルモデルとも遜色ないスコアを獲得
Llama.cpp で Swallow MX 8x7B を試す
OWASP Top 10 for LLM を活用した生成 AI アプリケーションの多層防御セキュリティ設計
今日から始めるChatGPT+Zapierで雑パーソナライズ情報収集
- ChatGPTを用いて、自分の興味に合致しているかのフィルターをかける
- 興味がある記事の場合は、ChatGPTに日本語要約に変換させている
LangGraphのグラフ可視化機能で複雑なタスクの流れを一目で把握
- ASCII形式でもPNG形式でも可視化できる
世界初？Claude3を使った動画解析 - claude3-video-analyzer
- Claude-3モデルのマルチモーダル機能を使って、動画を解析するプロジェクトを紹介した記事
RealPersonaChat
- 話者本人のペルソナと性格特性を含む，約14,000件の日本語雑談対話からなるコーパス
Claude 3 Haiku の概要
Artificial Intelligence Controller Interface (AICI)
- 人工知能コントローラー インターフェイス (AICI) を使用すると、大規模言語モデル (LLM) の出力をリアルタイムで制約および指示するコントローラーを構築するライブラリが発表された
- トークンの生成中にカスタムロジックを含めて、出力形式の制御などができる？
LLM
- CLIでLLMを呼べるツール
Access to the most powerful Anthropic AI models begins today on Amazon Bedrock
GPT4を使用したVision&Languageモデルの評価手法LLaVA-Benchを試す
- LLaVA-BenchはVisual Instruction Tuningで提案された画像理解と会話能力をGPT4を利用して定量的に図るために提案されたベンチマーク
- このベンチマークを使用することで会話、詳細な説明、複雑な推論の3つの能力をモデルが持っているか測定することができる
- データセットには画像と質問とGPT4の回答が含まれる
- GPT4の回答と性能を測定したいモデルの出力をGPT4に入力することでスコアを算出できる
Enabling and Analyzing How to Efficiently Extract Information from Hybrid Long Documents with LLMs
- 表とテキストを両方含むドキュメントからLLMで情報抽出する方法が提案された
Prompt Tuning から Fine Tuning への移行時期推定
- APIは2件 Few-Shotまで、コスト効率や安定性に不満ならば30～200件用意して公開モデルのファインチューニングがおすすめされている
MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training
- AppleがマルチモーダルLLMの構築について論文を出した
