SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2024年2月12日の週に気になった記事などまとめ

Google Colab で LLM-jp 13B v1.1 を試す

note.com

  • 日英両データセットによるSFT、ichikaraデータセットの追加+DPOで対話応答性能が向上している

大規模言語モデルの構築の事前学習に使えそうなデータセット(主に日本語系)の整理メモ

note.com

  • 日本語データセットが含まれるものをまとめた記事

Top Evaluation Metrics for RAG Failures

towardsdatascience.com

  • RAGがうまくいかない時の解決方法を検討する際に参考になる記事

Agent AI: Surveying the Horizons of Multimodal Interaction

arxiv.org

  • マルチモーダルエージェントのサーベイ論文

Self-Discover: Large Language Models Self-Compose Reasoning Structures

arxiv.org

  • LLMがタスクごとに適切な推論プロセスを自ら考えて実行できるようにするためのプロンプト手法が考案された

Azure OpenAIでHyDEを使ったRAGの検索精度向上を目指す!

zenn.dev

  • PythonライブラリでHyDEを実装してみた記事
  • HyDEの類似度はベーシックの場合と比較して正しい回答と間違った回答の類似度の差が大きくなっている

【Day 2】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】

qiita.com

LlamaIndex v0.10 の概要

note.com

  • 「llama-index-core」を作成し、「Integration」を個別パッケージに分離
  • 「llama-index」パッケージはまだ存在しており、「llama-index-core」と最小限の統合セットをインポートしている

Amazon Bedrockの導入効果をレビューでご紹介(KDDIアジャイル開発センター株式会社-みのるん

findy-tools.io

  • Amazon Bedrockの採用の決め手
    • AWSクラウドサービスを使い慣れたエンジニアが多かった点
    • スピーディな開発に便利なマネージドサービスのラインナップが豊富だった点

Google Colabで高性能?LLMモデル『Orion-14B』を試用してみる

tech.dentsusoken.com

  • 「A100 GPU」を利用する

Large Language Models: A Survey

arxiv.org

Google Colabでの日本語Mambaの事前学習

note.com

  • Mambaは状態空間モデル

Memory and new controls for ChatGPT

openai.com

  • ChatGPTにメモリ機能がリリースされた

Your RAGs powered by Google Search technology, part 2

cloud.google.com

  • RAGシステムを構築するのに役立つテクノロジーを紹介した記事
  • ナレッジグラフがVertex AI Searchと統合されている

オープンなLLM (大規模言語モデル) の発展と、それを活かした日本語LLMの開発について

https://www.jaistso.or.jp/wp-content/uploads/2024/02/JAIST-SO_seminar_202403_2.pdf

azure-functions-openai-extension

github.com

生成 AI のセキュリティと生産性を両立させる

speakerdeck.com

JDLAが、『生成AIの利用ガイドライン(画像編)』を公開

www.jdla.org

  • 画像生成のAIモデルを審査する手続きでの観点について記載されている

Azure OpenAI Service の Assistants API を理解する

zenn.dev

  • Knowledge retrievalはまだ公開されていない
  • Code interpreter と Function calling の両方に対応しているモデルバージョンが完全に一致していない
  • APIバージョンは、"2024-02-15-preview"のみ対応
  • メッセージは新しいものから順に格納される
  • Azure OpenAI Studio では、各操作を行った際にどのようなリクエストが投げられてるかを画面右側の Logs から確認することができるため、操作とリクエストの対応関係を直感的に理解しやすくなっている
  • Azure OpenAI Studio からも新規アシスタントの作成を行ったり、既存のアシスタントを開いたりすることができる

CommonCrawlの生データをダウンロードして解析する練習

note.com

UFO: A UI-Focused Agent for Windows OS Interaction

arxiv.org

  • GPT-visionの機能を利用して、Windows OS上のアプリケーションに合わせたユーザー要求を満たすエージェントを紹介する論文

RAG Fusionが思ってたより凄そう

zenn.dev

  • RAG Fusionは、RAG、Reciprocal Rank Fusion、生成されたクエリを組み合わせた新しいシステム
  • RAG Fusionの流れ
    • 複数クエリの生成
    • ベクトル検索
    • リランキング
    • Outputの生成

「Copilot for Microsoft 365 ユーザー向け研修資料」を公開しました!

blog.cloudnative.co.jp

DiskANN: Vector Search for Web Scale Search and Recommendation

www.microsoft.com

  • リアルタイムな変更と単純なフィルターをサポートする大規模なベクトル検索用のコスト効率の高い近似最近傍検索アルゴリズム
  • 以下にリポジトリがある

【ローカルLLM】QLoRAの複雑なパラメータを(少しでも)整理する

note.com

Kotomamba: Mamba State Space Model 分散学習ライブラリ

zenn.dev

  • 状態空間モデル SSM(State Space Models)では O(L) の計算量に抑えることで、長い系列長を高速に推論することができるモデルアーキテクチャ
  • Mamba は状態空間モデルの1種であり、S4の問題点であった「入力に対して"動的"な推論が不可能である」という点を克服したモデル
  • kotomambaとは、一言で言うと、Mambaを分散並列学習するためのライブラリ

GPT-4レベルの質問応答タスク性能をオープンソースモデルのLlama 2で実現する「ChatQA」NVIDIAが開発

ai-data-base.com

  • 指示チューニング(モデルをタスクに適応させること)を2段階で行うことにより、LLMの質問応答タスクのゼロショット性能が大幅に改善されるとのこと

LangChain社LLMOpsツール「LangSmith」を触ってみた(詳細解説つき)

tech-blog.abeja.asia

  • LangChain で実装した LLM アプリケーションの入出力履歴の実行トレースを、LangSmith のコンソール UI 上で確認できる
  • LLM のファインチューニングや RAG、品質評価などに使用するデータセットを LangSmith のコンソール UI 上で管理できる
  • 各実行トレースをアノテーションキューに保管し、LangSmith のコンソール UI 上で入出力文やフィードバック情報等をアノテーションできる
  • LangSmith の Hub 機能では、プロンプトの作成とバージョン管理できる

GraphRAG: Unlocking LLM discovery on narrative private data

www.microsoft.com

  • GraghRAGはLLMが作成したナレッジグラフを使用して、質疑応答のパフォーマンスを大幅に向上させる

ソフトウェアセキュリティはAIの登場でどう変わるか - OWASP LLM Top 10

speakerdeck.com

  • AI関連ソフトウェアでは従来とは異なる保護施策も必要
    • 入力値検証の複雑性が高まるなど
  • AIを守る・調べるOSSツール実装も出てきている

Style-Bert-VITS2 JP-Extra と LLM を用いた AI エージェント構築

note.com

LlamaIndex v0.10 クイックスタートガイド - Python

note.com

音声入出力でLLM on Google Colab

colab.research.google.com

Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート

qiita.com

  • array型は数値専用のシーケンス型
  • シーケンス型の値を後から変更しない時はタプルを使う
  • setは要素の重複を想定しないかつ要素の順番を意識していない時に使う
  • 戦闘や末尾の挿入・削除を実行するときは、dequeを使う

Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context

https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf

  • ブログによる紹介は以下のページ
  • Gemini1.5 Pro はより少ないコンピューティングの使用で1.0 Ultra と同等の品質
  • MoEアーキテクチャが採用されている
  • Gemini1.5 Pro は 1 時間のビデオ、11 時間のオーディオ、30,000 行以上のコードまたは 700,000 ワード以上のコードベースなど、膨大な量の情報を一度に処理できる
    • 100万ト-クンまで利用できる
  • 日本語で紹介した記事

Video generation models as world simulators

openai.com

  • Soraの概要は以下のページに記載されている
    • openai.com
      • プロンプトに従う最長1分のビデオを生成できる
      • プロンプトで要求したことだけでなく、物理世界を理解してシミュレートするように教えている
      • 拡散モデルで生成している
      • DALL-EとGPTモデルの過去の研究に基づいている
    • 日本語に訳した記事
  • ビデオをパッチに変換している
  • 視覚データの次元を削減するネットワークをトレーニングしている
  • 拡散トランスフォーマーでビデオを生成している
  • 画像やビデオをからビデオを生成することもできる
  • 日本語に訳した記事

ChatGPT for Developer - Promptのチカラ

speakerdeck.com

自然言語処理】テキストデータにラベル付けするサイトを作った

qiita.com

[02/10~02/16] LLM Weekly News

note.com

Microsoft 生成AI活用事例と評価方法について

speakerdeck.com

  • MicrosoftにおけるCopilotの利用と評価が定量的に記載されている
  • 業務シーンごとのゴールデンプロンプトだけを徹底的に周知する

Secure Code Game

github.com

  • コード内の脆弱なパターンを特定して修正する方法を学べるリポジトリ
  • 毎月60時までGitHub Code Spacesの無料枠で実施できる

【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】

qiita.com

  • TransformerとLLMの事前学習について学ぶときに参考となる資料が張られている

【AI動画生成】Sora 要素技術解説

zenn.dev

  • 以下の要素が主軸
    • 動画データを潜在空間に圧縮した後、Transformerがトークンとして利用できる「時空潜在パッチ」に変換する技術
      • 画像生成でのVAE
    • Transoformerベースのビデオ拡散モデル
    • DALLE3を用いた高精度なビデオキャプショニングによるデータセット作成

Ollama で Elyza-7B を試す

note.com

  • Ollamaのサイトに載っていないモデルは、自分で「Modelfile」を作成して、追加する必要がある
    • 同じチャットテンプレートのモデルのモデルファイル名だけ変更すれば動く

LangChain v0.1 クイックスタートガイド - Python

note.com

Microsoft Copilot - Edge と Microsoft 365

shanqiai.lekumo.biz

  • Copilot を商用データ保護なしで使用できないようにするには、DNS 設定を変更する必要がある

Chat with RTXでELYZA-japanese-Llama-2-7b-instructを試してみる

note.com

Premise Order Matters in Reasoning with Large Language Models

arxiv.org

  • 前提条件の順序がモデルのパフォーマンスに影響する

2024.02.16_LLMを活用してオンライン薬局のオペレーションを自動化した話

speakerdeck.com

  • 以下を自動化した
    • 処方箋情報から医薬品の処方情報を抜き出して構造化する
      • GPT-4Vで処方情報を正しく構造化することができる
    • 構造化したテキストをJSON化する
      • JSON化を担保するためにGPT-4Turboを使う
    • 処方情報からその医薬品の添付文書を取得する
    • 処方情報とその医薬品の添付文書を照らし合わせて疑似照会を自動作成する

日本語の事前学習データセット(OSCAR,mc4)を機械学習でクリーニングしてみる練習

note.com

Generative AI Design Patterns: A Comprehensive Guide

towardsdatascience.com

  • 特定のタスク用の生成AIモデルを並行させる
    • 大きなモデルはどのエージェントを使うかの判断に利用する
  • 1つのAIが作成したコンテンツを別のAIが批判的に評価する

教師なし学習で事前学習用のWebテキストを分類する

note.com

  • FastText + KMeansで、Webページをジャンル分けできるかを試した記事bed:cite]

ChatGPTを社内に配ってもあまり使われない本当の理由

qiita.com

  • 素のChatGPTに解けるタスクは、要するに公開情報に基づくもの
    • 特に活用素地が大きいのは、企画・マーケティング, 研究者・リサーチャー, ITエンジニア
  • 社内の利用状況のギャップを埋めるための施策としては、「社内情報のコンテキストを持たせるRAGのレベルをどれだけ上げていくか?」という事が真に問うべき論点

GitHub Copilotは開発者の生産性をどれだけ上げるのか?ZOZOでの全社導入とその効果

speakerdeck.com