2023年7月3日の週に気になった記事などまとめ

外部データをRetrievalしてLLM活用する上での課題と対策案

tech-blog.abeja.asia

• 社内ドキュメントを元に回答するLLMを作成するケースに関する課題と対策案について紹介した記事
• 紹介されている課題
  • 関連テキストを抽出するRetrievalがうまくいかない

GPT系の日本語LLMモデル

note.com

• GPT系の日本語LLMのリンクをまとめた記事

sudy-super/CoTangent

huggingface.co

• 人手で作成した高品質でクリーンな100セットの日本語用CoT用データセット

日本語に特化した大規模言語モデル（生成AI）を試作

www.nict.go.jp

• NICTは独自に取集した350GBの日本語Webテキストのみを用いて、400億パラメータの大規模言語モデルを開発した
• 現在1,790億パラメータの大規模言語モデルの学習を実施中

第2回 LLM 勉強会

llm-jp.nii.ac.jp

• 国立情報学研究所にて開催された第2回 LLM 勉強会の資料
• LLM開発に実際に取り組んだ方がどのような点で苦労したかが共有されている

OpenAIの埋め込みよりも高性能？多言語E5を日本語で評価してみる

hironsan.hatenablog.com

• 多言語のテキスト埋め込み用のモデルであるMultilingual-E5-largeの性能を日本語のデータセットで評価した記事
• 日本語のデータセットであるJSTSを利用して、text-embedding-ada-002と比較した
• 日本語データに対して、E5の小さなモデルはtext-embedding-ada-002と同じくらいの性能であり、大きなモデルは上回る性能となった

複数の ChatGPT プラグインを開発し AI オーケストレーションを実行するサンプルコード

qiita.com

• 2 つの異なるシステムを ChatGPT プラグインとして公開し、これを AI オーケストレーターである LangChain から呼ぶデモ

Using Azure OpenAI like a Pro to build powerful AI applications

github.com

• Azure OpenAI Serviceを使用したソリューションの作成方法を学ぶワークショップ資料
• アプリ側をAppServiceで作成している例が多い
• Azure Functionでバックエンド側を作成している

GPT-4 API general availability and deprecation of older models in the Completions API

openai.com

• GPT-4 APIがGAされた
• GPT-4とGPT-3.5 Turboのファインチューニングが今年後半に利用可能になる
• Completion APIを使用する古いモデルが2024年1月4日以降利用できなくなる
• 古いembeddingsモデルも2024年1月4日に利用できなくなる
• Azure OpenAI Serviceも同様の発表をしている
  • techcommunity.microsoft.com

Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。

dev.classmethod.jp

• Prompt Flowの紹介記事
• フローが完成したらデプロイできる
  • 作成したフローをAPIとして呼び出せる