speakerdeck.com
- Chain of ThoughtやReActを始めとする大規模言語モデルを使うために役立つ技術や知見を最新の研究成果に基づいて紹介したチュートリアル
- LLMはどのようなことができるか
- LLMの性能を最大限出すための技術・研究の解説
- プロンプト設計の実例紹介
2023年度版「データサイエンティスト スキルチェックリストver.5」および「データサイエンス領域タスクリスト ver.4」を発表
www.datascientist.or.jp
- データサイエンティストに必要とされるスキルをまとめた「データサイエンティスト スキルチェックリスト」の第５版が公開された
- 変更点
- 生成AI時代における「AI利活用スキル」を新たに追加。69項目を定義
- データサイエンス力のカテゴリ、サブカテゴリを目的軸、技術軸で再編成
- クラウド環境の管理スキル、学習済みモデルの利用スキルなどを追加
- DS領域スキルであったデータ理解カテゴリの一部をBZ領域スキルへ移管
- 各領域のカテゴリ、サブカテゴリや領域を跨るスキル、必須スキルの見直し
- 全体として572項目→650項目とした
MT-Benchによる各種LLMの日本語運用能力評価まとめ(23/10/31更新)
note.com
- MT-Benchを使ってさまざまなLLMの日本語の性能評価をした記事
- 以下の記事にもベンチマークがまとめられている
【独自分析】チャットGPTで大注目...「LLM=大規模言語モデル」を事業化するスタートアップが出現中
journal.startup-db.com
- LLMを事業に取り込むスタートアップを抽出した記事
- 調査ではSTARTUP DBに収録されているスタートアップおよそ21,000社を対象に、事業内容やプレスリリースにLLMの関連用語が含まれる企業を機械的に抽出した
- LLMを活用したプロダクトを展開している」か「LLMに関する研究開発を実施している」のいずれかに当てはまると判断できたケースを「LLM関連スタートアップ」と定義
rinna、Llama 2の日本語継続事前学習モデル「Youri 7B」を公開
rinna.co.jp
- Llama 2に日本語の学習データで継続事前学習を行った「Youri 7B」シリーズがLLAMA 2 Community Licenseで公開された
- 「Youri 7B Instruction」は、日本語の一問一答に応える能力が高くベンチマークにおいて高いスコアを達成
- 「Youri 7B Chat」は、複数ターンの対話データを用いて追加学習しているため対話性能が高いモデル
- GPTQで 4bit 量子化したモデルも公開された
LLMのファインチューニングのためのツール Axolotl
note.com
ELYZA、東京海上日動の事故対応におけるお客様応対業務で言語生成AIの活用に成功
prtimes.jp
- お客様への応対文面の作成業務において約50%の省力化に成功した
- 物損事故と人身事故のお問い合わせ複数ケースに対し、オペレーター単独で回答作成した処理時間と、言語AIの回答素案をもとに整形して回答作成した処理時間を比較し、省力化の程度を検証
- 言語生成AIが作成した発話草案のうち、そのまま回答に利用された文の割合は最低でも61％以上であった
- オペレーターの応対品質の均質化・向上にも寄与
- 国産の大規模言語モデル「ELYZA Brain」を活用した
AWS re:Invent 2023 で Generative AI を学ぼう！ 関連セッションを一挙紹介！
speakerdeck.com
Whisper-rinna/youri-7b-chat-VOICEVOX
colab.research.google.com
- rinna/youri-7b-chat デモに音声入力(Whisper)と音声合成(VOICEVOX)を追加して google colabの無料枠で動くノートブック
gguf版、japanese-stablelm-instruct-gamma-7b 実用 API サーバ・クライアント例
note.com
⼤規模⾔語モデルとVision-and-Language
speakerdeck.com
- IBIS2023の企画セッション「Vision and Languageの最前線」の資料
- NLP、V&Lの基盤モデルがどう学習され、何ができるか
- 基盤モデルを人間を使いやすくするためのInstruction-tuningとその代表的モデル
- GPT-4VがどのようなV&L能力を獲得したのか
Youri 7BをFastChatでChatGPT互換APIサーバとして動かして遊ぶ
qiita.com
Evaluating Large Language Models: A Comprehensive Survey
arxiv.org
- LLMの包括的なサーベイ論文
- 知識と能力評価、アライメント評価、安全性評価の3つの主要なグループにカテゴライズした
LangChain Templates
blog.langchain.dev
- さまざまなタスクに対応する参照アーキテクチャを簡単にデプロイできるコレクション
Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review
arxiv.org
- 現時点で主要なプロンプトエンジニアリングを整理した論文
- 以下の動画で解説されている
Amazon Bedrock で Interpreter を開発 !~ 日本語だけで AWS Lambda のコード生成とデプロイとテストまで完結 ~
aws.amazon.com
- ユーザーは使用する Lambda の Runtime を選択し、 Lambda 関数で実現したいことを日本語で入力して submit すると、アプリは Lambda のコードを出力するアプリを構築した記事
福井県、全庁で生成AIの実証を開始、若手職員による検証で業務削減などの効果
it.impress.co.jp
- 生成AIサービスの有効な利用法や課題を把握することを目的に若手職員約30人による検証を実施した結果の紹介記事
NTT版大規模言語モデル「tsuzumi」
www.rd.ntt
- 軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発
- 「tsuzumi」のパラメタサイズは6～70億
-「tsuzumi」は英語と日本語に対応し、1GPUやCPUでの推論動作を実現
-「 tsuzumi」は視覚や聴覚といったモーダルに対応
- Rakudaベンチマークでは、GPT-3.5にも勝率52.5%と上回り、その他の国産トップのLLM群に対しては勝率70%超と大きく上回る結果
rinna-youri-7b-instructionを作成済みの試験PGやAPIサーバ・クライアントで試す。
note.com
日本語大規模言語モデル「Japanese Stable LM Beta」シリーズをリリースしました
ja.stability.ai
- オープンな日本語大規模言語モデルの中で最高性能*のものを含む「Japanese Stable LM Beta (JSLM Beta)」シリーズがリリースされた
- 「JSLM Base Beta」は、Llama-2のbase モデルに対し、継続事前学習 (continued pretraining) を行ったもの
- 継続事前学習は Wikipedia, mC4, CC-100, OSCAR, SlimPajama（Books3を除く）等の日本語と英語データを利用し、のべ約1000億トークンで行われた
- SFT には Databricks Dolly-15k, Anthropic HH などの公開データセットが利用された
- 「JSLM JA-Vocab Beta」は、上述のプロセスに加え語彙の拡張を行ったモデル
独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―
www.cyberagent.co.jp
- 70億パラメータ・32,000トークン対応の日本語LLMが公開された
- 日本語および英語データで事前学習を行なった70億パラメータのベースモデルであるCyberAgentLM2-7Bと、チャット形式でのチューニングを行ったCyberAgentLM2-7B-Chatの2種類
- CyberAgentLM2-7B-Chatは入出力の長さとして32,000トークンに対応
- モデルは商用利用可能なApache License 2.0で提供
LLMを利用したFAQ検索の評価データセットの作成〜その２〜
www.ai-shift.co.jp
- FAQの回答内容から質問内容を抽出をベースに生成時のプロンプトの工夫に取り組んだ内容と知見の紹介記事
colab.research.google.com
Google Colab で CALM2 を試す
note.com
LLMを用いたSNSのテーマ推薦と投稿文の自動生成
engineering.dena.com
- あるX（旧Twitter）アカウントの過去の投稿文を用いて新たな投稿文を自動生成するというタスクに取り組んだ記事
Amazon SageMaker Canvas で生成系AIを利用できるようになりました
aws.amazon.com
- 説明文、レポート、ブログ投稿の作成、質問への回答、メモや記事の要約、概念の説明などのタスクを、コードを 1 行も記述せずに実行できる
Google Colab で Japanese Stable LM Beta 7B を試す
note.com
microsoft/generative-ai-for-beginners
github.com
技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
zenn.dev
「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する
aiboom.net
- 感情を取り入れたプロンプトを提供する「EmotionPrompt」の背景、コンセプト、性能検証方法、実験結果、そして実際に効果が確認されたプロンプト例について詳しく解説している記事
- 本アプローチを取り入れる際の注意点についても述べられている
生成AIが抱えるリスクと対策
speakerdeck.com
- セルフアラインメント
- ストレステスト
- プライバシー/PPMLと生成AI
リモートワークにおけるファシリテーションの方法論[増補版]_COPILOT
speakerdeck.com
もう初回コードレビューはずんだもんに任せる時代になった
zenn.dev
- Gitのステージングエリアにあるファイルを対象に、レビュー結果をSlackに通知するアプリケーションを作成
アクセンチュア「生成AIを活用した経営術・仕事術／最新動向」 Microsoft 365の生成AI機能「Copilot」の社内での活用法を公開
robotstart.info
天才か？ Azure OpenAI Service の Stream 出力をスムーズに見せかけるトリック
qiita.com
- フロントエンド側でタイマーをセットして 33 ミリ秒ごとに新しい文字を追加することで1文字ずつ表示しているように見える
