SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2023年9月4日の週に気になった記事などまとめ

気になったものまとめ

ChatGPTに渡す文章の適切な区切り線について検証した記事

note.com

  • ChatGPTに渡すプロンプトの文章を区切る文字列を何にするとよいかを検証した記事
    • 各区切り文字のトークン数とGPT-4への質問で検証している

小売業で売り上げ数量の予測を実現するサンプルソリューションを公開しました

aws.amazon.com

  • 小売業で、過去の販売データをもとに売り上げ数量を予測する仕組みのサンプルソリューション
  • 実績データをDWHに取り込んで前処理し、LightGBMベースの予測を出すまでの仕組みをAWS Cloud Development Kit (CDK) ベースで実現している

OWASP Top 10 for LLMでLLM Applicationsのセキュリティについて学ぶ

zenn.dev

  • OWASP Top10 for LLMの内容を紹介する記事

【ChatGPTにできることを正しく理解する①】ChatGPTの技術概説 前編

www.youtube.com

  • ChatGPTの技術概説動画
  • インタラクションしやすい言語モデルをどのように実現しているかなどが説明されている

LangChainを使ったRAGをElyza 7bを用いて試してみた

note.com

  • LangChainを使ったRAGをELYZA-japanese-Llama-2-7b-instructを用いて試した記事

大規模言語モデル

speakerdeck.com

AIはゲームをどのように変えるのか

https://hillbig.github.io/CEDEC2023_okanohara.pdf

  • CEDEC 2023での基調講演「AIはゲームをどう変えるのか」の講演資料
  • 大規模言語モデル、拡散モデル、ニューラル場などについて説明されている
  • 動画

LangChainでストリーミングを有効にしつつ、会話やRAGのトークン消費数を計測する方法

note.com

  • LangChainを使用するときのトークン消費量をストリーミングを有効にした状態で計測する方法

LLMファインチューニングの LoRA と フルパラメータ の比較

note.com

  • 「GSM8k」「ViGGO」「SQL」の3つのデータセットで「Llama 2」を「LoRA」と「フルパラメータ」でファインチューニングして調査した記事の日本語訳
  • 数千の例を使ったファインチューニングのみでは、数学的な推論能力を学習することは難しい -「LoRA」が良い性能を発揮するタスクであっても、学習を安定させるために「学習率」を調整する必要がある

多様な役割のAIエージェント達に協力してソフトウェアを開発してもらう『ChatDev』登場。論文内容＆使い方を解説

aiboom.net

  • 実際にChatDevを試し、使い方を含めて解説した記事

自動運転EV開発のチューリング、日英言語対応のマルチモーダル学習ライブラリ「Heron」と最大700億パラメータの大規模モデル群を公開

prtimes.jp

  • 日本語を含む複数言語対応の大規模マルチモーダル学習ライブラリ「Heron（ヘロン）」と、それにより学習した最大700億パラメータのモデル群が公開された
  • ソースコードのライセンスは「Apache License 2.0」
  • モデルのライセンスは「cc-by-nc-4.0」

2023年9月4日実施されたLLM勉強会の資料

llm-jp.nii.ac.jp

  • LLM勉強会の資料が公開されている
    • Model imitationによるInstruction tuningのサーベイ（水木）
    • PEFT: LazyLoRA （Wu）
    • Stability AI Japanにおける大規模言語モデルの研究開発（Lee）
    • 生成AI構築と著作権（柿沼）
    • 日英2ヶ国語対応の大規模言語モデル “Weblab-10B” の構築（小島）

OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる

note.com

  • OpenInterpreterを試した記事

ＡＩ戦略会議　第５回

www8.cao.go.jp

  • ＡＩ戦略会議　第５回の資料
    • 資料1-1広島AIプロセス閣僚級会合の報告（PDF形式：1056KB）PDFを別ウィンドウで開きます
    • 資料1-2新AI事業者ガイドラインスケルトン（案）（PDF形式：279KB）PDFを別ウィンドウで開きます
    • 資料2AI関連の主要な施策について（PDF形式：843KB）PDFを別ウィンドウで開きます
    • 資料3-1知的財産権の今後の検討について（PDF形式：348KB）PDFを別ウィンドウで開きます
    • 資料3-3ChatGPT等の生成AIの業務利用に関する申合せ（第2版）（案）（PDF形式：487KB）PDFを別ウィンドウで開きます
    • 資料3-4総務省・NICTが整備する学習用言語データのアクセス提供について（PDF形式：528KB）PDFを別ウィンドウで開きます

Pythonの開発環境の3つの観点をおさえよう

zenn.dev

  • 「そもそも Python の開発環境にはどんな観点があるんだ？このツールはなにを解決してくれるんだ？」という話をまとめた記事

日本語LUKEで単語境界を扱えるようにトークナイザを変更したモデルを公開します

tech.uzabase.com

  • 日本語LUKEで単語境界を扱えるようにトークナイザを変更したモデルを公開した記事
  • トークナイザをSentencepieceからWordPieceに変更した