SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2024年1月15日の週に気になった記事などまとめ

気になったものまとめ

Self-Extendでfine-tuningせずに長文コンテキストを扱おう

note.com

AIと著作権に関する考え方について（素案）令和6年1月15日時点版

https://www.bunka.go.jp/seisaku/bunkashingikai/chosakuken/hoseido/r05_06/pdf/93988501_02.pdf

Survey of Vector Database Management Systems

arxiv.org

LLMにおける情報抽出（文章から必要な事柄を読み取る）タスクについての調査

ai-data-base.com

  • 様々な情報抽出タスクにおけるLLM活用を網羅的に調査した研究を紹介した記事

コスト最適化のはなし with Microsoft Copilot for Azure

speakerdeck.com

  • Azureのコスト最適化手法を紹介したスライド
  • コスト最適化は継続タスク
    • 節約プランの対象が広がるなどの変化があるため

deepseek-ai/DeepSeek-MoE

github.com

  • Expertを細かくわけたMoEモデル
  • 同様の数の有効化パラメータのモデルを大幅に上回るベンチマーク

データ分析の落とし穴。「良い指標」は変化する

www.moderntimes.tv

  • ユーザーが増えれば、良い指標は変わる

大規模言語モデル: Mixture of experts(MOE)のMixtral-8x7B-Instruct-v0.1で遊ぶ

note.com

  • Mixtral-8x7B-Instruct-v0.1の推論とLoRAファインチューニングについて記載した記事

LLMのプロンプトをCI/CDで評価する。promptfooを使って

tech.gunosy.io

  • プロンプトやモデルの比較を行うためのツール「promptfoo」を紹介した記事

Bringing the full power of Copilot to more people and businesses

blogs.microsoft.com

  • Copilot for Microsoft365の300シート制限が削除された
  • Office365 E3 E5の顧客もCopilotを利用できるようになった
  • 日本語記事

HuggingFaceM4/VLM_WebSight_finetuned

huggingface.co

実録レガシーコード改善

speakerdeck.com

  • ソフトウェア開発の3本柱
    • バージョン管理
    • テスト
    • 自動化

“AI生成の文章／画像だけ”でデータを学習する手法　人間が作るものは一切使わず　GoogleとMITが開発

www.itmedia.co.jp

  • 合成画像と合成キャプションから視覚表現を学習するアプローチを提案した研究報告を紹介する記事

ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (3) 英語での性能評価編

zenn.dev

  • 英語モデルの日本語化にあたって失われる能力についての分析した
    • 追加事前学習とSFTを用いた英語モデルの日本語化により、元のモデルが持っていた能力がどの程度失われているかを確認した記事
  • 日本語により追加継続事前学習で英語性能の劣化が起こる
  • SFTにより多少、追加事前学習のみのモデルよりも英語性能が回復する

Security Best Practices for GenAI Applications (OpenAI) in Azure

techcommunity.microsoft.com

  • Azure OpenAIを活用したアプリケーションを保護するためのベストプラクティスを紹介した記事

Stable Code 3B - エッジでのコーディング

ja.stability.ai

  • MabBook AirのようなGPUがないノートパソコンでもオフラインで動作する
  • 商用利用するためにはStability AIメンバーシップへの登録が必要

継続学習における事前学習言語モデルを比較する

ai-scholar.tech

  • 継続学習と事前学習モデルを組み合わせた場合における性能について包括的な比較研究を行い、事前学習モデルを利用した継続学習に関する様々な情報を明らかにした論文について紹介した記事

1.1Bパラメータの小さなモデルを巨大データ（約3兆トークン）で訓練したモデル『TinyLlama』が、比較的優秀な性能を発揮

ai-data-base.com

  • 研究者らは1.1Bパラメータの「TinyLlama」を約3兆トークンで訓練して様々なタスク（常識推論や問題解決）で実験した結果を報告した研究を紹介した記事

Generate AI powered insights for Amazon Security Lake using Amazon SageMaker Studio and Amazon Bedrock

aws.amazon.com

  • Amazon Bedrockを用いて、SageMaker Studioの機能を強化し、セキュリティアナリストがセキュリティ調査を加速させるソリューションを紹介した記事

LLMに「自分自身との対戦」で能力を向上させる手法『Self-Play Fine-Tuning（SPIN）』

ai-data-base.com

  • LLMに自身の出力をアップデートさせ続け、品質を向上させる自己学習手法の「SPIN」について紹介した記事

RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture

arxiv.org

  • RAGとファインチューニングの定量的、定性的な利点を農業に対する適用を用いて説明した記事

テキスト検索の原点：全文検索のしくみと活用ポイント

speakerdeck.com

  • 検索道具の選び方
    • 検索+ランカー
      • 検索結果のランキングがいまいちのときは、別のアルゴリズムや外部の情報でリランクする
      • ベクトル検索の調整はファインチューニング
  • 道具だけに頼らずに工夫する
    • 既存DBのインデックスを流用する
    • LLMに必要な条件がそろうまで聞き返しさせる
    • 入力されなくてもわかっている条件を自動的に補う

Copilot プロンプトの詳細

support.microsoft.com

  • Copilotのプロンプトについて紹介したページ

Baseline OpenAI end-to-end chat reference architecture

learn.microsoft.com

hako-mikan/sd-webui-traintrain

github.com

  • Stable DiffusionのLoRAファインチューニングをWebUI上から実施するツール

"クラウドアプリケーション 10の設計原則" をもっと楽しむ

speakerdeck.com

  • クラウドアプリケーション10の設計原則で紹介された原則について紹介したスライド

Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering

arxiv.org

  • LLMを活用してコード生成へのアプローチを提案した論文

StabilityAIのstable-code-3bをGoogle Colabで使う方法

note.com

2024年1月8日の週に気になった記事などまとめ

気になったものまとめ

Advanced RAG Techniques: an Illustrated Overview

freedium.cfd

github.com

プロンプトの原則26ヶ条をまとめた報告

ai-data-base.com

  • LLMに適切に反応させるための26の原則を紹介した論文の紹介

LangChain v0.1.0

blog.langchain.dev

社長(AI)に頼んで今度こそ商用利用可能な日本語マルチターン会話データセットを作ってもらった

note.com

Smart load balancing for OpenAI endpoints using containers

techcommunity.microsoft.com

AGIを見据えて専門家レベルの問題を集めたベンチマーク「MMMU」、GPT-4VやGemini Ultraでも正解率6割未満

ai-data-base.com

  • LLMのレベルを測るために開発された、専門的な内容を多く含む新しいベンチマークMMMUについての論文を紹介した記事

M2UGen の概要

note.com

  • 「M2UGen」は、テキスト・画像・動画からの音楽生成・音楽理解・音楽編集が可能

Web版ChatGPTのContext長と一度に入力可能なToken数

note.com

  • Web版のGPT-4、GPT-3.5のContext長と一度の入力の最大Token数を調べた記事

画像からテーブル構造の抽出を GPT4V と Instructor を使って実現する

note.com

  • GPT-4V を使って画像から表を抽出し、Instructor を使って表を整形するサンプルコード

stanford-oval/WikiChat

github.com

「Notion AI」導入企業に見る「日常業務における生成AIの活用事例と導入効果」

japan.zdnet.com

  • 生成AIを活用することで日常業務にどのようなメリットがもたらされるのか、実際にNotion AIを導入した企業の例を紹介した記事
  • 以下の用途でNotion AIは利用される
    • 「生産性の向上」
    • 「品質の向上」
    • 「アイデア創出」

2023年12月20日文化庁「AIと著作権に関する考え方について（素案）」についての考察（1）

storialaw.jp

  • 「AIと著作権に関する考え方について（素案）」の「（1）　学習・開発段階」について検討した記事
  • 「生成AIの学習段階における著作物利用行為を行うに際して、当該生成AIを用いて学習対象著作物の「表現上の本質的な特徴」を感じ取れるようなAI生成物の作成を目的として行う場合」
  • AI学習時にはそのような目的がなかったが、結果的に生成・利用段階においてAIが学習した著作物に類似した生成物が生成されたからといって、学習時に遡って必ずそのような目的があると認定されるわけではない

人間のカリキュラム教育のような学習でLLMの性能は向上するとの報告

ai-data-base.com

  • 人間の教材にインスパイアされたカリキュラム学習によるチューニング手法によってLLMを賢くする手法を検証した論文を紹介した記事

Unsloth + TRL でLLMファインチューニングを2倍速くする

note.com

  • 「Unsloth」は、HuggingFaceと完全に互換性のある、より高速なLLMファインチューニングのための軽量ライブラリ
    • ほとんどのNVIDIA GPUをサポートし、「TRL」(SFTTrainer、DPOTrainer、PPOTrainer) のトレーナー全体で使用できる
    • サポートしているアーキテクチャは「Llama」と「Mistral」

育児中でもエンジニアとして技術キャッチアップするために編み出した西谷流・勉強法

levtech.jp

  • 実際に手を動かすまではいかなくても、こういうときに「こういうものがある」という引き出しだけは常にアップデートしておく

Azure の ハンズオン・ワークショップ・ハッカソン 運営者のための環境の作り方

qiita.com

  • 以下を実現するハッカソンを実現するための環境の作り方
    • 運営側の Azure Subscription に簡単に参加者を追加・削除したい
    • ハンズオンやハッカソンの期間中だけ、参加者が使えるようにしたい
    • チーム単位でも、アクセスできるコンピューターリソースの設定を用意に管理したい

機械学習を「社会実装」するということ 2024年版

speakerdeck.com

これからのLangChainとの向き合い方／第16回もくもくLangChainレポート

note.com

  • LangChainライブラリが分割された

wandb を活用して LangChain を 日本語ローカルLLM 対応させる

note.com

  • 「ELYZA-japanese-Llama-2-7b」と埋め込みモデル「multilingual-e5-large」でRAGを作成した記事
  • 「wandb」でLLMの入出力を簡単に確認できる

LangChainキャッチアップ - LangChain Expression Languageを完全に理解する

speakerdeck.com

  • ChatModelのインポート元が変更になった
  • JsonOutputParserを使うだけでなく、JSONを出力するようにプロンプトに含めれる必要がある

Geminiの「常識を推論する能力」を網羅的に調査した結果　間違えやすいタイプの問題も明らかに

ai-data-base.com

  • 様々な常識推論タスクを通じてGeminiの性能を評価した研究を紹介した記事

Generative AIのビジネス動向を把握する20のレポート集

note.com

The Butterfly Effect of Altering Prompts: How Small Changes and Jailbreaks Affect Large Language Model Performance

arxiv.org

Gartner、日本の企業がセキュリティに関して2024年に押さえておくべき10の重要論点を発表

www.gartner.co.jp

LLMの内部状態を観察することで「出力がハルシネーションか否かを判別する」手法『LLMファクトスコープ』

ai-data-base.com

  • LLMが出力を生成する際に「事実と非事実で異なる内部状態を示す」という仮説に基づき、新しい検証アプローチ『LLMファクトスコープ』の研究を紹介する記事

GTPs における一文でできる Prompt Injection (Prompt Leaking) 対策

note.com

プリウス開発に見るアジャイル開発要素と今時の進め方：続編

speakerdeck.com

[01/06~01/12] LLM Weekly News by EXPLAZA

note.com

Serverless + Fargate構成で継続的デリバリーの速度を劇的に改善した話

speakerdeck.com

無料枠Google Colab で LLaMA-Factory をやってみた

hamaruki.com

  • LLaMA-Factoryは、大規模言語モデル（LLM）のファインチューニングを容易にするツール

Google Colab で Moore-AnimateAnyone を試す

note.com

  • 「Moore-AnimateAnyone」は、「AnimateAnyone」の再現実装
    • 元の論文で実証された結果を一致させるために、さまざまなアプローチやトリックを採用していますが、それらは論文や別の実装とは多少異なる場合がある

未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜

speakerdeck.com

  • Amazon Q機能一覧
  • CodeWhisperer Customization
    • プライベートコードリポジトリを読みこませ、内部ライブラリやAPIを含むコードを生成できるようになる
  • Amazon BedrockとStep Functionの統合をサポートされている

Google Colab：Mergekitによる日本語モデルMoEの作成

note.com

  • rinna/youri-7b-chatとrinna/youri-7b-instructionを使って、MoEモデルを作成した記事

2024年1月1日の週に気になった記事などまとめ

気になったものまとめ

元旦なので社長(AI)にElyza13Bを使ってクリーンで自由な会話データセットを作ってもらってみた

note.com

  • Elyza13BがWikipediaの知識からマルチターンの会話データセットを出力するプログラムを書いてみた記事

Large Language Models for Generative Information Extraction: A Survey

arxiv.org

  • LLMで自然言語テキストから構造的な知識を抽出する方法の体系的なレビューを行った論文

OpenAI Assistants APIを使って社内用GPTsを作った際に苦労した5つの点

note.com

  • Assistants APIのほぼすべての機能を使い、OpenAIのGPTsに近いものを構築した記事
  • Assistants APIは多くのAPIが存在し、さらにデータの永続化もAPI側で管理されている
  • Code InterpreterやFunction Callingの結果はランステップにしか存在しない情報
  • Assistants APIを用いて作成したアシスタントやスレッドやファイルはOrganizationに対して一つの空間で管理されている
    • 現在のAssistants APIのデータアクセスの仕組みでは、実際のプロダクトでの利用は現実的ではない

Google Colab で LLaMA-Factory を試す

note.com

  • WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワーク「LLaMA-Factory」を試した記事

Google Colab で Text Generation WebUI を試す

note.com

  • 公式Colabノートブックをコピーするだけで簡単に使うことができる

最近の日本語特化オープンLLMをつまみ食いする

note.com

  • 「Wikipediaの内容を要約して会話データセットを作る」タスクをいくつかのLLMで実施した記事
  • Qarasu-14B-chat-plus-unleashedでよい結果が得られた

オープンソースなLLM(calm2-7b)のCPU推論エンドポイントをAzureとllama-cpp-pythonでシュッとつくる

note.com

  • llama.cppで用いられるggufファイルをモデルとしてAzureMLにアップロードし、推論用の簡単なpythonコードをllama-cpp-pythonを使って書き、それを実行するためのミニマルなDockerfileと組み合わせることで、お手軽にggufモデルを動かしてくれるエンドポイントを作成する方法を紹介した記事
  • Modelにggufファイルをアップロードする
  • 推論コードを実行するための実行環境Enviromentを作る
    • Dockerfileを作成する
  • MLFlow互換モデルではないため、オリジナルの推論コードが必要

A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

arxiv.org

  • LLMのハルシネーションを軽減するための32の技術を紹介するサーベイ論文
  • プロンプトエンジニアリングとモデル開発による手法が記載されエチル

Azure OpenAI よくある質問

zenn.dev

  • Azure OpenAI利用について、よく聞かれる質問についてまとめた記事
  • 以下抜粋
    • Azure OpenAIだけではプロンプトのログを取る機能はありません
    • Azure OpenAIに対してアクセスキーを無効にする方法はある

Gemini Pro 対 GPT-4V、画像認識能力でどちらが優秀なのか

ai-data-base.com

  • シーンレベルの認識ではGPT-4Vは要素が密集している環境でも優れた性能
  • Geminiは異なるフレームからの情報を統合する能力がある
  • Geminiは高レベルのアイデアを簡潔に要約する能力に長けており、GPT-4Vは詳細な説明を提供する

私のセキュリティ情報収集法を整理してみた（2024年版）

foxsecurity.hatenablog.com

  • 世界の脅威動向を理解することが年々重要になっている
  • セキュリティ関連の情報源について紹介した記事

【2023年総括】LLMと時々Azure OpenAI Serviceなイベント資料まとめ

note.com

DocLLM: A layout-aware generative language model for multimodal document understanding

arxiv.org

単一GPUで動画・画像・音声・テキスト対応のマルチモーダルモデルを訓練して推論!?何を言ってるかわかねーと思うが、俺も何を見ているのかわからねえ

note.com

  • 動画、画像、音楽、テキストという四つのモードを学習させた「マルチモーダル」モデルで、V100 32GB一つで推論可能どころか学習も可能
    • CPUのRAMは49GB以上必要
  • テキスト、画像、ビデオ、オーディオを入力し、テキスト・音楽を生成できる

[12/30~01/05] LLM Weekly News by EXPLAZA

note.com

LLMのRAG（外部知識検索による強化）をまとめた調査報告

ai-data-base.com

  • RAGを体系的に整理した論文の紹介

bclavie/RAGatouille

github.com

  • RAGパイプラインで最先端のメソッドを簡単に使用できるようにしたライブラリ
    • 現時点ではColBERTを使いやすくしたライブラリ

外部データを利用したLLM出力精度の向上と著作権問題

speakerdeck.com

  • ファインチューニング・セマンティック検索・In-Context Learning・RAGを活用する際の著作権侵害について解説

LLM Augmented LLMs: Expanding Capabilities through Composition

arxiv.org

【備忘録】llama-cpp-python+pyinstallerでexe配布するときの注意点

zenn.dev

  • モデルを含めて、onefileでpyinstallerでexeを作成するとビルド時にエラーになる

GoogleのVision APIをPythonから呼び出して、画像内のテキストを検出する

nikkie-ftnext.hatenablog.com

シュッと GPTs の Action について書いてみた

note.com

週刊AIニュース (2024年1月1週目)

note.com

Llama.cppをGPUを使用して実行してみた

LLM

llama-cpp-pythonをGPUも活用して実行してみたので、 動かし方をメモ

ポイント

GPUを使うために環境変数に以下をセットする

CMAKE_ARGS="-DLLAMA_CUBLAS=on"
FORCE_CMAKE=1

n_gpu_layersにGPUにオフロードされるモデルのレイヤー数を設定。7Bは32、13Bは40が最大レイヤー数

llm =Llama(model_path="<ggufをダウンロードしたパス>", n_gpu_layers=32)

コード全体

!wget ＜GGUFのURL＞
!CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python
from llama_cpp import Llama
import ctypes
llm =Llama(model_path="<ggufをダウンロードしたパス>", n_gpu_layers=32)
prompt = f"""
# 利用するモデルに対応する形式でプロンプトを作成
"""
output = llm(prompt,max_tokens=1024)
output["choices"][0]["text"]

参考記事

github.com

note.com

note.com

日本語ローカルLLMまとめ※作成中

データ分析 LLM

日本語ローカルLLMの情報をこの記事にまとめ中です。 ※2023年10月31日現在の情報を記入したつもりですが、正確性は保証できません。

まとめ

モデル名 ライセンス モデルアーキテクチャ 商用利用 リリース
lightblue/karasu-7B-chat-plus-unleashed Apache v2.0 Mistral 7B 〇 KarasuとQarasu：最先端の日本語LLMオープンソースチャットボット｜Peter Devine
lightblue/qarasu-14B-chat-plus-unleashed Apache v2.0 qwen 〇 KarasuとQarasu：最先端の日本語LLMオープンソースチャットボット｜Peter Devine
elyza/ELYZA-japanese-Llama-2-13b-fast-instruct llama2 Llama2 〇 130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可）｜ELYZA, Inc.
rinna/nekomata-14b-instruction Qwen Qwen 〇 rinna、Qwenの日本語継続事前学習モデル「Nekomata」シリーズを公開｜rinna株式会社
tokyotech-llm/Swallow-70b-instruct-hf llama2 Llama2 〇 Swallow
pfnet/plamo-13b-instruct Apache v2.0 Decoderonlyの言語モデル 〇指示学習済み大規模言語モデル PLaMo-13B-Instruct を公開しました - Preferred Networks Research & Development
cyberagent/calm2-7b-chat Apache v2.0 Llama2 Transformerベースの言語モデル 〇|独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供― | 株式会社サイバーエージェント
stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b llama2 Llama2 〇 日本語大規模言語モデル「Japanese Stable LM Beta」シリーズをリリースしました — Stability AI Japan
stabilityai/japanese-stablelm-instruct-beta-70b llama2 Llama2 〇 日本語大規模言語モデル「Japanese Stable LM Beta」シリーズをリリースしました — Stability AI Japan
rinna/youri-7b-instruction llama2 Llama2 〇 rinna、Llama 2の日本語継続事前学習モデル「Youri 7B」を公開｜rinna株式会社
stockmark/stockmark-13b-instruct CC BY-NC-SA Llama2 × Instruction Tuningを行なった130億パラメータの日本語LLMの公開：Stockmark-13b-instruct - Stockmark Tech Blog
stabilityai/japanese-stablelm-instruct-gamma-7b Apache v2.0 Mistral-7B-v0.1 〇 日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました — Stability AI Japan
stabilityai/japanese-stablelm-3b-4e1t-instruct Apache v2.0 Decoderonlyの言語モデル 〇 日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました — Stability AI Japan
llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0 Apache v2.0 Transformerベースの言語モデル 〇 130億パラメータの大規模言語モデル「LLM-jp-13B」を構築～NII主宰LLM勉強会（LLM-jp）の初期の成果をアカデミアや産業界の研究開発に資するために公開～ - 国立情報学研究所 / National Institute of Informatics
stabilityai/japanese-stablelm-instruct-alpha-7b-v2 Apache v2.0 GPT-NeoX 〇 stabilityai/japanese-stablelm-instruct-alpha-7b-v2 · Hugging Face
pfnet/plamo-13b Apache v2.0 Llama 1を改良 〇 PLaMo-13Bを公開しました - Preferred Networks Research & Development
elyza/ELYZA-japanese-Llama-2-7b-instruct llama2 Llama 2 〇 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.
matsuo-lab/weblab-10b-instruction-sft cc-by-nc-4.0 GPTNeoX × 東京大学松尾研究室 100億パラメータサイズ・日英2ヶ国語対応の 大規模言語モデル“Weblab-10B”を公開 ―公開済みの日本語大規模言語モデルで最高水準―｜プレスリリース | UTokyo-Eng
stabilityai/japanese-stablelm-base-alpha-7b apache-2.0 GPTNeoX 〇 日本語言語モデル「Japanese StableLM Alpha」をリリースしました — Stability AI Japan
stabilityai/japanese-stablelm-instruct-alpha-7b JAPANESE STABLELM RESEARCH LICENSE AGREEMENT GPTNeoX × 日本語言語モデル「Japanese StableLM Alpha」をリリースしました — Stability AI Japan
stabilityai/japanese-stablelm-instruct-alpha-7b-v2 apache-2.0 GPTNeoX 〇 商用利用可能な「Japanese StableLM Instruct Alpha 7B v2」をリリースしました — Stability AI Japan
line-corporation/japanese-large-lm-3.6b apache-2.0 GPTNeoX 〇 36億パラメータの日本語言語モデルを公開しました
stockmark/gpt-neox-japanese-1.4b mit GPTNeoX 〇 最近の話題にも詳しい14億パラメータの日本語LLMの公開 - Stockmark Tech Blog
rinna/bilingual-gpt-neox-4b-instruction-ppo mit GPTNeoX 〇 rinna、日英バイリンガル大規模言語モデルをオープンソースで公開｜rinna株式会社
rinna/japanese-gpt-neox-3.6b-instruction-ppo mit GPTNeoX 〇 rinna、人間の評価を利用したGPT言語モデルの強化学習に成功｜rinna株式会社
cyberagent/open-calm-7b cc-by-sa-4.0 GPTNeoX 〇 サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供― | 株式会社サイバーエージェント

lightblue/karasu-7B-chat-plus-unleashed

  • 学習データ
    • 事前学習　~7B
    • 指示チューニング
      • Chain-of-Thought Orcaスタイルのデータセット（約4万例） (非公開)
      • RAGベースの質問応答データセット（約25万例） (非公開)
      • カテゴリーベースのプロンプト応答データセット（約25万例） (非公開)
      • OASST（日本語の会話のみ）
      • ShareGPT（日本語の会話のみ）
      • augmxnt/ultra-orca-boros-en-ja-v1 (['airoboros', 'slimorca', 'ultrafeedback', 'airoboros_ja_new'] only)

lightblue/qarasu-14B-chat-plus-unleashed

  • 学習データ
    • Chain-of-Thought Orcaスタイルのデータセット（約4万例） (非公開)
    • RAGベースの質問応答データセット（約25万例） (非公開)
    • カテゴリーベースのプロンプト応答データセット（約25万例） (非公開)
    • OASST（日本語の会話のみ）
    • ShareGPT（日本語の会話のみ）
    • augmxnt/ultra-orca-boros-en-ja-v1 (['airoboros', 'slimorca', 'ultrafeedback', 'airoboros_ja_new'] only)

rinna/nekomata-14b-instruction

  • 学習データ
    • 事前学習データ 66B
      • Japanese CC-100
      • Japanese C4
      • Japanese OSCAR
      • The Pile
      • Wikipedia
      • rinna curated Japanese dataset
    • 指示チューニング
      • Databricks Dolly data
      • Japanese Databricks Dolly data
      • FLAN Instruction Tuning data and its Japanese translation
      • Izumi lab LLM Japanese dataset
        • 次のセクションを利用
          • alt
          • aozora-txt
          • CourseraParallel
          • ParaNatCom
          • Tab-delimited_Bilingual_Sentence_Pairs
          • tanaka-corpus
          • wikinews
          • wordnet
          • yasashi-japanese

tokyotech-llm/Swallow-70b-instruct-hf

  • 学習データ
    • 事前学習
    • 指示チューニング
      • Anthropic HH-RLHF
      • Databricks Dolly 15-k
      • OpenAssistant Conversations Dataset

pfnet/plamo-13b-instruct

  • 学習データ
    • 事前学習
      • 英語
        • RedPajamaからbooks3を抜いたデータセット
        • 割合
          • 87.7%
      • 日本語
        • mc4
        • 割合
          • 12.0%
      • wikipeda
        • 割合
          • 0.3%
    • 指示チューニング
      • databricks-dolly-15k (日本語翻訳したデータ)
      • Anthropic HH-RLHF (日本語翻訳したデータ, subset)
      • OpenAssistant Conversations Dataset (日本語翻訳したデータ, oasst1)
      • Wikinews subset of Izumi-lab llm-japanese-dataset

cyberagent/calm2-7b-chat

  • 学習データ

stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b

  • 学習データ
    • 事前学習データ 100B
      • Japanese/English Wikipedia
      • Japanese mc4
      • Japanese CC-100
      • Japanese OSCAR
      • SlimPajama (excluding the Books3 subset)
    • 指示チューニング
      • 以下を日本語訳したデータ
        • Anthropic HH-RLHF
        • Databricks Dolly 15-k
        • OpenAssistant Conversations Dataset

stabilityai/japanese-stablelm-instruct-beta-70b

  • 学習データ
    • 事前学習データ 100B
      • Japanese/English Wikipedia
      • Japanese mc4
      • Japanese CC-100
      • Japanese OSCAR
      • SlimPajama (excluding the Books3 subset)
    • 指示チューニング
      • 以下を日本語訳したデータ
        • Anthropic HH-RLHF
        • Databricks Dolly 15-k
        • OpenAssistant Conversations Dataset

rinna/youri-7b-instruction

  • 学習データ
    • 事前学習データ 40B
      • Japanese CC-100
      • Japanese C4
      • Japanese OSCAR
      • The Pile
      • Wikipedia
      • rinna curated Japanese dataset
    • 指示チューニング
      • Databricks Dolly data
      • Japanese Databricks Dolly data
      • FLAN Instruction Tuning data and its Japanese translation
      • Izumi lab LLM Japanese dataset
        • 次のセクションを利用
          • alt
          • aozora-txt
          • CourseraParallel
          • ParaNatCom
          • Tab-delimited_Bilingual_Sentence_Pairs
          • tanaka-corpus
          • wikinews
          • wordnet
          • yasashi-japanese

stockmark/stockmark-13b-instruct

  • 学習データ
    • 事前学習(日本語データ) 220Bトークン
      • Stockmark Web Corpus (非公開データ)：9.1 B
      • 特許： 34.8 B
      • Wikipedia： 1.0 B
      • CC100： 10.9 B
      • mC4： 53.2 B
      • CommonCrawl (次のスナップショット: 2023-23, 2022-49, 2022-21, 2021-21)： 112.9 B
    • 指示チューニング
      • databricks-dolly-15k-ja：データ数15015※英語のデータセットを日本語に翻訳
      • oasst-89k-ja：データ数88838※英語のデータセットを日本語に翻訳
      • alpaca_ja：データ数51716※英語のデータセットを日本語に翻訳
      • LLMのための日本語インストラクションデータ作成プロジェクト：データ数1003※日本語データ

stabilityai/japanese-stablelm-instruct-gamma-7b

  • 学習データ
    • 事前学習※約100Bトークン
      • Japanese/English Wikipedia
      • Japanese mc4
      • Japanese CC-100
      • Japanese OSCAR
      • SlimPajama without the Books3 subset
    • 指示チューニング
      • Japanese translation of the Databricks Dolly-15k dataset
      • Japanese translation of the subset of the Anthropic HH dataset
      • Wikinews subset of the izumi-lab/llm-japanese-dataset

stabilityai/japanese-stablelm-3b-4e1t-instruct

  • 学習データ
    • 継続学習※約100Bトークン
      • Japanese/English Wikipedia
      • Japanese mc4
      • Japanese CC-100
      • Japanese OSCAR
      • SlimPajama without the Books3 subset
    • 指示チューニング
      • Japanese translation of the Databricks Dolly-15k dataset
      • Japanese translation of the subset of the Anthropic HH dataset
      • Wikinews subset of the izumi-lab/llm-japanese-dataset

llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0

  • 学習データ
    • 以下のデータで事前学習
    • 指示チューニング
      • jasters
      • databricks-dolly-15k：Deeplで翻訳したデータ
      • OpenAssistant Conversations Dataset：Deeplで翻訳したデータ

stabilityai/japanese-stablelm-instruct-alpha-7b-v2

  • 学習データ
    • 以下のデータの組み合わせ
      • Japanese translation of the Databricks Dolly-15k dataset
      • Japanese translation of the subset of the Anthropic HH dataset
      • Wikinews subset of the izumi-lab/llm-japanese-dataset

pfnet/plamo-13b

  • 学習データ
    • 英語
      • RedPajamaからbooks3を抜いたデータセット
      • 割合
        • 87.7%
    • 日本語
      • mc4
      • 割合
        • 12.0%
    • wikipeda
      • 割合
        • 0.3%

elyza/ELYZA-japanese-Llama-2-7b-instruct

  • 学習データ

matsuo-lab/weblab-10b-instruction-sft

  • 学習データ
    • 事前学習(600Bトークン)
      • The PileおよびJapanese-mC4
    • ファインチューニング
      • Alpaca (English)
      • Alpaca (Japanese translation)
      • Flan 2021 (English)
      • Flan CoT (English)
      • Flan Dialog (English)

stabilityai/japanese-stablelm-base-alpha-7b

  • 学習データ
    • ウェブを中心とした大規模なデータ(750Bトークン)
      • Japanese/English Wikipedia
      • Japanese mc4
      • Japanese CC-100
      • Japanese OSCAR
      • RedPajama
    • 学習データは主に日本語と英語、それに加えソースコードが約2%含まれる
    • 学習データには、オープンデータセットに加え、Stability AI Japanが作成した独自のデータセットや、EleutherAI Polyglot project の日本語チーム及び Stable Community Japan のメンバーの協力のもとで作成したデータが含まれている

stabilityai/japanese-stablelm-instruct-alpha-7b

  • 学習データ
    • stabilityai/japanese-stablelm-base-alpha-7bを追加学習
      • 複数のオープンデータセットを利用
        • Japanese translation of the Stanfored Alpaca dataset
        • Japanese translation of the Databricks Dolly-15k dataset
        • Japanese translation of the subset of the Anthropic HH dataset
        • Wikinews subset of the izumi-lab/llm-japanese-dataset

stabilityai/japanese-stablelm-instruct-alpha-7b-v2

  • 学習データ
    • stabilityai/japanese-stablelm-base-alpha-7bを追加学習
      • 複数のオープンデータセットを利用
        • Japanese translation of the Databricks Dolly-15k dataset
        • Japanese translation of the subset of the Anthropic HH dataset
        • Wikinews subset of the izumi-lab/llm-japanese-dataset

line-corporation/japanese-large-lm-3.6b

  • 学習データ
    • LINE独自の大規模日本語Webコーパス(650GB)
      • C4, CC-100, and Oscarなどのオープンデータセット
      • 独自にクロールしたウェブテキストも含む

stockmark/gpt-neox-japanese-1.4b

rinna/bilingual-gpt-neox-4b-instruction-ppo

  • 学習データ
    • オープンデータセット(英語56%、日本語33%、ソースコード11%)
    • 事前学習(524Bトークン)
    • ファインチューニング
      • Anthropic HH RLHF data and its Japanese translation
      • FLAN Instruction Tuning data and its Japanese translation
    • RLHF
      • CarperAI/trlx

rinna/japanese-gpt-neox-3.6b-instruction-ppo

  • 学習データ
    • 事前学習データ(312.5B)
      • Japanese CC-100
      • Japanese C4
      • Japanese Wikipedia t
    • ファインチューニング
      • 以下を日本語訳したデータ
        • Anthropic HH RLHF data
        • FLAN Instruction Tuning data
        • Stanford Human Preferences Dataset
    • RLHF
      • CarperAI/trlx

cyberagent/open-calm-7b

  • 学習データ

日本語LLMのリーダーボード

Nejumi LLMリーダーボード

wandb.ai

  • Weights & Biases社が公開
  • JGLUEを用いて精度評価
  • リリース
  • Stability AI社が実施しているタスクよりも厳しい条件で実施している

JP Language Model Evaluation Harness

github.com

  • Stability AI社が公開
  • JGLUEを用いて精度評価

The Rakuda Ranking of Japanese AI

yuzuai.jp

  • YuzuAIというコミュニティが公開
  • 以下のデータセットで評価している
  • 2つのモデルの出力をGPT-4に渡し、評価している

プロンプト26の原則の日本語訳メモ

LLM

以下の論文の26の原則の日本語訳のメモ

arxiv.org

※日本語訳を作成する際にChatGPTを活用してます。

番号 プロンプト原則
1 LLMに対して礼儀正しくする必要はない。「お願いします」、「差し支えなければ」、「ありがとう」、「私は...したいです」などのフレーズを追加する必要はなく、直接要点を述べる。
2 意図された対象者をプロンプトに統合すること。例：「対象者はその分野の専門家です」。
3 複雑なタスクを対話形式でシンプルなプロンプトの連続に分解する。
4 「do」のような肯定的な指示を使用し、「don’t」のような否定的な言葉を避ける。
5 トピックやアイデア、または任意の情報についての明確さやより深い理解が必要な場合、次のプロンプトを使用する：「簡単な言葉で[特定のトピック]を説明してください。」、「11歳の私に説明するように説明してください。」、「[分野]の初心者に説明するように説明してください。」、「5歳の子に何かを説明するように簡単な英語で[エッセイ/テキスト/段落]を書いてください。」
6 「より良い解決策にはxxxドルのチップを払います！」と追加する。
7 例に基づくプロンプトを実装する（few-shotプロンプトを使用する）。
8 プロンプトをフォーマットする際には、「###指示###」で始め、続いて「###例###」または「###質問###」を追加する。その後、コンテンツを提示する。指示、例、質問、文脈、入力データを区別するために、1行以上の改行を使用する。
9 「あなたのタスクは」と「あなたは～しなければならない」のフレーズを組み込む。
10 「ペナルティが課せられます」というフレーズを組み込む。
11 プロンプトに「自然で人間らしい方法で質問に答える」というフレーズを使用する。
12 「ステップバイステップで考える」といった先導的な言葉を使用する。
13 プロンプトに「あなたの回答が偏見を持たず、ステレオタイプに依存しないことを確実にしてください」というフレーズを追加する。
14 モデルが必要な出力を提供するために十分な情報を得るまで、あなたに質問をさせて、正確な詳細と要件を引き出すことを許可する（例：「これからは、私に質問をして...」）。
15 特定のトピックやアイデア、または任意の情報について尋ね、理解をテストしたい場合、次のフレーズを使用することができる：「[任意の定理/トピック/ルール名]を教えて、最後にテストを含めてくださいが、答えを教えずに、私が答えたときに正解かどうか教えてください」。
16 大規模言語モデルに役割を割り当てる。
17 デリミタを使用する。
18 プロンプト内で特定の単語やフレーズを複数回繰り返す。
19 Chain-of-thought（CoT）をfew-shotプロンプトと組み合わせる。
20 出力プライマーを使用する。これは、望ましい出力の始まりでプロンプトを終了させることを含む。出力プライマーを使用する場合は、予想される応答の始まりでプロンプトを終了する。
21 エッセイ/テキスト/段落/記事または詳細であるべき任意のタイプのテキストを書くために：「詳細な[エッセイ/テキスト/段落]を[トピック]について私のために書いて、必要なすべての情報を追加して詳しく説明してください」。
22 特定のテキストを修正/変更するが、スタイルを変更しない場合：「ユーザーから送信された各段落を見直してください。ユーザーの文法や語彙を改善し、自然に聞こえるようにする必要があります。しかし、公式な段落をカジュアルにするなど、執筆スタイルを変更してはいけません」。
23 複数のファイルにまたがる可能性のある複雑なコーディングプロンプトがある場合：「これからは、複数のファイルにまたがるコードを生成する際は、指定されたファイルを自動的に作成するか、既存のファイルに変更を加えて生成されたコードを挿入する[プログラミング言語]スクリプトを生成してください。[あなたの質問]」。
24 特定の単語、フレーズ、文を使用してテキストを開始または継続したい場合は、次のプロンプトを使用する：「[歌詞/ストーリー/段落/エッセイ...]の始まりを提供しています：[歌詞/単語/文を挿入]」。提供された単語に基づいて完成させ、流れを一貫させる。
25 モデルがコンテンツを生成するために従わなければならない要件を、キーワード、規則、ヒント、または指示の形で明確に述べる。
26 提供されたサンプルに似たエッセイや段落などのテキストを書くために、次の指示を含める：「提供された段落[/タイトル/テキスト/エッセイ/回答]に基づいて同じ言語を使用してください」。

カテゴリー別に分けたプロンプトの原則

カテゴリー 原則番号 プロンプト原則
プロンプトの構造と明瞭さ 2 意図された対象者をプロンプトに統合する。
4 「do」のような肯定的な指示を使用し、「don’t」のような否定的な言葉を避ける。
12 「ステップバイステップで考える」といった先導的な言葉を使用する。
20 出力プライマーを使用する。これは、望ましい出力の始まりでプロンプトを終了させることを含む。
17 デリミタを使用する。
8 プロンプトをフォーマットする際には、「###指示###」で始め、続いて「###例###」または「###質問###」を追加する。その後、コンテンツを提示する。指示、例、質問、文脈、入力データを区別するために、1行以上の改行を使用する。
特定性と情報 7 例に基づくプロンプトを実装する（few-shotプロンプトを使用する）。
5 トピックやアイデア、または任意の情報についての明確さやより深い理解が必要な場合、次のプロンプトを使用する：「簡単な言葉で[特定のトピック]を説明してください。」、「11歳の私に説明するように説明してください。」、「[分野]の初心者に説明するように説明してください。」、「5歳の子に何かを説明するように簡単な英語で[エッセイ/テキスト/段落]を書いてください。」
13 「あなたの回答が偏見を持たず、ステレオタイプに依存しないことを確実にしてください」というフレーズを追加する。
26 提供されたサンプルに似たテキストを書くために、特定の指示を含める。
24 特定の単語、フレーズ、文を使用してテキストを開始または継続したい場合は、次のプロンプトを使用する：「[歌詞/ストーリー/段落/エッセイ...]の始まりを提供しています：[歌詞/単語/文を挿入]」。提供された単語に基づいて完成させ、流れを一貫させる。
25 モデルがコンテンツを生成するために従わなければならない要件を、キーワード、規則、ヒント、または指示の形で明確に述べる。
15 特定のトピックやアイデア、または任意の情報について尋ね、理解をテストしたい場合、次のフレーズを使用することができる：「[任意の定理/トピック/ルール名]を教えて、最後にテストを含めてくださいが、答えを教えずに、私が答えたときに正解かどうか教えてください」。
21 エッセイ/テキスト/段落/記事または詳細であるべき任意のタイプのテキストを書くために：「詳細な[エッセイ/テキスト/段落]を[トピック]について私のために書いて、必要なすべての情報を追加して詳しく説明してください」。
ユーザーの相互作用と関与 14 モデルが必要な出力を提供するために十分な情報を得るまで、あなたに質問をさせて、正確な詳細と要件を引き出すことを許可する。
21 エッセイ/テキスト/段落/記事または詳細であるべき任意のタイプのテキストを書くために：「詳細な[エッセイ/テキスト/段落]を[トピック]について私のために書いて、必要なすべての情報を追加して詳しく説明してください」。
コンテンツと言語スタイル 22 特定のテキストを修正/変更するが、スタイルを変更しない場合：「ユーザーから送信された各段落を見直してください。ユーザーの文法や語彙を改善し、自然に聞こえるようにする必要があります。しかし、公式な段落をカジュアルにするなど、執筆スタイルを変更してはいけません」。
9 「あなたのタスクは」と「あなたは～しなければならない」のフレーズを組み込む。
10 「ペナルティが課せられます」というフレーズを組み込む。
16 言語モデルに役割を割り当てる。
11 プロンプトに「自然で人間らしい方法で質問に答える」というフレーズを使用する。
1 LLMに対して礼儀正しくする必要はないので、「お願いします」、「差し支えなければ」、「ありがとう」、「私は...したいです」などのフレーズを追加する必要はなく、直接要点を述べる。
18 プロンプト内で特定の単語やフレーズを複数回繰り返す。
6 「より良い解決策にはxxxドルのチップを払います！」と追加する。
複雑なタスクとコーディングプロンプト 3 複雑なタスクを対話形式でシンプルなプロンプトの連続に分解する。
23 複数のファイルにまたがる可能性のある複雑なコーディングプロンプトがある場合：「これからは、複数のファイルにまたがるコードを生成する際は、指定されたファイルを自動的に作成するか、既存のファイルに変更を加えて生成されたコードを挿入する[プログラミング言語]スクリプトを生成してください。[あなたの質問]」。
19 チェーンオブソート（CoT）をfew-shotと組み合わせる。

感想メモ

1の原則については、丁寧なほうがいいという意見も聞いたことがあるが、 1の原則での改善量は大きくなさそうなので、 礼儀正しくしないほうがよいと言い切ることもできなさそうに感じた

2023年ふりかえり

取得した資格

Azure

  • Azure Fundamentals(AZ-900)
  • Azure AI Fundamentals(AI-900)
  • Azure Data Fundamentals(DP-900)

今年から業務でAzureも利用しているので、最低限のスキルを習得するために取得 Azureサービスの基礎的な概要は理解できた。 AWSとAzureのサービス読み替えも最低限できるようになってよかった

AWS

  • AWS Certified Database - Specialty
  • AWS Certified SysOps Administrator - Associate
  • AWS Certified Developer - Associate
  • AWS Certified DevOps Engineer - Professional

業務目的というよりは、継続的にAWSの基礎スキルを磨くために取得 特にCode○○のサービスのようなCI/CD関連のサービスの理解が深まった 知識を活用して、クラウドでのCI/CDを実現していきたい

まとめ

  • Azure OpenAI Serviceを使うため、Azureのスキルも必要になったため、Azureの資格も取得した
  • 業務で使う機会が少ないため、ずっと避けてきたAWSのDeveloperの資格を取得した
    • なぜかDevOpsの点数がかなりよかった

読んだ本

検索システム

  • 検索システム 実務者のための開発改善ガイドブック
  • 機械学習による検索ランキング改善ガイド 技術解説とハンズオンで学ぶ機械学習ランキングモデルの導入と改善

RAGシステムを作るために、そもそも検索システムの基礎を学ぶために読んだ。 キーワード検索について・検索システムの評価方法・検索システムに必要な機能の基礎を理解できた

自然言語処理基礎

LLMの勉強をする中で自然言語処理の基礎力不足を感じたので勉強 単語ベクトル表現・言語モデル・Transformerとは何かを復習できた 今目次を見直したが、「自然言語処理の基礎」は再度学習したほうがよさそう

生成AI読み物

  • 教養としての生成AI
  • 検索から生成へ 生成AIによるパラダイムシフトの行方
  • 大規模言語モデルは新たな知能か ChatGPTが変えた世界
  • その仕事、AIエージェントがやっておきました。 ーーChatGPTの次に来る自律型AI革命

生成AIが与える影響を専門家がどのように考えているかを理解したいため、読んだ ChatGPTの可能性を考える際の解像度があがった

LangChainの使い方

  • OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門
  • LangChain完全入門　生成AIアプリケーション開発がはかどる大規模言語モデルの操り方
  • ChatGPT/LangChainによるチャットシステム構築［実践］入門

LangChainの使い方を体系的に学びたくて購入 Chain、Agent、Tool、Memoryなどの基本的な概念を体系的に復習できた Callbacks、Output parsersなど詳しくなかった部分について、学ぶことができた

Azure OpenAI Service

  • Azure OpenAI Service実践ガイド 〜 LLMを組み込んだシステム構築【電子書籍】[ 柿崎 裕也 ]

Azure OpenAI Serviceを体系的に学びたくて購入 Azure AI SearchやSemantic Kernel、プロンプトフローなど他の書籍ではあまり解説がないことまで書かれていて、参考になりました

LLM活用事例

  • ＣｈａｔＧＰＴ時代の文系ＡＩ人材になる ＡＩを操る７つのチカラ【電子書籍】[ 野口竜司 ]
  • ソフトウェア開発にChatGPTは使えるのか？ーー設計からコーディングまでAIの限界を探る【電子書籍】[ 小野哲 ]

LLMをどのような業務や製品に活用できるかの具体例を把握して購入 あまりリテラシーがない方にChatGPTの説明する方法の参考となった 具体的な他社事例が多数掲載されており、非常に参考になった 開発の中でどのようにChatGPTを活用できるかをプロンプトを含めて紹介されているのも参考となった

生成AIの法的リスク

  • 生成AIの法的リスクと対策【電子書籍】[ 福岡 真之介 ]

生成AIの法的リスクを体系的に学びたくて購入 著作権・個人情報の取り扱いなど生成AIを利用するうえで避けられないことが体系的に記載されており、非常に参考になった 利用者と提供者の観点を分けて説明されているのも非常に参考になった

その他機械学習

  • Optunaによるブラックボックス最適化
  • Kaggleに挑む深層学習プログラミングの極意 （KS情報科学専門書） [ 小嵜 耕平 ]
  • 評価指標入門〜データサイエンスとビジネスをつなぐ架け橋

機械学習の復習のために購入 3月ぐらいまでは、機械学習メインでやっていたので、その時に活用した 評価指標の決定については、現場導入するかどうかの判断で重要となるので、再度読みたい

その他

  • マルチクラウドネットワークの教科書 耐障害性と冗長性を実現するデザインパターン【電子書籍】[ 宮川 亮 ]
    • マルチクラウドを検討する必要性が出てきたため、購入
    • 体系的に学んでなかったので、非常に参考になった
  • データで話す組織〜プロジェクトを成功に導く「課題発見、人材、データ、施策実行」4つの力
    • データで変革する方法を学びたくて購入
    • 継続が必要ということが再認識できた
    • 組織の各フェーズでどのようなケイパビリティが必要が明記されているので、非常に参考になる
  • OKR（オーケーアール） シリコンバレー式で大胆な目標を達成する方法
    • やる気になるような目標を立てる方法を理解したくて購入
    • 内容はある程度理解したつもりだが、導入するのが難しい
  • ユーザーの問題解決とプロダクトの成功を導く　エンジニアのためのドキュメントライティング【電子書籍】[ ジャレッド・バーティ ]

その時点で課題と感じていたことを改善したくて購入。 スキル・知識不足を多少改善することができた

まとめ

  • とにかく生成AIのキャッチアップに使えそうな本をたくさん読んだ
  • ChatGPT関連のキャッチアップに必要な本を多く読んだ
    • 関連して自然言語の基礎の本も読んだ
    • transformerの学び直しもした
  • 作り方は多く読んだが、どのようなユースケースで利用できるかは十分にキャッチアップできていない

自己啓発のためにやったこと

  • 毎週その週にキャッチアップしたことをブログにまとめて出す
    • キャッチアップした記事をちゃんと読むようになったので、非常によかった
  • Google ColabでローカルLLMを動かす
    • 技術記事は読むだけでなく、自分で手を動かすことが重要であると再認識した

来年意識すること

  • 今年は、技術中心のキャッチアップになっていたが、もう少しアウトカム改善につながる大きな計画の立て方も学びたい
  • 個人での成果ではなく、組織で成果を出すために必要なインプットもしたい