LLMのファインチューニング で 何ができて 何ができないのか
note.com
- LLMのファインチューニングで何ができて、何ができないのかまとめた記事
- うまく機能するタスク
- うまく機能しないタスク
- ファインチューニング以外の手法
GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに
aiboom.net
- 大規模言語モデル（LLM）であるGPT-4が、多肢選択問題（MCQ）において選択肢の順序に敏感であるという事実を明らかにした研究の紹介
- 選択肢の順序を単純に入れ替えるだけで、モデルの性能に13%から75%もの大きな変動が生じることが確認された
【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド
note.com
- Hugging FaceによるGPTQ量子化ガイドを解説した記事
Google Cloud で生成 AI アプリケーションを作ろう！パート 0：Google Cloud の生成 AI ソリューション
zenn.dev
- Google Cloud の生成 AI サービスを利用したアプリケーションのアイデアや具体的な作成例を紹介した記事
- Generative AI App Builderを使うと、生成AIによる検索と会話を手軽にアプリケーションに組み込むことができる
note.com
- ELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開した
- 性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準
- 評価用データセットや評価時の具体的な出力も公開されている
「ドキュメントの書き方」を体系的に学んだことがないエンジニアへ 書籍『エンジニアのためのドキュメントライティング』の概要
logmi.jp
- 2023年6月12日に開催されたインフラエンジニアBooks 30分でわかる「エンジニアのためのドキュメントライティング」の書き起こし記事
- 個人的に印象的だった箇所
- 不要なドキュメントは減らす
- ドキュメントを書く前にドキュメントのユーザーと直接対話する
- 対話したら知見をまとめる
- タイトルはドキュメントを読んで達成できるゴールの要約にする
- 流し読みできる構成にする
- ドキュメントが優れているのは目的にかなっている場合である
Google Colab で ELYZA-japanese-Llama-2-7b を試す
note.com
- 「Google Colab」で「ELYZA-japanese-Llama-2-7b」を試した記事
生成 AI による検索体験 (SGE) のご紹介
japan.googleblog.com
- Google社が提供する生成AIを使った検索について紹介する記事
Security-JAWS Days CTF 作問者解説
speakerdeck.com
- Security-JAWS DAYS CTFの問題の解説資料
ご家庭用LLMでストリーミングする方法
note.com
- ローカルLLMをREPLでストリーミングする方法について記載した記事
LLMの日本の知識を評価するデータセットの紹介
note.com
- LLMの日本の知識を評価するデータセットの紹介記事
stockmark/gpt-neox-japanese-1.4b
huggingface.co
- stockmark/gpt-neox-japanese-1.4bをkunishou/databricks-dolly-15k-jaのデータセットを用いてLoRAファインチューニングするコード
- T4GPUで実行できる
大規模言語モデルを Fine Tuning すべきタイミングとその方法
speakerdeck.com
- プロダクトを生成系 AI で成長させるのになぜ Fine Tuning が必要なのか、どのような手順で進めればよいのかを解説したスライド
Fine-tuning: gpt-3.5-turboの活用事例。絵文字分類タスク改善のプロセスと、学びの言語化。
note.com
- OpenAI社のgpt-3.5-turboをFine-tuningした記事
- 入力されたメモに対する絵文字を分類するタスクをFine-Tuningで改善した記事
- 100件のデータセットでFinetuning
数式を含むスキャン画像のPDFをOCRしてマークダウン形式に変換できる。Nougatを試す
note.com
- Meta社が公開した数式を含むPDFのOCRモデル、Nougat (Neural Optical Understanding for Academic Documents)を試した記事
AWS履修者のためのAzure入門
speakerdeck.com
- 概念や権限・ユーザー管理周りとネットワークに関連するサービスについてAWSとAzureを比較した資料
scgajge12.hatenablog.com
alfredplpl/RetrievalQA.py
gist.github.com
- elyza/ELYZA-japanese-Llama-2-7b-instructを用いてRAGを実施するサンプルコード
Data anonymization with Microsoft Presidio
python.langchain.com
- LangChainでMicrosoft Presidioを用いて匿名化する方法を記載した記事
LLMの推論を効率化する量子化技術調査 【技術動向調査】
blog.brainpad.co.jp
- LLMの学習や推論の高速化や効率化に関する論文、とりわけ量子化技術について取り上げた論文を中心にレビューした結果を紹介した記事
生成AIへのプロンプト入力時における個人情報保護法上の論点まとめ（前編）
storialaw.jp
- 生成AIへのプロンプト入力時に問題となる個人情報保護法の論点をまとめた記事
Teaching with AI
openai.com
- OpenAIによる教師向けのChatGPTガイド
- どのように使用するかの説明と具体的なプロンプト例を掲載している
speakerdeck.com
NousResearch/Yarn-Llama-2-13b-128k
huggingface.co
- Llama2ベースで入力が128kトークンのモデルが公開された
大規模言語モデル時代のVision and Language 研究におけるコミュニケーションの課題
speakerdeck.com
- 大規模言語モデルの登場により、Vision and Language特化モデルとのコミュニケーション形態が変化している
https://ses.sigse.jp/2023/wp-content/uploads/2023/08/SES2023_%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB.pdf
- LLMの基礎知識からChatGPT、LLaMA、ソフトウェアエンジニアリングへの応用まで記載したスライド
- 説明が非常に分かりやすい
