- Self-Extendでfine-tuningせずに長文コンテキストを扱おう
- AIと著作権に関する考え方について（素案）令和6年1月15日時点版
- Survey of Vector Database Management Systems
- LLMにおける情報抽出（文章から必要な事柄を読み取る）タスクについての調査
- コスト最適化のはなし with Microsoft Copilot for Azure
- deepseek-ai/DeepSeek-MoE
- データ分析の落とし穴。「良い指標」は変化する
- 大規模言語モデル: Mixture of experts(MOE)のMixtral-8x7B-Instruct-v0.1で遊ぶ
- LLMのプロンプトをCI/CDで評価する。promptfooを使って
- Bringing the full power of Copilot to more people and businesses
- HuggingFaceM4/VLM_WebSight_finetuned
- 実録レガシーコード改善
- “AI生成の文章／画像だけ”でデータを学習する手法 人間が作るものは一切使わず GoogleとMITが開発
- ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (3) 英語での性能評価編
- Security Best Practices for GenAI Applications (OpenAI) in Azure
- Stable Code 3B - エッジでのコーディング
- 継続学習における事前学習言語モデルを比較する
- 1.1Bパラメータの小さなモデルを巨大データ（約3兆トークン）で訓練したモデル『TinyLlama』が、比較的優秀な性能を発揮
- Generate AI powered insights for Amazon Security Lake using Amazon SageMaker Studio and Amazon Bedrock
- LLMに「自分自身との対戦」で能力を向上させる手法『Self-Play Fine-Tuning（SPIN）』
- RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
- テキスト検索の原点：全文検索のしくみと活用ポイント
- Copilot プロンプトの詳細
- Baseline OpenAI end-to-end chat reference architecture
- hako-mikan/sd-webui-traintrain
- "クラウドアプリケーション 10の設計原則" をもっと楽しむ
- Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
- StabilityAIのstable-code-3bをGoogle Colabで使う方法
Self-Extendでfine-tuningせずに長文コンテキストを扱おう
AIと著作権に関する考え方について（素案）令和6年1月15日時点版
https://www.bunka.go.jp/seisaku/bunkashingikai/chosakuken/hoseido/r05_06/pdf/93988501_02.pdf
Survey of Vector Database Management Systems
LLMにおける情報抽出（文章から必要な事柄を読み取る）タスクについての調査
- 様々な情報抽出タスクにおけるLLM活用を網羅的に調査した研究を紹介した記事
コスト最適化のはなし with Microsoft Copilot for Azure
- Azureのコスト最適化手法を紹介したスライド
- コスト最適化は継続タスク
- 節約プランの対象が広がるなどの変化があるため
deepseek-ai/DeepSeek-MoE
- Expertを細かくわけたMoEモデル
- 同様の数の有効化パラメータのモデルを大幅に上回るベンチマーク
データ分析の落とし穴。「良い指標」は変化する
- ユーザーが増えれば、良い指標は変わる
大規模言語モデル: Mixture of experts(MOE)のMixtral-8x7B-Instruct-v0.1で遊ぶ
- Mixtral-8x7B-Instruct-v0.1の推論とLoRAファインチューニングについて記載した記事
LLMのプロンプトをCI/CDで評価する。promptfooを使って
- プロンプトやモデルの比較を行うためのツール「promptfoo」を紹介した記事
Bringing the full power of Copilot to more people and businesses
- Copilot for Microsoft365の300シート制限が削除された
- Office365 E3 E5の顧客もCopilotを利用できるようになった
- 日本語記事
HuggingFaceM4/VLM_WebSight_finetuned
実録レガシーコード改善
- ソフトウェア開発の3本柱
- バージョン管理
- テスト
- 自動化
“AI生成の文章／画像だけ”でデータを学習する手法 人間が作るものは一切使わず GoogleとMITが開発
- 合成画像と合成キャプションから視覚表現を学習するアプローチを提案した研究報告を紹介する記事
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (3) 英語での性能評価編
- 英語モデルの日本語化にあたって失われる能力についての分析した
- 追加事前学習とSFTを用いた英語モデルの日本語化により、元のモデルが持っていた能力がどの程度失われているかを確認した記事
- 日本語により追加継続事前学習で英語性能の劣化が起こる
- SFTにより多少、追加事前学習のみのモデルよりも英語性能が回復する
Security Best Practices for GenAI Applications (OpenAI) in Azure
- Azure OpenAIを活用したアプリケーションを保護するためのベストプラクティスを紹介した記事
Stable Code 3B - エッジでのコーディング
継続学習における事前学習言語モデルを比較する
- 継続学習と事前学習モデルを組み合わせた場合における性能について包括的な比較研究を行い、事前学習モデルを利用した継続学習に関する様々な情報を明らかにした論文について紹介した記事
1.1Bパラメータの小さなモデルを巨大データ（約3兆トークン）で訓練したモデル『TinyLlama』が、比較的優秀な性能を発揮
- 研究者らは1.1Bパラメータの「TinyLlama」を約3兆トークンで訓練して様々なタスク（常識推論や問題解決）で実験した結果を報告した研究を紹介した記事
Generate AI powered insights for Amazon Security Lake using Amazon SageMaker Studio and Amazon Bedrock
- Amazon Bedrockを用いて、SageMaker Studioの機能を強化し、セキュリティアナリストがセキュリティ調査を加速させるソリューションを紹介した記事
LLMに「自分自身との対戦」で能力を向上させる手法『Self-Play Fine-Tuning（SPIN）』
- LLMに自身の出力をアップデートさせ続け、品質を向上させる自己学習手法の「SPIN」について紹介した記事
RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
- RAGとファインチューニングの定量的、定性的な利点を農業に対する適用を用いて説明した記事
テキスト検索の原点：全文検索のしくみと活用ポイント
- 検索道具の選び方
- 検索+ランカー
- 検索結果のランキングがいまいちのときは、別のアルゴリズムや外部の情報でリランクする
- ベクトル検索の調整はファインチューニング
- 検索+ランカー
- 道具だけに頼らずに工夫する
- 既存DBのインデックスを流用する
- LLMに必要な条件がそろうまで聞き返しさせる
- 入力されなくてもわかっている条件を自動的に補う
Copilot プロンプトの詳細
- Copilotのプロンプトについて紹介したページ
Baseline OpenAI end-to-end chat reference architecture
hako-mikan/sd-webui-traintrain
- Stable DiffusionのLoRAファインチューニングをWebUI上から実施するツール
"クラウドアプリケーション 10の設計原則" をもっと楽しむ
- クラウドアプリケーション10の設計原則で紹介された原則について紹介したスライド
Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
- LLMを活用してコード生成へのアプローチを提案した論文
