- Arxiv RAGによる論文サーベイの自動生成
- mergekit-evolve のパラメータまとめ
- Best Practices and Lessons Learned on Synthetic Data for Language Models
- 複数の企業でデータエンジニアとして求められたスキル
- Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
- 大規模言語モデル「LLM-jp-13B v2.0」を構築～NII主宰LLM勉強会（LLM-jp）が「LLM-jp-13B」の 後続モデルとその構築に使用した全リソースを公開～
- ローカルLLMを手軽に楽しむ
- 謎の高性能AIモデル「gpt2-chatbot」がChatbot Arenaに登場、GPT-4.5かGPT-5なのではないかと話題に
- iOS・Android の ローカルLLM実行環境まとめ
- Cohere の Command R/R+ において 128k input tokens は短いのか長いのか
- mistralモデルをベースとした 日本語の大規模言語モデル
- rinnaのllama-3-youko-8bを試す。
- Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
- KAN: Kolmogorov-Arnold Networks
- Spiral.AI、Transformerの限界を克服した次世代LLMアーキテクチャ「RetNet」の学習済みモデルを公開
- Announcing the General Availability of GPT-4 Turbo with Vision on Azure OpenAI Service
- Langfuse
- RAGの評価：評価の必要性と問題点
- RAGの評価：Ragasの有用性の評価
- [04/27~05/02] 生成AI Weekly News
- GAIA-1: 自動運転のための世界モデルを理解する
- 過学習（過剰適合）のはなし
- 専門性の高いデータの読み解きをLLMでスケールさせよう
- NeurIPS-23 参加報告 + DPO 解説
- Agents for Amazon Bedrock で Webサイトにチャットボット機能を足してみる
- Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証
- Tavily APIの精度を上げるコツ
- CloudGoat
- Dify の ワークフロー の概要
- ローカルLLMはこーやって使うの💢
Arxiv RAGによる論文サーベイの自動生成
mergekit-evolve のパラメータまとめ
Best Practices and Lessons Learned on Synthetic Data for Language Models
複数の企業でデータエンジニアとして求められたスキル
- セキュリティや法令に関する知識を持って置き、必要に応じて専門家に相談できる知識を持っておく
Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
- Swallowの継続事前学習の論文
大規模言語モデル「LLM-jp-13B v2.0」を構築～NII主宰LLM勉強会（LLM-jp）が「LLM-jp-13B」の 後続モデルとその構築に使用した全リソースを公開～
v1からの改善点
コーパスはこちら
ローカルLLMを手軽に楽しむ
- OllamaとOpen WebUIを使ってローカルLLMを簡単に動かす方法を紹介した記事
謎の高性能AIモデル「gpt2-chatbot」がChatbot Arenaに登場、GPT-4.5かGPT-5なのではないかと話題に
iOS・Android の ローカルLLM実行環境まとめ
Cohere の Command R/R+ において 128k input tokens は短いのか長いのか
- Claudeよりもトークン数を節約できる
mistralモデルをベースとした 日本語の大規模言語モデル
rinnaのllama-3-youko-8bを試す。
Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
- ラズパイ5でollamaを使ってLLMを動かした記事
KAN: Kolmogorov-Arnold Networks
- MLPの代替手段としてKANを提案した論文
Spiral.AI、Transformerの限界を克服した次世代LLMアーキテクチャ「RetNet」の学習済みモデルを公開
- 30億パラメータ級のモデルを公開した
- 公開されたのはベースモデル
Announcing the General Availability of GPT-4 Turbo with Vision on Azure OpenAI Service
- Azure OpenAI Serviceで「gpt-4-turbo-2024-04-09」を利用可能となった
- Vision Enhancements機能はまだ利用できない
- 画像入力でのJSONモードやFunction Callingは数週間後から利用可能となる
Langfuse
- OSS版のLangSmithのようなソフトウェア
- Dockerを活用したセルフホストもできる
RAGの評価：評価の必要性と問題点
- GPT4はタスク内での相対的な評価が苦手
RAGの評価：Ragasの有用性の評価
- Regasは英語のデータのほうが評価能力が高い
- e2eではLangChainのCorrectnessよりも、Regasのほうが相関係数が高かった
- text-embedding-ada-002ではどんなに似てなくても0.6までしかコサイン類似度が下がらない
[04/27~05/02] 生成AI Weekly News
GAIA-1: 自動運転のための世界モデルを理解する
- GAIA-1は動画やテキスト、アクションに関する情報を元に未来のリアルな動画を生成できる
- 動画の途中からその続きを生成できる
過学習（過剰適合）のはなし
- 過学習とは統計的学習モデルをデータに対して当てはめる際に真のシグナルどころかノイズにまで当てはまってしまい、かえってモデルの予測精度が低下すること
専門性の高いデータの読み解きをLLMでスケールさせよう
- 以下の3パートにプロンプト上でタスクを分解し実現する
NeurIPS-23 参加報告 + DPO 解説
Agents for Amazon Bedrock で Webサイトにチャットボット機能を足してみる
- Agents for Amazon Bedrockを使って簡単にwebサイトを構築した記事
- Agentに知識を追加するためにKnowledge Baseを利用した
Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証
Tavily APIの精度を上げるコツ
-search_depthでフォローアップクエスチョンが表示される
CloudGoat
- CTF形式のシナリオで学習に利用できる脆弱なAWS導入ツール
Dify の ワークフロー の概要
- ChatflowとWorkflowで同じノードでも違いがある
