Multiple Retrieval Sources
python.langchain.com
- LangChainで複数のソースから取得する方法
- ソースから取得する際はパラレルに動作させることができる
- LangChain Expression Languageでパラレル実行させることができる
36億パラメータの日本語言語モデルを公開しました
engineering.linecorp.com
- 日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとしてLINE社が公開した
- 36億（3.6 Billion）および17億（1.7 Billion）パラメータの日本語言語モデル
- 商用利用も可能なApache License 2.0のライセンスで公開した
- Instruction Tuningにより対話性能を向上させた3.6B日本語言語モデルも後日公開された
hojichar
hojichar.github.io
- LINE社がLLM構築する際にフィルタリング処理をする際に利用したライブラリ
Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる
tech.nri-net.com
- Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作成した記事
- LangChianのパッケージサイズが大きいためコンテナイメージからLmabda関数を作成
- DynamoDBに会話履歴を保持
検索結果の品質向上
speakerdeck.com
- 2023年度リクルート エンジニアコース新人研修の検索に関する研修資料
LangChainを格段に使いやすくするtips
tech-blog.cloud-config.jp
- LangChainのAgentを使う際に知っておくと便利なこと
- return_intermediate_steps=Trueで中間ステップを取得できる
ChatGPTにマクロのコードを教えてもらったら、6年間面倒だなと思っていたExcelの作業が3日で解消した
qiita.com
- ChatGPTに教えてもらいながらマクロを作成した事例
生成AIのセキュリティリスクと対応のあり方
www.nri.com
- 考慮すべきセキュリティリスクの解説
- 生成AIの安全な活用方法や上手な付き合い方について
画像を説明できるAI「Japanese InstructBLIP Alpha」 Stability AI Japanが公開
www.itmedia.co.jp
- Stability AI Japan（東京都渋谷区）は、画像を入力すると、その説明文を生成できるAIモデル「Japanese InstructBLIP Alpha」を公開した
- 研究目的のみで利用できるライセンス
Get multimodal embeddings
cloud.google.com
- 画像とテキストを同じベクター空間に埋め込みできるAPI
- 言語は英語のみ対応
- テキストは最大32トークンまで対応
- 画像は20MBまで対応
japanese-stableLM-alphaのqloraにおけるtarget_modulesの設定
note.com
- 新しいモデルをqloraファインチューニングする際にtarget_modulesを設定する方法
- すべてのlinear block layerを対象とする
LLMプロダクトのロバスト性と運用
speakerdeck.com
- LLMを事業サービスに利用する場合のロバスト性の課題と対策
LLMを利用したRAGと個人データの第三者提供
storialaw.jp
- RAGと個人情報保護法の論点（RAGと個人データの第三者提供該当性）について検討した記事
- 入力した個人データが機械学習目的で利用される場合や不正検知目的で取り扱われる場合等は、個人データの第三者「提供」に当たるものとして、法27条や法28条が適用される可能性が生じる
日本語LLMのベンチマーク：「JGLUE」と「Rakuda Benchmark」
note.com
- 「Rakuda Benchmark」が「JGLUE」と何が異なるかをについて調べた記事
nqdior/text-generation-webui
github.com
- japanese-stablelm系をロードできるように改修したtext-generation-webui
LLM によるプログラムベース推論 / 2023.08.07 Geography&Language 勉強会 #4
speakerdeck.com
Azure Machine Learning Prompt flow 評価メトリクス解説
speakerdeck.com
- Azure Machine Learning Prompt flowの組み込み評価メトリクスの説明
