SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

気になったものまとめ

2023年10月2日の週に気になった記事などまとめ

GPT-4などのLLMが「AはB」から「BはA」を導かない『逆転の呪い』における誤解なき解釈と対策 GPT-4、Bard、Claude2などの異なるLLMが円卓を囲み議論した結果の回答は品質が高いとの検証報告。円卓ツールも公開 Stable LM 3Bのご紹介: 持続可能で高性能な言語…

2023年9月25日の週に気になった記事などまとめ

LLMを用いたLLMの自動評価について 〜可能性と注意点〜 llm-jp/awesome-japanese-llm Webやアプリの日本語を読みやすく折り返す「BudouX」。GoogleがGitHubで公開 Google Colab で DeepSpeed によるLLMのフルパラメータの指示チューニングを試す サイバーセ…

2023年9月18日の週に気になった記事などまとめ

足りないパッケージを自分で判断して、インストールして再実行してくれる機能の実装例 yoheinakajima/instagraph 【ChatGPTにできることを正しく理解する③】グノシーのChatGPT活用法とは Open InterpreterをDockerで動かす GPT-3.5-turbo を Fine-tuning し…

2023年9月11日の週に気になった記事などまとめ

microsoft/promptflow 好みのチャットbotを短い文章で作れるツール「Prompt2Model」 米カーネギーメロン大などが開発 LLMの出力制御や新モデルについて【技術動向調査】 ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学…

2023年9月4日の週に気になった記事などまとめ

ChatGPTに渡す文章の適切な区切り線について検証した記事 小売業で売り上げ数量の予測を実現するサンプルソリューションを公開しました OWASP Top 10 for LLMでLLM Applicationsのセキュリティについて学ぶ 【ChatGPTにできることを正しく理解する①】ChatGPT…

2023年8月28日の週に気になった記事などまとめ

LLMのファインチューニング で 何ができて 何ができないのか GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに 【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド Google Cloud で生成 AI アプリケーションを作ろ…

2023年8月21日の週に気になった記事などまとめ

AIが「理解」するから、API仕様書のコピペでアプリができあがるローコード開発環境「Flowise」を試す azure-openai-design-patterns プログラミング言語に特化した10億パラメータのLLM、Decicoderの使い方 japanese-text-generation-webui-colab 【ローカルL…

2023年8月14日の週に気になった記事などまとめ

Multiple Retrieval Sources 36億パラメータの日本語言語モデルを公開しました hojichar Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる 検索結果の品質向上 LangChainを格段に使いやすくするtips ChatGPTにマクロ…

2023年8月7日の週に気になった記事などまとめ

最近の話題にも詳しい14億パラメータの日本語LLMの公開 日本語言語モデル「Japanese StableLM Alpha」をリリースしました Text Split Explorer 日本語指示データ・日本語擬似レビューの公開 Parent Document Retriever japanese-stablelm-base-alpha-7bのLoR…

2023年7月31日の週に気になった記事などまとめ

rinna、日英バイリンガル大規模言語モデルをオープンソースで公開 JP RAG SOLUTION VS Codeエディタ入門 Amazon QuickSight の Generative BI 機能を発表 無料版Colabでrinna/bilingual-gpt-neox-4b-instruction-ppoを動かす Unleash the Power of Azure Ope…

2023年7月24日の週に気になった記事などまとめ

エンジニアはLLMとどう付き合うか / How engineer get along with LLM OpenAI API サンプルコード・ラッパーまとめ 機械学習を「社会実装」するということ 2023年7月版 大規模言語モデル時代のHuman-in-the-Loop機械学習 開発チーム作成ガイドを公開します …

2023年7月17日の週に気になった記事などまとめ

プロダクトでのデータ活用を推進するために回避すべき 10 の罠 GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは? 導入手順とそのリアルな成果と課題を徹底レポート! LLM Meetup Tokyo #3 streamlit_agent/chat_with_documents.py OpenAIのAPIを使…

2023年7月10日の週に気になった記事などまとめ

ChatGPT Code Interpreterの活用方法を片っ端から試していく Kaggle(Airline Customer Holiday Booking Dataset)をCode Interpreterで分析してみる GitHub Copilotの全社導入とその効果 Amazon SageMaker で OpenChatKit モデルを活用し カスタムチャットボ…

2023年7月3日の週に気になった記事などまとめ

外部データをRetrievalしてLLM活用する上での課題と対策案 GPT系の日本語LLMモデル sudy-super/CoTangent 日本語に特化した大規模言語モデル(生成AI)を試作 第2回 LLM 勉強会 OpenAIの埋め込みよりも高性能?多言語E5を日本語で評価してみる 複数の ChatGP…

2023年6月26日の週に気になった記事などまとめ

対話体験における生成系 AI の活用を探る: Amazon Lex, LangChain, SageMaker JumpStart による事始め RAGアプリにおけるプロンプトとtemperatureの応答品質への影響ほんとのところ RLHFを利用して用途に応じたLLMを生成できるツールの紹介 3カ月で26万回も…

2023年6月19日の週に気になった記事などまとめ

text-generation-webui で Rinna・OpenCALM・RWKV を試す Azure OpenAI on your data でノーコードで ChatGPT 対応エンタープライズサーチを構築する 【ChatGPT】データサイエンティストが読むべきChatGPT関連の記事・動画まとめ LangChainドキュメント:複…

2023年6月12日の週に気になった記事などまとめ

ChatGPTに会話の長期記憶を持たせてみる GPT3.5 APIで16kトークンを扱えるようになった!...で、16kトークンってどのぐらいの分量の情報なの?という人向けの記事 ChatGPTとLangChainを活用してデータ分析アプリを作ってみた LangChain の「OpenAI Functions…

2023年6月5日の週に気になった記事などまとめ

SageMaker での LLM Instruction Tuning GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り JP Language Model Evaluation Harness 「大規模言語モデル(LLM)カオスマップ」2023年度6月版が公開 製造業のニーズに最適な機械学習サービスの選…

2023年5月29日の週に気になった記事などまとめ

Scikit-LLM: Sklearn Meets Large Language Models LLM推論にGPUは1つでいい?FlexGenについてまとめてみた LangChainのJSON出力パーサー rinna、人間の評価を利用したGPT言語モデルの強化学習に成功 LEARN GENERATIVE AI Short Courses Rinna-3.6B を llama…

2023年5月22日の週に気になった記事などまとめ

スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発について AWS による Jupyter の 生成系 AI の民主化とノートブック実行のスケールのための新しい拡張機能を発表 Microsoft Build2023 BOOK OF NEWS Microsoft Build …

2023年5月15日の週に気になった記事などまとめ

CTOの視点から見たAzure OpenAI ServiceとOpenAIのChatGPT APIの深堀り比較 privateGPT ChatGPTなど生成AIのガイドラインとサービス規約を超要約、何がOKで何がNGか確認する 高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデ…

2023年5月8日の週に気になった記事などまとめ

チャットボット・アリーナで大規模言語モデルの性能を比較してみた セミナー:ChatGPTと生成AIに関する法的倫理的課題 LangChainのPandas Dataframe Agentをつかって自然言語でテーブルデータの分析をしてみる Introducing the Microsoft 365 Copilot Early …

2023年5月1日の週に気になった記事などまとめ

Azure Open AIのコーポレートガバナンスについて考える 生成AIの利用ガイドライン LangChainのChromaの使い方メモ 「統計的機械学習」の中核としての統計数理シンポジウム(オンライン開催) SharePoint in the AI Era: Introducing Copilot in SharePoint &…

2023年4月24日の週に気になった記事などまとめ

『ChatGPTによって描かれる未来とAI開発の変遷』日本マイクロソフト株式会社 蒲生 弘郷氏(2023年4月21日) 大規模言語モデルのための強化学習 ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktok…

2023年4月17日の週に気になった記事などまとめ

Azure OpenAI Service を検証目的で使い始めるまでにやったことまとめ AWS侵入テストのドキュメントが更新されているので確認する 【AI】生成AIを利用する場合に気を付けなければならない著作権の知識 [輪講資料] LoRA: Low-Rank Adaptation of Large Langua…

2023年4月10日の週に気になった記事などまとめ

プロンプトを管理しやすくするツールを作ってみた / I created a tool to make the prompts easier to manage. DeepSpeed Chat: ChatGPTライクなモデルを簡単・高速・低コストに、あらゆるスケールで学習 大規模言語モデル(LLM)に関するビジネスと法律…

2023年4月3日の週に気になった記事など一覧

New – Ready-to-use Models and Support for Custom Text and Image Classification Models in Amazon SageMaker Canvas Prompt Engineering Guideの日本語訳 New – Ready-to-use Models and Support for Custom Text and Image Classification Models in Am…

3月27日の週に気になった記事などまとめ

大規模言語モデルの驚異と脅威 生成系 AI の業務利用ガイドラインを紹介します ChatGPT 人間のフィードバックから強化学習した対話AI Amazon Kendraによる検索結果のチューニング 大規模言語モデルの驚異と脅威 speakerdeck.com 大規模言語モデルの脅威を実…

3月20日の週に気になった記事などまとめ

【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた JPCERT/CC、「EmoCheck」v2.4を公開 ~再び活発化しつつある「Emotet」の最新版の対応 Amazon Linux 2023 – 長期サポー…

3月13日の週に気になった記事などまとめ

Foundation Model and Robotics | 基盤モデルとロボティクス 高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました 言語処理学会第29回年次大会 併設ワークショップ JLR2023 - プログラム AWS サーバーレス SaaS ワークショップ ECサイト構…