SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2023年8月21日の週に気になった記事などまとめ

AIが「理解」するから、API仕様書のコピペでアプリができあがるローコード開発環境「Flowise」を試す

internet.watch.impress.co.jp

  • Flowiseは複数の機能を組み合わせたチャットアプリをGUIで設計できるローコードツール
    • あらかじめ用意された機能のパーツを線でつないでいくだけで、複雑な処理を実現できる
  • API Chainのパーツは、APIのドキュメントを貼り付けるだけで適当なリクエストを生成する
    • GPT-3.5 Turboが仕様を理解する

azure-openai-design-patterns

github.com

プログラミング言語に特化した10億パラメータのLLM、Decicoderの使い方

note.com

  • プログラミング言語の補完に特化したLLM
  • 関数名などの関数の一部やコメントをプロンプトとして渡すと、コードが補完される

japanese-text-generation-webui-colab

github.com

  • Google Colab上で日本語LLMを動かすtext-generation-webuiのコード

【ローカルLLM】Gradio+CTranslate2で日本語LLMのチャットUIをつくる

note.com

  • Gradio+言語モデル量子化・推論用のライブラリCTranslate2を使って、「line-corp-japanese-large-lm-3.6b」を動かしている記事

GPT-3.5 Turbo fine-tuning and API updates

openai.com

  • OpenAIが提供するGPT-3.5 Turboでファインチューニング可能となった

alfredplpl/RetrievalQA.py

gist.github.com

  • PDFの英語論文を「rinna/bilingual-gpt-neox-4b-instruction-ppo」に理解させて日本語で回答させるソースコード

Announcing Python in Excel: Combining the power of Python and the flexibility of Excel.

techcommunity.microsoft.com

  • Excel上でPythonを実行する機能がパブリックプレビューでリリースされた
  • Pythonの計算はMicrosoft Cloudで実行される
  • Anaconda ditributionに含まれるライブラリを利用できる

文章生成AI利活用に関するガイドライン

www.metro.tokyo.lg.jp

  • 東京都職員向けに策定した文章生成AIの利活用に関するガイドライン

中小企業のための「生成AI」活用入門ガイド

https://www.tokyo-cci.or.jp/chusho/tcci_generativeai_guide_for_smes_ver01.pdf

  • 中小企業の経営者・従業員向けの生成AIを導入・活用するにあたり最低限必要な知識・利活用法・注意事項をまとめたもの

Finetuning Large Language Models

www.deeplearning.ai

  • DeepLearning.AIが提供するLLMのファインチューニングの基礎を学ぶコース

ChatGPT の Fine-tuning を試したけど上手くいかなかった話

zenn.dev

  • ChatGPTに最新の知識や専門知識を注入できるかどうかをテストしてみた記事
  • 質問生成時に出力形式を守らせるために「OutputFixingParser」と「PydanticOutputParser」を利用

Use of LLMs for Illicit Purposes: Threats, Prevention Measures, and Vulnerabilities

arxiv.org

  • LLMにより引き起こされる脅威と脅威への予防策について記載された論文

無料Colabで東大松尾研のWeblab-10Bを試してみた

note.com

  • weblab-10b-instruction-sftの4bit量子化モデルのweblab-10b-instruction-sft-GPTQを無料Google Colabで動かした記事

Google Colab で Code Llama を試す

note.com

  • Google Colab で Code Llama を試した記事

Azure Developer CLI Deep Dive

speakerdeck.com

  • Azure Developer CLIの説明資料

【ローカルLLM】Colabの標準GPUで「CodeLlama-34B-GGUF」を動かす

note.com

  • 「CodeLlama-34B-GGUF」をColabの標準GPUで動かす

MultiVector Retriever

python.langchain.com

  • ドキュメントごとに複数のembeddingを持ちたい際に「Multi Vector Retriever」をソリューションとして使える

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す

note.com

  • 「LlamaIndex」で提供されているOpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留をベースに独自データで試した記事

2023年版データ分析の100冊

qiita.com

  • IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する記事