SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2024年8月5日の週に気になった記事などまとめ

サーベイ】大規模言語モデル時代の「データ中心の自動運転モデル」

zenn.dev

  • 「データ中心」の世界では、学習方法の方が固定されていて、用意するデータを高品質かつ大量にすることでモデルの精度を上げていくという考え方

元Stable Diffusion開発チームによる高性能画像生成AI「FLUX.1」、Perplexity精度のオープンソース検索AI「MindSearch」など生成AI技術5つを解説(生成AIウィークリー)

www.techno-edge.net

  • MindSearchはLLMベースのウェブ検索エンジン
  • FLUX.1はテキストから画像を生成する120億パラメータのモデル

Building A Generative AI Platform

huyenchip.com

第2回関東kaggler会 LT コンペ振り返りのすすめ

speakerdeck.com

Gemma2-2b: TPUを活用したファインチューニングとKagglehubへのアップロード

hamaruki.com

  • Gemma2-2b モデルを使って、TPU(Tensor Processing Unit)を活用したファインチューニングを行い、その結果をKagglehubにアップロードする方法を紹介する記事

インシデントレスポンスの成熟度モデル

docs.google.com

VisualStudioCodeで絶対にしておくべき設定ベスト20

zenn.dev

RAGのサービスをリリースして1年3ヶ月が経ちました 〜多くのお客様に関わって得られた知見〜

qiita.com

  • お客様は情報検索に困っている
  • 検索結果に対して、「関連あり」や「関連なし」のボタンを押すことでランカーの教師データを作成する

React / Remix への依存を最小にするフロントエンド設計

user-first.ikyu.co.jp

10年かけて、世界で通用するソフトウェアエンジニアに。自分の得意分野を磨いてキャリアアップ

levtech.jp

LLM Comparison Cloudflare Worker

github.com

  • 複数のLLMモデルを比較できるアプリ

世界一わかりみの深いクラウドネイティブ on Azure 第27回〜PV爆上げ!?AIアプリ開発ツールPrompt flowでブログ記事紹介ツイートアプリをラクチン開発〜

www.youtube.com

Getting started with Azure OpenAI global batch deployments (preview)

learn.microsoft.com

  • Azure OpenAI Serviceのバッチデプロイが公開された

脅威インテリジェンス導入・運用ガイドライン

www.ipa.go.jp

LangGraphでSubGraphとPydanticを使った場合のハマりどころ

zenn.dev

  • サブグラフのStateが保持するフィールドを親グラフのStateが保持していないと実行時にエラーになる
  • Stateに辞書型以外の型を使う場合、親のStateが子のフィールドを全て持っていないとエラーになる

大規模言語モデルにおけるData-Centric AI

zenn.dev

DifyとLangfuseを連携させてみよう!

note.com

  • LangfuseのCloud版とDifyの連携方法を紹介する記事

MIRU2024チュートリアル「様々なセンサやモダリティを用いたシーン状態推定」

speakerdeck.com

OpenAI API の Structured Outputs の使い方

note.com

  • Structured Outputsはモデルによって生成された出力が、開発者が提供するJSONスキーマと完全に一致する
  • 「gpt-4-0613」「gpt-3.5-turbo-0613」以降のツールをサポートするすべてのモデルで動作する
  • 「Structured Outputs」は「Parallel Function Calling」と互換性がない
  • OpenAIのPythonおよびNode SDKは、「Structured Outputs」のNativeサポートする

Introducing Structured Outputs in the API

openai.com

  • OpenAIが開発者が指定したJSONスキーマと完全に一致するように出力する機能を発表した

Azure OpenAI Service の Batch API 要点まとめ

zenn.dev

  • Batch APIはプロンプトを一つのファイルにまとめてアップロードすることで、24時間を目標に処理結果を返してくれる機能
  • Batch APIはリアルタイム用途は独立したクォータが設定されている

PFEが開発する大規模言語モデルPLaMo β版の無料トライアルの申込受付を開始

www.preferred.jp

End-to-end 自動運転という新しいパラダイム

zenn.dev

  • E2E自動運転では、カメラ画像(または動画)を入力として、車の経路を出力する単一のモデルを作成する

ollama-python のストリーム機能

qiita.com

  • OllamaでLLMからの応答をストリームで受けとる方法を紹介する記事

何十年も売れ続けている定番の日経文庫11冊を編集長が解説

bookplus.nikkei.com

Announcing a new OpenAI feature for developers on Azure

azure.microsoft.com

  • GPT-4o-2024-08-06をPlaygroundで試すことができる

大規模言語モデルを用いた日本語視覚言語モデルの評価方法とベースラインモデルの提案 【MIRU 2024】

speakerdeck.com

RAG入門: 精度改善のための手法28選

qiita.com

【KARAKURI LM 10本ノック】#3 LLM学習時のGPU消費量

medium.com

  • モデルをfloat16で読み込んだ場合、メモリ使用量はパラメータ数×2Bytes

Gemini 1.5 Flash の値下げ、 チューニング、 開発者ドキュメントの改善 など

note.com

  • 2024年8月12日から、「Gemini 1.5 Flash」の価格を値下げする
  • Gemini 1.5 Flashのチューニングをすべての開発者が利用可能に

Difyユーザー必見!JSON Parseツールで面倒な整形作業から解放

blog.generative-agents.co.jp

  • Dify の JSON Parse ツール を使って、JSON データの整形を劇的に楽にする方法を紹介する記事
  • JSON の構造に従ってパスを記述するとそこだけ抽出できる

2024年における生成AIエンジニアとは何者か

speakerdeck.com

  • 一般的なエンジニアよりも顧客視点、ビジネス視点を求められる

株式会社リクルート エンジニアコース新人研修の内容を公開します!(2024年度版)

techblog.recruit.co.jp

エンジニアリングが好きな私たちのためのエンジニアリングマネジャー入門

speakerdeck.com

  • 価値観をチーム内で共有できていると他者の理解がかなり容易になる
  • マネージャーによるチームの語り方によって、周囲やチーム、自分へ多大な影響がある
  • マネージャーの仕事は成果に向けて、みんなの足並みをそろえること
  • 相手の価値観に応じて、フィードバッグを受け取りたい方法を事前に聞いておく

現代的システム開発概論 2024

speakerdeck.com

  • バッファは一か所に集めないと、食い尽くされる
    • プロジェクト全体で計画とバッファの管理することが重要

データベース中心の設計になってしまう問題と闘う

laiso.hatenablog.com

Google Colab で Flux のLoRAファインチューニングを試す

note.com

  • 「AI Toolkit by Ostris」で「Flux」のLoRAファインチューニングを行った記事

【2024年7月版】世界各国のAI規制とガイダンスの動向まとめ

ainow.ai