SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2024年5月20日の週に気になった記事などまとめ

100万トークン入力できるAI、Gemini 1.5 Proを使って超長文の文書について質問してみる

roboin-fa.com

Chat VectorでLLaVAを日本語対応させる

zenn.dev

  • liuhaotian/llava-v1.5-7b、elyza/ELYZA-japanese-Llama-2-7b、 liuhaotian/llava-v1.5-7bを使った

Langchain統合のためのクックブック: Langfuse編

hamaruki.com

  • @observe()デコレータを使うと、LangChain以外のコードもトレースできる

CHI2024_summary_japanese.pdf

drive.google.com

Security consideration of Azure OpenAI with Retrieval Augmented Generative pattern (part 1 of 3)

techcommunity.microsoft.com

Google AI StudioでLLM比較

note.com

  • Gemini 1.0 Pro、Gemini 1.5 Flash、Gemini 1.5 Proの3つを比較した記事

LLM、AGI研究とAI安全性についての思案

note.com

Weekly AI Agents News!

speakerdeck.com

  • How Far Are We From AGI?
    • AGIの定義、目標、発展ロードマップを示した論文

AIエージェントは何から取り組む?社内取り組み紹介

aitc.dentsusoken.com

  • エージェント開発で大事なのは、人間ならどう考え、どう判断するかを常に医自問自答すること
  • マルチエージェントで実行する場合は、サブタスク担当者にメインタスクに関する情報を与える必要がある

Copilot Studioに関するよくある質問

qiita.com

Cloud SQL(MySQL)とSpring Bootの画像検索アプリケーション作成

sreake.com

LangChain v0.2 の パッケージ構成

note.com

  • langchainパッケージ

最近ローカルLLMがアツいらしい

soysoftware.sakura.ne.jp

  • GPTのAPIはOpenAIのサービスと比べるとどうしても高くなる
  • Llama.cppは4bitぐらいまで量子化しても性能の劣化はほぼない
  • vLLMはバッチ推論だとスループットがかなりよい
  • vLLMは複数台クラスタでの推論をサポートしている

ラクリ、世界で初めてAWS TrainiumでMoEモデルを学習した「KARAKURI LM 8x7B Chat v0.1」を公開

karakuri.ai

  • 開発費30魔万円で構築した
  • 総パラメータ数467億、推論時のアクティブパラメータ数129億の大規模言語モデル

オブジェクトストレージにおけるファイルアップロードセキュリティ - クラウド時代に"悪意のあるデータの書き込み"を再考する

blog.flatt.tech

ベクトルデータの容量を96%削減するBinary Embedding

zenn.dev

  • Binary Embeddingを採用すると、容量を削減しながら、精度を維持できる

マイクロソフトビルド BOOK OF NEWS 2024年5月21日~23日

news.microsoft.com

「Copilot+ PC」とはなにか マイクロソフトが狙うUX変化とWindowsの再設計

www.watch.impress.co.jp

  • 「この間のあれ、どこにやったっけ」という質問を投げて、その情報やファイルを見つけられるようにするRecall機能が有効になる

New generative AI app evaluation and monitoring capabilities in Azure AI Studio

techcommunity.microsoft.com

  • Azure AI Studioでの評価について説明した記事

Announcing key updates to Responsible AI features and content filters in Azure OpenAI Service

techcommunity.microsoft.com

  • Azure OpenAI Studioのコンテンツフィルターについてまとめた記事

Announcing Azure OpenAI Service Assistants Public Preview Refresh

techcommunity.microsoft.com

  • Assistants APIの更新内容についてまとめた記事

[速報]マイクロソフト、自律型AIソフトウェアエンジニア「Devin」のCognition AIと提携を発表。Azure上でDevinを提供へ

www.publickey1.jp

[速報]マイクロソフトが「Team Copilot」発表。生成AIが会議のファシリテーターやプロジェクト管理を実行

www.publickey1.jp

[速報]GitHub Copilot extensions発表。CopilotがDockerやAzureなどサードパーティの専門家へ拡張、プログラマの質問に答えてくれる

www.publickey1.jp

LangSmithを活用したRAGの評価・改善フローの整備

speakerdeck.com

「Copilot+ PC」で使える新しいAI機能を一挙紹介! 注目は時を戻せる「Recall」

forest.watch.impress.co.jp

Microsoft、「AI Toolkit for VS Code」を発表

forest.watch.impress.co.jp

GPT-4oとPhi-3でLLMとSLMの双方を取り込むMicrosoftのAI戦略

pc.watch.impress.co.jp

Team「たぬき」開発振り返りメモ1: Scaling Lawに挑戦しようと準備する話

zenn.dev

超速報!現地からお届けする Microsoft Build レポート

www.youtube.com

Microsoft Build 2024の新発表10選【GPT-4o / Copilot / Phi】

zenn.dev

  • MaaSでNTT Dataのモデルが利用できるようになった

Claude 3でAWS試験を勉強してみた

speakerdeck.com

  • サービス間の違いや使い分けを理解するためにBedrockを使う

AI を活用したソフトウェア開発のための個人的ガイド

hamaruki.com

日本語テキスト埋め込みベンチマークJMTEBの構築

www.sbintuitions.co.jp

ICRA2024 速報

speakerdeck.com

50分で学ぶアルゴリズム / Algorithms in 50 minutes

speakerdeck.com

第一回 生成AIユースケース動向研究会ー生成AIの最新動向、そして教育現場における活用方法とは─

generativeaijapan.or.jp

  • 生成AIは80点ぐらいの回答を引き出せるツール

マルチモーダル学習ライブラリ Heronと⾃動運転への応⽤

speakerdeck.com

  • 高度な自動運転には資格情報と言語理解の融合が必要

Team「たぬき」開発振り返りメモ2: Scaling lawの壁は高かったという話

zenn.dev

  • ウェブサイトの文章は必ずしも質が高くない
  • 日本語ファインチューニングのデータが足りない
  • Mixtral 8x22bによって60-70点くらいの回答が生成される

Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話

tech.algomatic.jp

  • Zodスキーマを使えば、吐き出したJSONの型安全を保証できる

Azure 上でのシステム・アプリケーション監視の全体マップ

qiita.com

生成AIを巡る日本の現状は? 東大・松尾教授の考察資料が無料公開 「1年間、日本は最善手を指し続けている」

www.itmedia.co.jp

一人称視点映像解析の基礎と応用(CVIMチュートリアル

speakerdeck.com

仕事の進め方がグダグダの会社はどうすればいいのか、「プロジェクトマネジメントの基本が全部わかる本」の著者に聞いてみた

agend.jp

ROS Japan UG #55 Planner特集!

www.youtube.com

[05/18~05/24] 生成AI Weekly News|Microsoft Buildをピックアップ

note.com

  • Edgeの新機能で動画をリアルタイムで翻訳してくれる
    • 字幕も音声も
  • 「RAGAPP」というシンプルなRAG可能なチャットアプリがOSSで公開された

LangChain with_structured_output メソッドによる構造化データ抽出

zenn.dev

Gemini API で 動画の質問応答 を試す

note.com

  • 「File API」は2GB未満のファイルを受信することが可能
  • プロジェクトごとに20GBのファイルを保存できる
  • ファイルは2日間有効

脆弱性トリアージガイドライン作成の手引き

github.com

Key Guidelines for Writing Instructions for Custom GPTs

https://help.openai.com/en/articles/9358033-key-guidelines-for-writing-instructions-for-custom-gpts

Multimodal LLMs and foundation models in robotics

speakerdeck.com

News Recommendation with Category Description by a Large Language Model

arxiv.org

AI導入で企業が挫折するのはなぜ?―AI「以外」の壁にどう立ち向かうか

note.com

  • 100%の出力ができないため、AIの出力を人間がレビューするという業務フローに変えた
  • 業務プロセス全体で生産性が良くなっているかをで評価

Streamlit 1.35.0の新機能紹介

qiita.com

  • GUI(チャート、DataFrame)で選択したデータをPythonコード側で受け取れる機能が追加された

個人開発OSSが世界に勝てなかった話

zenn.dev

Geminiでグラフを読み取らせて遊んでみる。

bwgift.hatenadiary.jp

ChatGPTの新データ分析機能がすごい!

note.com

ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します

zenn.dev

製造業を巡る現状と課題 今後の政策の方向性

https://www.meti.go.jp/shingikai/sankoshin/seizo_sangyo/pdf/016_04_00.pdf