SEが最近起こったことを書くブログ

ITエンジニアが試したこと、気になったことを書いていきます。

2021-01-01から1ヶ月間の記事一覧

Docker上にWordCloud + MeCab +Jupyter環境構築する際にはまったこと

Docker上にWordCloud + MeCab +Jupyter環境を構築したがはまったので、 非常に雑だがメモしておく。 はまったこと MeCabを利用しようとしたら、以下のエラーが出る error message: [ifs] no such file or directory: /usr/local/etc/mecabrc 以下を実行して…

AI・データ分析プロジェクトのすべてを読みました

読もうと思った理由 データ分析プロジェクトのはまりどころを把握したかった データサイエンティストの情報収集方法を知りたかった 全体的な感想 今まで暗黙知になりがちだったノウハウが文書化されていて、プロジェクトを進めるうえで非常に参考になる 本で…

t-SNEについて調べてみた

t-SNEとは?となり調べたので、理解できたことをメモしておく。 書いてみて、ちゃんと理解できてない感たっぷりですが、そのまま残しておきます。 t-SNEは高次元のデータを二次元または三次元に圧縮して可視化する 元の特徴空間上で近い点が圧縮後の次元でも…

Amazon QuickSight のML インサイトについて調べてみた

Amazon QuickSight のML インサイトについて簡単に調べてみたので、メモをしておく MLインサイトでできること ML を使用した異常検出 ランダムカットフォレストにて、異常検知する ML を使用した予測 - 異常なデータポイントを除外し、予測する 自動説明文 …

AWS Data Pipeline について調べてみた

AWS Data Pipelineがよくわからなかったので、調べてみたことを以下に記述する。 完全にメモですので、ご了承ください。 AWS Data Pipelineとは データの移動と変換をスケジュールベースで自動化するサービス 1日に一回程度発生するデータの回収やバックアッ…