AWS Certified Data Analytics - Specialtyを受験のために、勉強中に学んだことをこのページに記述していく ※更新中 RedShift 自動スナップショット Redshiftでは、自動スナップショットを取得できる. デフォルトだと、8時間ごとまたは1ノードのデータが5GB…

読もうと思った理由 効率よく独学をしたいと考えたから 今よりも効率よく勉強する方法があると考えたから 時間がない中でどのように学習すればよいか知りたかったから 全体的な感想 一人で学習することは難しいことだということを感じた 学んだことがやりっ…

昨日、AWS 認定 機械学習 – 専門知識を受験して、 合格したので、その時にやった勉強方法や学んだ感想を記録します。 資格を受けようと思ったきっかけ AWSを使うことで、機械学習モデルの構築・運用をどのようにサポートされるかを理解したい ついでにAWSの…

最近のAWS関係の勉強で不明点をTwitterにメモったことをまとめておく ひとまず、Tweetを張って追加で調べたほうがいいことを考える 機械学習周り SageMaker、Kinesisあたりでいろいろと新しいことを知ったが、整理できてない感が。。。 SageMaker SageMaker…

AWSの因数分解機について理解できていないので、調べてメモを残す 分類や回帰に使用できる 線形回帰よりも疎なデータセットにおいて、計算効率がよい レコメンドに使用される 利用イメージ 密なユーザ行列と密なアイテム行列を使って、疎な評価行列(ユーザ*…

Partial Dependence Plotについて調べたので、理解できた内容を以下に記録する ターゲットと対象の入力特徴のセットとの間の依存性を示す 興味のある変数以外の影響を周辺化して消す 元の説明変数の値からある説明変数の値をすべて何かの値xに置き換えて、予…

Permutation Importanceについて調べてみたので、分かったことについて以下にまとめる 調べて理解できたこと 「ある特徴量がどれだけモデルの予測精度向上に寄与しているのか」を解釈したもの ある特徴量をランダムに並べ替えて、どの程度モデルの誤差へ影響…

まだまだ勉強中ですが、SHAPについて理解できたことをメモしておく。 ちゃんと理解できていないので、間違いがあると思いますが、 その際は優しくご指摘いただけると幸いです。 近似するモデルについて 予測結果に対する各変数の寄与を求める手法 学習したモ…

Docker上にWordCloud + MeCab +Jupyter環境を構築したがはまったので、 非常に雑だがメモしておく。 はまったこと MeCabを利用しようとしたら、以下のエラーが出る error message: [ifs] no such file or directory: /usr/local/etc/mecabrc 以下を実行して…

読もうと思った理由 データ分析プロジェクトのはまりどころを把握したかった データサイエンティストの情報収集方法を知りたかった 全体的な感想 今まで暗黙知になりがちだったノウハウが文書化されていて、プロジェクトを進めるうえで非常に参考になる 本で…

t-SNEとは？となり調べたので、理解できたことをメモしておく。 書いてみて、ちゃんと理解できてない感たっぷりですが、そのまま残しておきます。 t-SNEは高次元のデータを二次元または三次元に圧縮して可視化する 元の特徴空間上で近い点が圧縮後の次元でも…

Amazon QuickSight のML インサイトについて簡単に調べてみたので、メモをしておく MLインサイトでできること ML を使用した異常検出 ランダムカットフォレストにて、異常検知する ML を使用した予測 - 異常なデータポイントを除外し、予測する 自動説明文 …

AWS Data Pipelineがよくわからなかったので、調べてみたことを以下に記述する。 完全にメモですので、ご了承ください。 AWS Data Pipelineとは データの移動と変換をスケジュールベースで自動化するサービス 1日に一回程度発生するデータの回収やバックアッ…