Skip to content

compute inside partial_fit#2

Merged
fujiisoup merged 2 commits intoincremental_pcafrom
ya_incremental_pca
Mar 16, 2020
Merged

compute inside partial_fit#2
fujiisoup merged 2 commits intoincremental_pcafrom
ya_incremental_pca

Conversation

@fujiisoup
Copy link
Copy Markdown
Owner

とりあえず、昨日お話ししたcompute()とexplained_variance部分を修正しました。
https://github.com/fujiisoup/dask-ml/tree/ya_incremental_pca
ただ、future warningがまだ回避できていません。
vstackの部分かと思いましたが別の部分から来ているようです。

@fujiisoup
Copy link
Copy Markdown
Owner Author

少し気になっているのは、

  1. randomized時のexplained_variance_ratioの計算式
    (batch sizeが1の時はdaskのPCAと一致した方が良いと思うので)
  2. componentsなどのattributesをcompute()していない点
    です。

compute はしたほうがいいんでしょうか。たしかにpartial_fitしまくってグラフが大きくなりすぎないほうがいいような気もするんですが。

@fujiisoup
Copy link
Copy Markdown
Owner Author

ただ、future warningがまだ回避できていません。vstackの部分かと思いましたが別の部分から来ているようです。

239行目のnp.expand_dims の部分じゃないかなと思います。

@fujiisoup fujiisoup merged commit ab9171e into incremental_pca Mar 16, 2020
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant