colabでPyTorchやkerasを使っていると一年に一回くらいモデルの性能が極端に下がる時がある。
コードも変えていないし、データも変えていないのに、40~50%くらい性能（100%満点)が下がって、何回実行しても変わらない。
結局、違う方法を採用することでその場しのぎしてきたが、今回再びその現象に直面し、原因を解明することができたかもしれないので、同じ現象に悩んでいる人のためにメモを残しておく。
あくまで僕はこれで解決できたというものなので参考程度に…
結論！
パッケージが自動的にアップデートされてる
colabの環境は最初からいろんなライブラリがインストールされているが、逆にcolabが勝手にアップデートできるということ。
僕の場合はPyTorchが 1.9→1.10 にアップデートされていた。
最近最新バージョンがリリースされているのならこれが原因である可能性が高いので、バージョンを下げてみることで解決するかもしれない。
バージョンを下げるにはまず
!pip uninstall -y パッケージ名でアンインストールし、その後以下のようにバージョンを指定してインストールし直す。
!pip install パッケージ名==バージョンもしこれで性能が元に戻ったなら、うまくいく環境(バージョン)を忘れないように
!pip freeze > requirements.txt
# パッケージの一覧とバージョンを書き出すでメモしておくのがオススメ。
アップデートされて性能が下がるのはそれはそれでまずい気がするけど….
コメント