Research (연구 관련)
training & numpy randomness
홍돌
2021. 8. 14. 16:47
Udate 2021.08.24.
내가말한게 이거였음
https://github.com/pytorch/pytorch/issues/5059#issuecomment-404232359
np.random generates the same random numbers for each data batch · Issue #5059 · pytorch/pytorch
For example, the following script from __future__ import print_function import numpy as np import random # np.random.seed(0) class Transform(object): def __init__(self): pass def __call__(self, ite...
github.com
Reproducible PyTorch를 위한 randomness 올바르게 제어하기!
PyTorch 코드의 완벽한 재현을 위해 고려해야할 randomness를 제어하는 법을 설명드리겠습니다.
hoya012.github.io
아 근데 옛날에 실험할 때 numpy random seed를 고정해놓으면 thread마다 항상 같은 값을 내도록 됭어있어서 성능에 악영향이 있었던 것 같은데 확인해봐야겠다. 의도한 것은 thread마다도 다른 값을 내야됨. 정확히 문제가 뭐였는 지 기억이 안남. 그때 블로그에 적어둘걸..
괜찮은듯?