홍석쓰 블로그

Model Parallelhttps://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html모델 잘라서 여러 gpu들에 분산 시킴. Pipelining 잘하면 당연히 속도 빨라질 수 있음. Pipelining에서 중요한 건 split_size, 즉 각각의 gpu device가 처리하는 data batch의 size다. 이 split_size가 작으면 각 gpu의 idle time이 줄어들지만, cuda kernel launch가 너무 많아져서 비효율적일 수도 있고 (정확히는 무슨 말인 지 모름), split_size가 너무 크면 각 gpu의 idle time이 커짐. "Intuitively speaking, using small split_si..

Part 9 Hand Function Across the Lifespan08/22/2024"Physical Aspects Pertaining to Hand Development"Early Hand Development and Growth:Anatomical Development: The hand's anatomical features are defined by 10 weeks of gestation, and a primitive grasp reflex appears by 12 weeks (e.g., Brown, Omar, & O'Regan, 1997).Growth: By age 18 years, the size of an infant's hand increases by 200-300% in length ..