added test code

wonchul-kim · Jan 10, 2024 · 58cc488 · 58cc488
1 parent 6e1aa80
commit 58cc488
Showing 1 changed file with 3 additions and 1 deletion.
diff --git a/_posts/pytorch/2024-01-09-torchrun.md b/_posts/pytorch/2024-01-09-torchrun.md
@@ -7,6 +7,9 @@ tag: distributed training
 
 # Distributed Training by PyTorch
 
+전체 코드는 [github](https://github.com/wonchul-kim/distributed_training)에서 참고 가능합니다.
+
+
 ### 실행
 
 ```
@@ -299,7 +302,6 @@ cost 4.337230443954468 ms
 ```
 
 위와 같이, 1 ~ 20까지의 data에 대해서 GPU0, GPU1이 각각 배치를 생성하면서 진행되고, train_dataset의 경우 `shuffle`을 하여 매 epoch마다 순서가 다르다.
-코드는 [github](https://github.com/wonchul-kim/distributed_training)에서 참고 가능합니다.
 
 ------------------------------------------------------------------
 ### Model