훈련된 모델로부터 ablation study를 수행하는 방법에 대한 논의.
이 글은 ablation study를 수행하는 데 있어 훈련된 모델의 체크포인트를 사용해야 하는지에 대한 문제를 다룹니다. 작성자는 이미 훈련된 모델로부터 ablation study를 수행해야 하지만, 재훈련 시의 무작위성 때문에 원래의 정확도와 차이가 날 수 있다고 걱정합니다. 따라서, 훈련을 하지 않고도 ablation study를 할 수 있는 방법에 대한 다른 연구자들의 경험을 듣고자 합니다.
Discussion on how to perform ablation studies using a trained model checkpoint.
This article addresses the challenges of conducting an ablation study using a trained model's checkpoint. The author is concerned that retraining the model could lead to different accuracy outcomes due to randomness and different seeds. They seek insights from others on how to effectively carry out an ablation study without retraining the model, and are looking for shared experiences from publications or thesis work.