인스턴스 표현 학습에서 손실 함수에 대한 논의와 NCE 사용의 장단점에 대해 설명합니다.
이 글에서는 Wu et al.의 연구를 바탕으로 인스턴스 표현 학습에서 MLE의 계산적 문제를 다룹니다. 특히, 데이터셋의 이미지 수가 많을 때 발생하는 문제를 해결하기 위해 Noise-Contrastive Estimation(NCE) 방식이 사용됩니다. NCE 손실의 적용과 부정확한 추정이 혼란스러운 상황을 설명하며, NCE와 NLL 손실 간의 관계에 대한 질문도 제기합니다.
Discussion on loss functions in instance representation learning and the pros and cons of using NCE.
This article discusses issues related to the MLE objective in instance representation learning based on research by Wu et al. It highlights the computational challenges faced with a large number of images, and how Noise-Contrastive Estimation (NCE) is utilized as a solution. The article raises questions about the application of NCE loss and the confusion surrounding bias in estimations, exploring the relationship between NCE and Negative Log-Likelihood (NLL) loss.