Derivative-Free Neural Network Optimization: MNIST Case [R]

MNIST 이미지 분류를 위한 비미분 신경망 최적화 테스트 결과 발표

이 글에서는 MNIST 이미지 분류에 대한 신경망의 비미분 최적화 테스트를 설명합니다. 784-32-10 구조를 가진 신경망은 MDP 방법을 사용하여 25,450개의 매개변수를 최적화했습니다. 최종 결과는 Cross-Entropy Loss가 0.0004083, 검증 정확도가 93.7%, 테스트 정확도가 93.4%로 Adam보다 우수한 성능을 보였습니다. 코드는 GitHub에서 확인할 수 있습니다.

Presentation of derivative-free optimization test results for MNIST image classification neural network.

This article discusses a derivative-free optimization test on a neural network for MNIST image classification. The network features a 784-32-10 architecture, optimized using the MDP method without gradients. The final results achieved a Cross-Entropy Loss of 0.0004083 with validation accuracy of 93.7% and test accuracy of 93.4%, outperforming Adam. The code for this experiment is available on GitHub.