영상 프레임 분류를 위한 이미지 인코더 구축에 대한 논의입니다.
사용자는 CLIP, SigLIP, DINO와 같은 기존 모델 대신 자신의 이미지 인코더를 구축하는 것의 장단점을 고민하고 있습니다. 비디오 스트림을 처리하는 파이프라인을 설정했으며, Transformer 모델의 임베딩 생성 속도와 정확성을 개선할 수 있을지에 대한 질문을 던지고 있습니다. 이 프로젝트는 소형 CPU 전용 장치에서의 배포도 고려하고 있습니다.
Discussion on building a custom image encoder for video frame classification.
The user is contemplating the pros and cons of building a custom image encoder instead of using existing models like CLIP, SigLIP, or DINO. They have set up a pipeline for processing video streams and are questioning whether their approach can improve embedding generation speed and the accuracy of their Transformer model. The project also considers deployment on small CPU-only devices.