프로브의 강도를 분석하는 방법과 관련된 질문이 제기된다.
이 글은 언어 모델의 프로브의 '강도'를 분석하는 방법에 대한 질문을 다룬다. 저자는 프로브의 용량과 기본 네트워크 간의 균형에 대해 알고 싶어하며, 이와 관련된 이론과 예제의 '난이도'를 레이블링하는 방법에 대해 궁금해한다. 또한, 이전 연구가 이러한 문제를 어떻게 다뤘는지에 대한 언급도 있다.
The article raises questions about how to analyze the 'strength' of probes in language models.
This post discusses inquiries into analyzing the 'strength' of probes in language models. The author is interested in balancing the capacity of the probe with the underlying network and seeks theoretical grounding for learning insights. Additionally, questions are raised about factoring in the 'difficulty' of examples and how existing research has tackled these challenges.