오픈소스 모델 실험을 정리하기 위한 저널 작성 과정을 공유합니다.
저자는 오픈소스 모델 실험 결과를 정리하기 위해 저널을 작성하고 있습니다. 이 저널은 Qwen3.5-35B-A3B 모델의 routing 신호와 관련된 실험 이력을 포함하고 있습니다. 저자는 혼합 전문가 모델의 특정 레이어에서의 결과를 설명하며, 이 결과가 자기 성찰을 생성하는 데 어떻게 기여하는지를 분석합니다.
Sharing the process of organizing a journal for open-source model experiments.
The author is organizing a journal to document experiments related to the Qwen3.5-35B-A3B model's routing signals. The journal includes details of the experiment history and the outcomes regarding how certain layers in a mixture-of-experts model generate self-reflective output. This serves as a precursor to structuring the first git release of the model.