I built an open, from-scratch MT pipeline + parallel corpus for Tunisian Darija (Arabizi) early baseline, and I'm growing it into a curated community corpus [P]

튀니지 다리자(아라비지) 기계 번역 파이프라인을 구축한 18세 학생의 프로젝트 공유.

튀니지의 18세 독립 학생이 튀니지 다리자(아라비지)용 기계 번역 파이프라인과 병렬 코퍼스를 구축했습니다. 기존 아랍어 도구들이 다리자를 제대로 처리하지 못하고 있어, 저자는 이를 해결하고자 하였으며, 열린 자원으로 공유하고 피드백을 요청하고 있습니다. 현재 15.6M 파라미터의 트랜스포머 모델과 16k 어휘의 토크나이저를 개발하였으며, 데이터 부족 문제를 인정하고 있습니다. 이 프로젝트에 동참할 기여자를 찾고 있습니다.

An 18-year-old student built a machine translation pipeline for Tunisian Darija and is seeking feedback.

An 18-year-old independent student from Tunisia has built a machine translation pipeline and parallel corpus for Tunisian Darija written in Arabizi. The existing Arabic tools fail to handle it properly, prompting the need for this open resource. He developed an encoder-decoder transformer from scratch and acknowledges the limitations due to the small dataset. He seeks contributors and technical feedback to grow this project.