AI가 선별한 아티클
튀니지 다리자(아라비지) 기계 번역 파이프라인을 구축한 18세 학생의 프로젝트 공유.
An 18-year-old student built a machine translation pipeline for Tunisian Darija and is seeking feedback.
H64LM은 PyTorch로 구현된 249M 파라미터 Mixture-of-Experts Transformer 프로젝트입니다.
H64LM is a 249M-parameter Mixture-of-Experts Transformer implemented from scratch in PyTorch.
Fast Byte Latent Transformers와 Mamba 모델의 변환 가능성에 대한 질문.
Question about switching from Fast Byte Latent Transformers to Mamba model.
AI 에이전트의 성능 저하 원인인 '컨텍스트 로트'를 분석합니다.
The article analyzes 'context rot,' the degradation of an AI agent's performance over time.
사용자가 손으로 만든 미니멀한 트랜스포머 모델을 소개합니다.
The user introduces a minimal transformer model built from scratch.
고차원 동적 회전 포지셔널 임베딩(HDD-RoPE)의 성과와 수학적 기초를 설명하는 게시물입니다.
An article discussing the performance and mathematical foundation of High Dimensional Dynamic Rotary Positional Embedding (HDD-RoPE).
Transformer 디코더가 텍스트를 생성하는 방식을 설명한 글입니다.
The article explains how Transformer decoders generate text.
Transformer 블록의 구성 요소가 GPT와 BERT의 기초를 차지함을 설명합니다.
Explains the components of the Transformer block that underlie GPT and BERT.
Papers with Code의 새로운 기능 업데이트가 발표되었습니다.
New feature updates for Papers with Code have been announced.
복잡한 diffusers 라이브러리를 간소화한 minFLUX 오픈소스 프로젝트 제작.
Created minFLUX open-source project to simplify complex FLUX models in the diffusers library.
ML과 LLM을 배우는 워크숍을 유튜브에 게시했습니다.
Posted a workshop on YouTube about building LLMs without math prerequisites.
Flash Attention 구현의 핵심 아이디어와 이점에 대해 설명합니다.
The article explains the key ideas and benefits of implementing Flash Attention.
Noam Shazeer가 OpenAI에 합류했습니다.
Noam Shazeer joins OpenAI.
프로브의 강도를 분석하는 방법과 관련된 질문이 제기된다.
The article raises questions about how to analyze the 'strength' of probes in language models.
이터레이션 없이 컴퓨팅 오버헤드를 줄이는 적응형 비디오 토큰화 방법을 소개합니다.
Introducing a method for adaptive video tokenization that reduces computational overhead without iteration.
변압기는 부하가 없더라도 높은 전류를 흡수할 수 있는 이론인 '전류 유입'을 다룬 기사입니다.
This article discusses 'inrush current,' where transformers can draw high current even without a load.
--n-gpu-layers 플래그를 VRAM 예산에 맞게 조정하는 방법을 설명합니다.
This article explains how to tune the --n-gpu-layers flag for your VRAM budget.
다양한 Transformer Attention 메커니즘 구현을 위한 레포지토리 소개.
Introduction to a repository for various Transformer Attention mechanism implementations.
CS336 과정에서 언어 모델 개발을 처음부터 배운다.
CS336 course teaches building language models from scratch.
이메일 내에서 트랜스포머의 학습 및 추론에 관한 내용입니다.
This article discusses training and inference of a transformer within an email.
아랍어 ASR 모델이 훈련 중 수렴하지 않고 있습니다.
An Arabic ASR model is struggling to converge during training.
VLA에서 Hopfield 메모리를 구현하려는 연구 인턴의 아이디어.
A research intern explores implementing Hopfield memory in VLA.
비언어 시리즈에 GPT 유사 모델을 훈련하는 방법에 대한 탐구.
Exploring ways to train a GPT-like model on non-language series.
AI로 생성된 CUDA 커널이 훈련과 추론을 방해하는 문제를 다룬다.
AI-generated CUDA kernels are causing issues in training and inference processes.
이 글은 기계의 의미 정렬 및 제약 조건 우선 순위에 대해 논의합니다.
The article discusses machine alignment and prioritization over constraints.
영상 프레임 분류를 위한 이미지 인코더 구축에 대한 논의입니다.
Discussion on building a custom image encoder for video frame classification.
Uber Eats가 실시간 신호와 리스트 방식 순위를 활용하여 추천 시스템을 개선했습니다.
Uber Eats improves its recommendation system using real-time signals and listwise ranking.
Fiedler 값과 Scheffer 지표를 통해 신경망 학습 중 grokking을 예측한 연구.
Research predicts grokking in neural networks using Fiedler value and Scheffer indicators.
LSTM과 Transformer 모델을 이용한 S&P 500 예측을 위한 30년 역사적 데이터 소스를 찾고 있습니다.
Looking for reliable 30-year historical data for S&P 500 for LSTM and Transformer research.
Orthrus는 메모리 효율적인 병렬 토큰 생성을 위한 기술을 소개합니다.
Orthrus presents a technology for memory-efficient parallel token generation.