Shopify가 LLM 프롬프트를 압축하는 'Gisting' 기술을 소개했습니다.
Shopify 엔지니어링 팀은 긴 LLM 프롬프트를 작은 학습된 'gist' 토큰으로 압축하는 새로운 기술인 gisting을 발표했습니다. 이 기술은 처리량을 개선하고 추론 비용을 줄이는 데 도움을 줍니다. 이를 통해 LLM의 성능을 향상시키려는 노력을 보여줍니다.
Shopify introduces 'Gisting,' a technique to compress LLM prompts into learned tokens.
Shopify's engineering team has introduced a novel technique called gisting, which compresses long LLM prompts into smaller learned 'gist' tokens. This innovation enhances throughput and reduces inference costs. It represents an effort to improve the performance of LLM systems.