소름 끼치는 크롤러들

크롤러가 Git 접근보다 더 많은 CPU 자원을 소모하고 있다는 보고가 있다.

AI 학습용 크롤러의 사용이 Git 커밋을 HTML로 렌더링하며 CPU 자원을 과도하게 소모하고 있다는 내용이다. 이러한 크롤러는 Git 저장소를 전혀 복제하지 않고도 Linux 개발 이력을 수집하고 있으며, 그 과정에서 922개 포크와 148만 커밋을 처리하고 있다. 이는 특정 사용 사례에서 비효율적인 자원 소모를 초래할 수 있다.

Crawlers are consuming more CPU resources than Git accesses for AI training.

There are reports that AI training crawlers consume more CPU resources than normal Git accesses while rendering Git commits into HTML. These crawlers collect Linux development histories without cloning the repository at all, processing 922 forks and 1.48 million commits. This can lead to inefficient resource consumption in specific use cases.