크롤러는 부하를 저감・분산하기 위해서 수많은 기술을 사용하고 있습니다. 그 중에서 http get이라는 분산형로봇에 대해서 설명하겠습니다.