[kafka] 아파치 카프카의 역사와 미래(1)
카프카의 탄생배경 카프카는 2010년경 LinkedIn에서 만들어졌습니다. 개발자는 Jay Kreps, Neha Narkhede, Jun Rao 등이고, 2011년 오픈소스로 공개되어 Apache 프로젝트가 되었습니다. 탄생이 된 배경은 서비스가 커지며 시스템 간 데이터 전달이 엉망이 되었습니다.로그, 사용자활동, 메트릭 등을 여러 시스템(DB, 검색, 분석, 모니터링 등) 이 서로 1:1로 직접 연결해서 주고 받았습니다.시스템이 늘수록 연결이 기하급수적으로 늘어나 "스파게티 구조"가 됐고, 관리와 장애 대응이 매우 어려웠습니다.기존 메시징 시스템(ActiveMQ 등)은 LinkedIn 규모의 대용량실시간 처리를 감당하기 어려웠고, 배치 방식은 너무 느렸습니다. 이에 해결방안은 모든 데이터를 한 ..