[KAFKA] 대용량 센서데이터 저장 처리 - FastAPI Kafka Consumer
데이터를 전송할 에뮬레이터가 만들어졌기 때문에이제 Kafka에 저장된 데이터를 가져와서 처리하는 Consumer를 생성한다.Consumer의 역할은1. kafka topic로 부터 메시지를 읽어온다.2. Offset를 관리한다. 메시지를 읽어온 위치를 기억하는 역할을 담당한다. Offset 방식은 자동커밋과 수동커밋방식으로 구분된다.3. Consumer Group의 하나로 다중 인스턴스로 병렬처리가 가능하다.4. 부하 분산 및 재조정이 가능하다. Consumer Group에 속해 있기 때문에 하나의 Consumer이 죽어도 다른 Consumer에 재 분배되어 동작한다.5. 메시지 처리 후족 작업을 수행한다. DB저장, 알림 전송 등 비지니스 로직을 수행한다. 피자가게 예시로 들어보면..
2025.05.27