앞서서는 환경설정이 끝났고이제 센서에서 초당 3200개의 데이터를 발생하는 에뮬레이터를 생성한다.우선 이번 페이지의 폴더구조는 다음과 같다.kafka-test├── docker-compose.yml ├── emulator └── sensor_emulator.py sensor_emulator.pyfrom kafka import KafkaProducerimport jsonimport timeimport randomimport threadingfrom datetime import datetime# kafka producer 설정producer = KafkaProducer( bootstrap_servers="localhost:9092", # Kafka 브로커 주소 value_serial..

회사에서 테스트 중에 있는 프로젝트 중센서 하나에서 초당 3200개의 데이터를 보내는걸 DB 저장하고 그래프로 시각화 해야 하는 내용이 있었다.단순히 thread를 돌려서 웹으로 처리하는 방식으로 친구들이 처리 하고 있는데.그건 1개의 센서에 대해서는 가능해 보이지만 다수의 센서에서 초당 3200개는 무리로 보였다.그래서 나도 테스트 작업 한번 해 보기로 하고 Python으로 작성을 시작하였다. 환경 구성 : Python, Kafka Python Client(kafka-python), FastAPI Docker 환경 : Kafka, zookeeper개발 : VSCode 나는 VSCode에서 터미널을 사용해서 진행한다.탐색기 등에서 프로젝트 폴더를 생성하고 VSCode의 파일에서 Open Folder.....