🏠 부동산 크롤러
부동산 매물 정보 수집 및 분석 시스템
상태: 🟡 개발 중
서비스 소개
부동산 크롤러는 여러 부동산 플랫폼의 매물 정보를 수집하고 분석하여 투자 의사결정을 지원하는 시스템입니다.
주요 기능
- 매물 수집: 네이버 부동산, 직방, 다방 등 매물 크롤링
- 가격 추적: 관심 매물 가격 변동 히스토리
- 시세 분석: 지역별, 평형별 시세 분석
- 알림 서비스: 조건에 맞는 신규 매물 알림
- 데이터 시각화: 지도 기반 매물 현황 표시
기술 스택
| 분류 | 기술 |
|---|---|
| Crawler | Python (Scrapy, Selenium) |
| Backend | FastAPI |
| Database | PostgreSQL, Elasticsearch |
| Visualization | Next.js, Mapbox |
| Scheduler | Airflow |
| Deployment | AWS (EC2, RDS) |
아키텍처
Scheduler → Crawlers → Data Pipeline → Database → API → Web Dashboard데이터 파이프라인
- 정기적 매물 정보 수집
- 데이터 정제 및 정규화
- 중복 제거 및 변경 감지
개발 배경
부동산 투자 시 여러 플랫폼을 일일이 확인하는 것은 비효율적입니다. 매물 정보를 한 곳에서 비교하고, 시세 변동을 추적할 수 있는 도구가 필요하여 개발을 시작했습니다.
로드맵
- 크롤러 프로토타입
- 데이터 파이프라인 구축
- 웹 대시보드 개발
- 알림 시스템
- 시세 예측 모델
링크
- GitHub: Private Repository