1. 스파크 프로퍼티

2. 환경 변수

• JAVA_HOME : 자바 설치 경로
• PYSPARK_PYTHON : 파이썬 경로(드라이버와 워커 모두에 적용)
• PYSPARK_DRIVER_PYTHON : 파이썬 경로(드라이버에만 적용)
• SPARK_DRIVER_R : SparkR 셸이 사용할 R 경로
• SPARK_LOCAL_IP : 사용할 IP
• SPARK_PUBLIC_DNS : 애플리케이션 호스트명
• SPARK_CONF_DIR : 스파크 환경설정 파일 경로

3. 로깅 설정

4. 스케줄링

References

• 빅데이터 분석을위한 스파크2 프로그래밍(백성민, 위키북스, 2017)