스파크(Spark)
Apache Zeppelin process died 오류, Zeppelin 포트번호 변경하기
imhamburger
2024. 8. 9. 14:05
1. Apache Zeppelin process died 오류
맥에서 Zeppelin을 start했는데 위와 같은 오류가 발생했다.
위와 같은 오류가 발생하는 이유는 2가지이다.
- localhost:8080에 이미 무언가가 돌아가고 있거나
- 설치한 자바의 JAVA_HOME 경로가 잘못되었거나
나는 설치한 자바의 경로가 잘못되어 위의 오류 메세지가 떴다.
따라서, .zshrc 에 아래 코드를 추가해주니 해결할 수 있었다. (참고로 나는 jdk 17버전을 설치하였다.)
export JAVA_HOME=/usr/local/opt/openjdk@17
export PATH=$JAVA_HOME/bin:$PATH
자바를 설치하면 아래와 같은 설명이 나오는데 꼭 읽어보고 추가해줘야할 건 추가해주자.
다시 실행한 결과,
+ spark를 설치할 때도 SPARK_HOME 경로를 추가해줘야 한다.
export SPARK_HOME=/Users/{경로입력}/spark-3.3.2-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
2. 충돌을 막기위한 Zeppelin 포트번호 변경
나는 에어플로우도 사용을 하고 있는데 에어플로우 포트번호가 8080이다. 그리고 Zeppelin도 8080이다.
따라서 Zeppelin 포트번호를 변경해줘야 동시에 실행하였을 때 충돌을 막을 수 있다.
Zeppelin 포트번호 변경방법은 다음과 같다.
#zeppelin이 설치된 경로 안에 conf로 이동
cd ~/app/zeppelin-0.11.1-bin-all/conf
#zeppelin-site.xml.template을 zeppelin-site.xml 이름으로 복사
cp zeppelin-site.xml.template zeppelin-site.xml
vi zeppelin-site.xml
vi 를 하고나면 아래 부분을 찾아 value 안에 포트번호를 변경해주면 된다.
<property>
<name>zeppelin.server.port</name>
<value>8080</value>
<description>Server port.</description>
</property>
그리고나서, Zeppelin을 재실행하고 localhost:{변경한 포트번호} 로 접속하면 된다.