목록2024/08/14 (1)
imhamburger 님의 블로그
스파크(Spark) - 분산 처리 시스템 구조 이해하기
지난글에서 스파크가 뭔지?에 대해 설명하였다. 스파크는 빅데이터 처리를 위한 오픈 소스 분산 처리 시스템이다.그리고 분산 처리를 하기위해 스파크에서 중요한 역할을 하는 두 가지 핵심 컴포넌트가 있다. 컴포넌트 의 의미는 각각 독립된 모듈이라고 생각하면 된다. 두 가지 핵심 컴포넌트를 설명하기 전에 알아야할 개념이 있다.바로 '클러스터' 이다. 클러스터는 여러 대의 컴퓨터(노드)가 서로 연결되어 협력하여 작업을 수행하는 시스템을 말한다.이는 빅데이터 처리를 위해 여러 노드가 병렬로 작업을 수행하며, 각 노드는 독립적인 컴퓨터로서 네트워크를 통해 상호작용한다. 그러니까, 카페에서 커피 100잔을 만들 때 어떤 사람은 아메리카노, 어떤 사람은 카푸치노, 어떤 사람은 카페 라떼 등.. 나누어 만들지만 어쨋든 주..
스파크(Spark)
2024. 8. 14. 19:29