본문 바로가기

카테고리 없음

2020-12-30 16시 개발자 글 모음 | "Spark 란? Spark 구조 & " 외 2개 이야기

Javascript Sleep 함수 만들기 (비동기) by 김해준 about Javascript

  • Be proud of yourself


Javascript 클로저 이해 by 김해준 about Javascript

  • Be proud of yourself


Spark 란? Spark 구조 & 동작 과정 by 백규철 about Spark,Python

  • 분산 클러스터 컴퓨팅 프레임워크로 Standalone 환경 뿐만 아니라 Cluster mode를 통해 대용량 데이터 처리가 가능합니다
  • 스파크는 인메모리 (In Memory) 기반 처리로 빠른 처리가 가능하며 Cluster Manger를 활용해 분산환경에서도 처리가 가능합니다
  • 특히 클러스터 모드에서는 SparkContext 는 리소스를 할당 받고 관리하기 위해서 Cluster Manager와 연결되어 통신하면서 자원을 관리하고 Life Cycle 을 관리하게 됩니다