Skip to content

Commit

Permalink
GitBook: [#127] No subject
Browse files Browse the repository at this point in the history
  • Loading branch information
1ambda authored and gitbook-bot committed Feb 4, 2022
1 parent 9c23312 commit 5349060
Showing 1 changed file with 2 additions and 2 deletions.
4 changes: 2 additions & 2 deletions 02-processing/2.2-batch/2.1.5-spark-memory-management.md
Original file line number Diff line number Diff line change
Expand Up @@ -106,9 +106,9 @@ spark.driver.cores, **spark.executor.memory** 와 같은 옵션은 개별 컴포

* **Spark Memory** (**spark.memory.fraction = 0.6,** default)
* **Storage Memory** (**spark.memory.storageFraction = 0.5**, default)
* 데이터 집계 과정에서 Shuffle, Aggregation, Sort 등을 위해 사용합니다
* **Execution Memory** (spark.memory.storageFraction 를 제외한 spark.memory.fraction)
* 캐싱 ([DataFrame.cache](https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.DataFrame.cache.html), [CACHE TABLE](https://spark.apache.org/docs/latest/sql-ref-syntax-aux-cache-cache-table.html)) 또는 Broadcast, Driver 로 보내는 결과들이 이 영역의 메모리를 사용합니다.
* **Execution Memory** (spark.memory.storageFraction 를 제외한 spark.memory.fraction)
* 데이터 집계 과정에서 Shuffle, Aggregation, Sort 등을 위해 사용합니다
* **User Memory** (전체 JVM Heap 에서 spark.memory.fraction 와 Reserved Memory 를 제외한)
* **Spark** 가 사용하는 내부 메타데이터, 사용자 생성 데이터 구조 저장이나 UDF 및 OOM 을 방지하기 위한 대비 (Safeguard) 영역으로 사용합니다.
* Reserved Memory (300 Mib)
Expand Down

0 comments on commit 5349060

Please sign in to comment.