/images/profile/profile.png

Se Hyeon Kim

AQE

Info Partition은 RDDs나 Dataset를 구성하고 있는 최소 단위 객체입니다. 각 Partition은 서로 다른 노드에서 분산 처리됩니다. Spark에서는 하나의 최소 연산을 Task라고 표현하는데, 이 하나의 Task에서 하나의 Partition이 처리됩니다. 또한, 하나의 Task는 하나의 Core가 연산 처리합니다. 즉, 1 Core = 1 Task = 1 Partition입니다. 설정된 Partition 수에 따라 각 Partition의 크기가 결정됩니다. 그리고 이 Partition의 크기가 결국 Core 당 필요한 메모리 크기를 결정하게 됩니다. ◼️ Partition 수 → Core 수

Blog Setting

Hogo: The worlds’s fastest framework for building static website. Hugo https://gohugo.io/ hugo 설치 1 2 3 4 5 # Install brew ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" # download hugo brew install hugo 프로젝트 생성 1 2 3 4 5 6 7 # 프로젝트 생성 디렉터리 접근 cd development hugo new site <원하는 파일 이름> # 나의 경우 hugo new site devlog 주의 hugo version upgrade인지 대부분의 사이트에서 말하는 것과 다르게 사이트를 hugo new site를 통해 프로젝트를 생성하면 config.