The basis

ㅕgithub.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/master/docs/user-guide.md User Guide spark 를 사용하기 위한 Kubernetes operator 를 빌드, 설치, 예제 앱 실행을 위해서는 Quick Start Guide 참조 SparkApplication, ScheduledSparkApplication 의 API 정의는 API Specification 을 참조 kubesctl 에 추가적인 기능을 제공하는 sparkctl 을 제공하고 있음. sparkctl 에 대한 문서는 README 참고 Using a SparkApplication SparkApplication 을 YAML 파일에 명세하고, kubectl 또는 s..

github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/master/docs/design.md#architecture 오역, 오해 주의 Introduction 독립 스케쥴러, Mesos, yarn 에 이어 스파크 2.3 부터 쿠버네티스는 스파크의 공식적인 스케쥴러가 되었다. 쿠버네티스 위에 스파크 클러스터를 구성하고, 그 스파크 클러스터에 어플리케이션(이하 앱)을 제출하는 방식과 비교해서, 쿠버네티스 자체를 스케쥴러를 사용하는 것은 여러 중요한 장점이 SPARK-18278 에서 논의되었고 많은 진전이 있었다. 그런데 쿠버네티스에서 실행하기 위해 제출하고, 상태를 추적하는 등의 스파크 앱의 생명주기를 관리하는 방식은 Deployment, DaemonSet, ..

스파크 성능http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-1/ 사용 사례https://spark-summit.org/east-2015/talk/estimating-financial-risk-with-spark