[FIXED] Anzahl der Executors im lokalen Spark-Modus

Ausgabe

Also führe ich einen Spark-Job im lokalen Modus aus. Ich verwende den folgenden Befehl, um den Job auszuführen

spark-submit --master local[*] --driver-memory 256g --class main.scala.mainClass target/scala-2.10/spark_proj-assembly-1.0.jar 0 large.csv 100 outputFolder2 10

Ich führe dies auf einem Computer mit 32 Kernen und 256 GB RAM aus. Beim Erstellen der conf verwende ich den folgenden Code

val conf = new SparkConf().setMaster("local[*]").setAppName("My App")

Jetzt bin ich jetzt im lokalen Modus, Spark führt alles in einer einzigen JVM aus, aber bedeutet das, dass es nur einen Treiber startet und ihn auch als Executor verwendet. In meiner Zeitleiste wird ein hinzugefügter Executor-Treiber angezeigt. Und wenn ich auf die Executors-Seite gehe, gibt es nur einen Executor mit 32 zugewiesenen Kernen
Ein Executor in Timeline hinzugefügt

Ein Executor mit 32 Kernen
Ist das das Standardverhalten?
Ich hatte erwartet, dass Spark einen Executor pro Kern starten würde, anstatt nur einen Executor, der den gesamten Kern erhält. Wenn jemand das Verhalten erklären kann, wäre das super

Lösung

Ist dies das Standardverhalten?

Im lokalen Modus werden Ihre Treiber + Executors, wie Sie gesagt haben, in einem einzigen JVM-Prozess erstellt. Was Sie sehen, ist kein Executor, sondern eine Ansicht darüber, wie viele Kerne Ihr Job zur Verfügung hat. Wenn Sie im lokalen Modus laufen, sollten Sie den Treiber normalerweise nur in der Executors-Ansicht sehen.

Wenn Sie sich den Code für ansehen LocalSchedulerBackend, sehen Sie den folgenden Kommentar:

/**
 * Used when running a local version of Spark where the executor, backend, and master all run in
 * the same JVM. It sits behind a [[TaskSchedulerImpl]] and handles launching tasks on a single
 * Executor (created by the [[LocalSchedulerBackend]]) running locally.

Wir haben einen einzigen Exekutor in derselben JVM-Instanz, der alle Aufgaben erledigt.


Beantwortet von –
Yuval Itzchakov


Antwort geprüft von –
Marilyn (FixError Volunteer)

0 Shares:
Leave a Reply

Your email address will not be published. Required fields are marked *

You May Also Like