Я запускаю образец задания на своем конце, и пользовательский интерфейс задания искры говорит, что общее время безотказной работы составляет 26 секунд, но когда я добавляю столбец продолжительности для заданий, это составляет всего около 17-18 секунд. На что я должен полагаться, чтобы определить общее время для запуска логики выполнения моей работы. Меня не беспокоит время, необходимое для запуска и остановки кластера. 26 секунд, включая это время, так ли это, как я могу игнорировать время, чтобы запустить и остановить кластер и получить окончательное время выполнения для моей логики.
Также моя конфигурация искры выглядит так:
val conf = new SparkConf().setAppName("Metrics").setMaster("spark://master:7077").set("spark.executor.memory", "5g").set("spark.cores.max", "4").set("spark.sql.warehouse.dir", "file:///c:/tmp/spark-warehouse")set("spark.executor.memory", "5g")
val sc = new SparkContext(conf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
У меня есть 2 физических ядра и 2 виртуальных ядра, то есть 4 логических ядра. Я пытаюсь использовать все ядро, установив его на 4 ядра в конфигурации, но по какой-то причине для запуска задания используется только 1 исполнитель. Может кто-нибудь объяснить мне причина того, почему порождается только 1 исполнитель, и какова связь между ядром и исполнителем в мире искр. Я новичок в искре, поэтому любая помощь будет отличной.
