Например, у моего ноутбука 8 ядер, и если я отправлю:
sc.parallelize(1 to 100, 30).count
Выполняет ли он сначала 8 задач, а затем остальные 22 задачи выполняются одна за другой, когда ядро становится доступным?
Есть ли способ проверить, что происходит под капотом, через SparkUI или журналы?
Выполняет ли он сначала 8 задач, а затем остальные 22 задачи выполняются одна за другой, когда ядро становится доступным?
Да. Пользовательский интерфейс Spark имеет представление временной шкалы событий для наблюдения за ним [1]. Вы также можете увидеть, когда задача была запущена в журналах Spark.
