Как изменить память исполнителя (и другие конфигурации) для Apache Spark Shell?
В частности, я хотел бы указать квартиры для spark-shell, например -Dspark-cores-max=12, когда я запускаю его, чтобы мои задания в spark shell использовали эти параметры конфигурации.
Начиная со spark 1.2.0 вы можете установить memory и cores, указав следующие аргументы для spark-shell.
spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8
чтобы увидеть другие параметры, вы можете дать следующие команды для искровой оболочки
spark-shell --help
Если вы используете искровую оболочку на искре, установленной в автономном режиме (1 узел), используйте
./bin/spark-shell --driver-memory 4g
Если вы используете искровую оболочку на искре, установленной в кластере (2+ узла), используйте
./bin/spark-shell --executor-memory 4g
4g is 4GB.
УСТАРЕЛО ИСПОЛЬЗОВАТЬ ПРИНЯТЫЙ ОТВЕТ
Напишите такой скрипт:
#!/bin/bash
export SPARK_JAVA_OPTS="$*"
MASTER=spark://ec2-99-99-99-99:7077 /usr/share/spark/bin/spark-shell
/usr/share/spark/bin/spark-shell должен быть путем к длинному стартовому скрипту spark-shell. В моем кластере был еще один скрипт в /usr/local/bin/, но он состоял всего из нескольких строк, похожих на приведенный выше, и имел жестко запрограммированное значение SPARK_JAVA_OPTS.
Во всяком случае, пример использования:
my-spark-starter-script -Dspark-cores-max=12 -Dspark.executor.memory=26000m
