Хобрук: Ваш путь к мастерству в программировании

Изменение spark.memory.storageFraction не влияет на столбец «Хранилище памяти» на вкладке «Исполнители».

Я пытаюсь поиграть с параметром spark.memory.storageFraction, чтобы уменьшить объем памяти, сохраняемой для кеша. Однако установка его на 0,1, 0,5 или даже 0,9 не показывает никаких изменений в столбце «Хранилище» на вкладке «Исполнители»:

введите здесь описание изображения

Изменение параметра spark.memory.fraction — единственный способ увидеть изменения в этом столбце, но это не способ уменьшить объем памяти хранилища.

Я использую spark 1.6.1, а также устанавливаю для параметра spark.memory.useLegacyMode значение false.

apache-spark apache-spark-sql
28.05.2018

Ответы:


1

Я (...) устанавливаю для spark.memory.useLegacyMode значение false.

Это твоя проблема. Конкретно:

spark.memory.useLegacyMode false

Включить ли устаревший режим управления памятью, используемый в Spark 1.5 и более ранних версиях. Устаревший режим жестко разделяет пространство кучи на области фиксированного размера, что может привести к чрезмерному сбросу данных, если приложение не было настроено. Следующие устаревшие конфигурации доли памяти не считываются, если это не включено: spark.shuffle.memoryFraction spark.storage.memoryFraction spark.storage.unrollFraction

Другими словами, вы должны включить устаревший режим, чтобы использовать эти свойства.

28.05.2018
  • Я просмотрел эту документацию, прежде чем спрашивать, и я не думаю, что вы правы, поскольку устаревшее соответствующее свойство, как они заявляют, называется «spark.storage.memoryFraction», но я использую «spark.memory.storageFraction». 28.05.2018
    • Новые материалы
    Создание кнопочного меню с использованием HTML, CSS и JavaScript
    Вы будете создавать кнопочное меню, которое имеет состояние наведения, а также позволяет вам выбирать кнопку при нажатии на нее. Финальный проект можно увидеть в этом Codepen . Шаг 1..
    Внедрите OAuth в свои веб-приложения для повышения безопасности
    OAuth — это широко распространенный стандарт авторизации, который позволяет приложениям получать доступ к ресурсам от имени пользователя, не раскрывая его пароль. Это позволяет пользователям..
    Классы в JavaScript
    class является образцом java Script Object. Конструкция «class» позволяет определять классы на основе прототипов с чистым, красивым синтаксисом. // define class Human class Human {..
    Как свинг-трейдеры могут использовать ИИ для больших выигрышей
    По мере того как все больше и больше профессиональных трейдеров и активных розничных трейдеров узнают о возможностях, которые предоставляет искусственный интеллект и машинное обучение для улучшения..
    Как построить любой стол
    Я разработчик программного обеспечения. Я люблю делать вещи и всегда любил. Для меня программирование всегда было способом создавать вещи, используя только компьютер и мое воображение...
    Обзор: Машинное обучение: классификация
    Только что закончил третий курс курса 4 часть специализации по машинному обучению . Как и второй курс, он был посвящен низкоуровневой работе алгоритмов машинного обучения. Что касается..
    Разработка расширений Qlik Sense с qExt
    Использование современных инструментов веб-разработки для разработки крутых расширений Вы когда-нибудь хотели кнопку для установки переменной в приложении Qlik Sense? Когда-нибудь просили..