Хобрук: Ваш путь к мастерству в программировании

Могу ли я извлечь значимые значения для коэффициентов логистической регрессии в pyspark

Есть ли способ получить уровень значимости каждого коэффициента, который мы получаем после того, как мы подогнали модель логистической регрессии к обучающим данным?

Я пытался найти способ и не мог понять сам.

Я думаю, что я могу получить уровень значимости каждой функции, если я запущу тест chi sq, но, во-первых, не уверен, смогу ли я запустить тест для всех функций вместе, а во-вторых, у меня есть числовое значение данных, так что если это даст мне правильный результат или нет это тоже остается вопросом.

Прямо сейчас я запускаю часть моделирования, используя statsmodel и scikit, но, конечно, хочу знать, как я могу получить эти результаты из pySparl ML или самой MLLib.

Если кто-то может пролить свет, это будет полезно

machine-learning apache-spark pyspark logistic-regression significance
05.12.2016

Ответы:


1

Я использую только mllib, я думаю, что когда вы обучаете модель, вы можете использовать метод toPMML для экспорта вашей модели в формат PMML (файл xml), затем вы можете проанализировать файл xml, чтобы получить веса функций, вот пример

https://spark.apache.org/docs/2.0.2/mllib-pmml-model-export.html

Надеюсь, это поможет

23.12.2016
  • Спасибо за этот ответ. На данный момент я использовал гибридный подход, когда я вводил входные данные с помощью ELT с помощью pyspark, а затем выполнял моделирование, переключаясь на статистические модели. Это сработало для меня. Конечно, я потерял преимущества Spark, но он просто помог мне в моих целях. 29.12.2016
  • Это ужасный ответ. Он просил значение признака, а не веса. 21.08.2019
    • Новые материалы
    Создание кнопочного меню с использованием HTML, CSS и JavaScript
    Вы будете создавать кнопочное меню, которое имеет состояние наведения, а также позволяет вам выбирать кнопку при нажатии на нее. Финальный проект можно увидеть в этом Codepen . Шаг 1..
    Внедрите OAuth в свои веб-приложения для повышения безопасности
    OAuth — это широко распространенный стандарт авторизации, который позволяет приложениям получать доступ к ресурсам от имени пользователя, не раскрывая его пароль. Это позволяет пользователям..
    Классы в JavaScript
    class является образцом java Script Object. Конструкция «class» позволяет определять классы на основе прототипов с чистым, красивым синтаксисом. // define class Human class Human {..
    Как свинг-трейдеры могут использовать ИИ для больших выигрышей
    По мере того как все больше и больше профессиональных трейдеров и активных розничных трейдеров узнают о возможностях, которые предоставляет искусственный интеллект и машинное обучение для улучшения..
    Как построить любой стол
    Я разработчик программного обеспечения. Я люблю делать вещи и всегда любил. Для меня программирование всегда было способом создавать вещи, используя только компьютер и мое воображение...
    Обзор: Машинное обучение: классификация
    Только что закончил третий курс курса 4 часть специализации по машинному обучению . Как и второй курс, он был посвящен низкоуровневой работе алгоритмов машинного обучения. Что касается..
    Разработка расширений Qlik Sense с qExt
    Использование современных инструментов веб-разработки для разработки крутых расширений Вы когда-нибудь хотели кнопку для установки переменной в приложении Qlik Sense? Когда-нибудь просили..