Добро пожаловать в еще одно интересное путешествие для энтузиастов науки о данных! Греческий философ Гераклит однажды процитировал, что «изменение — единственная постоянная». И я думаю, что вся индустрия машинного обучения основана на этой цитате. Специалисты по данным, инженеры по машинному обучению строят различные типы моделей, пытаются изменить реквизиты и построить лучшую с большей точностью. Но как мы можем улучшить себя? Как мы можем признать эффективность модели?

Ну вот тогда. Мы сосредоточим внимание на том, какие у нас есть различные способы оценки эффективности модели классификации машинного обучения. Как известно, классификация относится к алгоритму машинного обучения с учителем. Классификация — это алгоритм, в котором выходные данные группируются по определенным категориям. Например: классифицируйте, является ли данное животное «кошкой» или «собакой», классифицируйте пациента с «болезнью» или «без болезни». Здесь я перечислил несколько эффективных показателей производительности для задач классификации машинного обучения:

1. Матрица путаницы:

Матрица путаницы или матрица ошибок часто используются для описания и обобщения производительности модели. Он специально используется для моделей классификации. Он вычисляет точность/производительность классификатора путем сравнения фактических результатов и прогнозируемых результатов. Он имеет два параметра:

и) Фактические значения

ii) Прогнозируемые значения

Рассмотрим пример 1000 пациентов, сдавших тест на ковид-19.

  • Истинно положительные результаты (TP): это случаи, в которых мы предсказали положительное решение для 560 пациентов, и у них действительно есть заболевание.
  • Истинно отрицательные результаты (TN): мы прогнозировали отсутствие для 330 пациентов, и у них не было заболевания.
  • Ложноположительные результаты (FP): мы предсказали положительный результат для 60 пациентов, но на самом деле у них нет заболевания. (также известная как «ошибка типа I»)
  • Ложноотрицательные результаты (FN): мы прогнозировали отсутствие для 50 пациентов , но у них действительно было заболевание. (также известная как «ошибка типа II»)

Как мы можем оценить производительность модели? Мы можем легко достичь этого со следующими условиями:

  • Точность = (TP + TN)/(TP + TN + FP + FN)
  • Частота ошибок = (FP + FN)/(TP + TN + FP + FN)
  • Точность = TP/Всего верных прогнозов = TP/(TP + FP)
  • Отзыв = TP/фактическая истина = TP/(TP + FN)

2. Потеря журнала:

Другим типом метрики точности являются логарифмические потери (логарифмические потери). Он измеряет производительность модели классификации машинного обучения (двоичная классификация), выходной сигнал которой представляет собой значение вероятности от 0 до 1. Цель модели машинного обучения — минимизировать значение логарифмических потерь, приближая его к 0. Идеальная модель будет иметь логарифмическую потерю 0. Значение логарифмической потери может варьироваться от 0 до бесконечности. Значение потери журнала увеличивается по мере того, как прогнозируемое значение модели расходится с фактическим значением. Формула для потери журнала приведена ниже:

Где N: общее количество наблюдений

йи : класс

p(yi): прогнозируемое значение

Рассмотрим пример

В первой строке у нас есть значения как

x = a

y = 1

p(yi) = 0.91

Согласно формуле логарифм потерь = 1 х log(0,91) + (1–1) х log(1–0,91)

= лог(0,91) + 0

= 0.40958

Вот как мы рассчитываем потери журнала.

3. ОКР АУК:

Кривая ROC (рабочая характеристика приемника) — это показатель, который оценивает способность модели различать бинарные (0 и 1) классы. Эта кривая создается путем построения истинно положительного показателя (TPR) против ложноположительного показателя при различных пороговых настройках. TPR также известен как чувствительность, отзыв или вероятность обнаружения в машинном обучении. Ложноположительный показатель (FPR) также известен как ложная тревога. . Кривая построена путем построения кумулятивной функции распределения истинного положительного результата по оси ординат в сравнении с кумулятивной функцией распределения ложноположительного результата по оси абсцисс.

Чем выше AUC (площадь под кривой), тем лучше модель различает классы.

Это был краткий обзор показателей производительности для задач машинного обучения классификации. Я надеюсь, что вы сочли полезным.