Добро пожаловать в еще одно интересное путешествие для энтузиастов науки о данных! Греческий философ Гераклит однажды процитировал, что «изменение — единственная постоянная». И я думаю, что вся индустрия машинного обучения основана на этой цитате. Специалисты по данным, инженеры по машинному обучению строят различные типы моделей, пытаются изменить реквизиты и построить лучшую с большей точностью. Но как мы можем улучшить себя? Как мы можем признать эффективность модели?
Ну вот тогда. Мы сосредоточим внимание на том, какие у нас есть различные способы оценки эффективности модели классификации машинного обучения. Как известно, классификация относится к алгоритму машинного обучения с учителем. Классификация — это алгоритм, в котором выходные данные группируются по определенным категориям. Например: классифицируйте, является ли данное животное «кошкой» или «собакой», классифицируйте пациента с «болезнью» или «без болезни». Здесь я перечислил несколько эффективных показателей производительности для задач классификации машинного обучения:
1. Матрица путаницы:
Матрица путаницы или матрица ошибок часто используются для описания и обобщения производительности модели. Он специально используется для моделей классификации. Он вычисляет точность/производительность классификатора путем сравнения фактических результатов и прогнозируемых результатов. Он имеет два параметра:
и) Фактические значения
ii) Прогнозируемые значения
Рассмотрим пример 1000 пациентов, сдавших тест на ковид-19.
- Истинно положительные результаты (TP): это случаи, в которых мы предсказали положительное решение для 560 пациентов, и у них действительно есть заболевание.
- Истинно отрицательные результаты (TN): мы прогнозировали отсутствие для 330 пациентов, и у них не было заболевания.
- Ложноположительные результаты (FP): мы предсказали положительный результат для 60 пациентов, но на самом деле у них нет заболевания. (также известная как «ошибка типа I»)
- Ложноотрицательные результаты (FN): мы прогнозировали отсутствие для 50 пациентов , но у них действительно было заболевание. (также известная как «ошибка типа II»)
Как мы можем оценить производительность модели? Мы можем легко достичь этого со следующими условиями:
- Точность = (TP + TN)/(TP + TN + FP + FN)
- Частота ошибок = (FP + FN)/(TP + TN + FP + FN)
- Точность = TP/Всего верных прогнозов = TP/(TP + FP)
- Отзыв = TP/фактическая истина = TP/(TP + FN)
2. Потеря журнала:
Другим типом метрики точности являются логарифмические потери (логарифмические потери). Он измеряет производительность модели классификации машинного обучения (двоичная классификация), выходной сигнал которой представляет собой значение вероятности от 0 до 1. Цель модели машинного обучения — минимизировать значение логарифмических потерь, приближая его к 0. Идеальная модель будет иметь логарифмическую потерю 0. Значение логарифмической потери может варьироваться от 0 до бесконечности. Значение потери журнала увеличивается по мере того, как прогнозируемое значение модели расходится с фактическим значением. Формула для потери журнала приведена ниже:
Где N: общее количество наблюдений
йи : класс
p(yi): прогнозируемое значение
Рассмотрим пример
В первой строке у нас есть значения как
x = a
y = 1
p(yi) = 0.91
Согласно формуле логарифм потерь = 1 х log(0,91) + (1–1) х log(1–0,91)
= лог(0,91) + 0
= 0.40958
Вот как мы рассчитываем потери журнала.
3. ОКР АУК:
Кривая ROC (рабочая характеристика приемника) — это показатель, который оценивает способность модели различать бинарные (0 и 1) классы. Эта кривая создается путем построения истинно положительного показателя (TPR) против ложноположительного показателя при различных пороговых настройках. TPR также известен как чувствительность, отзыв или вероятность обнаружения в машинном обучении. Ложноположительный показатель (FPR) также известен как ложная тревога. . Кривая построена путем построения кумулятивной функции распределения истинного положительного результата по оси ординат в сравнении с кумулятивной функцией распределения ложноположительного результата по оси абсцисс.
Чем выше AUC (площадь под кривой), тем лучше модель различает классы.
Это был краткий обзор показателей производительности для задач машинного обучения классификации. Я надеюсь, что вы сочли полезным.