Исследования показывают, что лишь небольшая часть проектов по машинному обучению («ML») окажет влияние на бизнес¹. В этой статье я рассмотрю и поделюсь собственным опытомнастройки систем показателей для максимального успеха проектов машинного обучения.

Работая над стратегией верхней и нижней линии в Amazon, я уделял особое внимание получению практических знаний о проектировании и построении моделей машинного обучения. Например, я научился строить классификацию изображений с помощью нейронных сетей. Создание моделей машинного обучения и просмотр их результатов были для меня абсолютно увлекательными. Каким бы захватывающим ни было ML, в настоящее время у меня нет планов переходить на должность Data Scientist или Applied Scientist. Управление продуктами — моя страсть, но меня всегда привлекала математика и приложения машинного обучения! Я был в восторге, когда нашел работу в Amazon, в которой были компоненты ведущих функций машинного обучения. Мне нравится баланс между управлением продуктами и машинным обучением.

«Давайте ML эту штуку!»

Делюсь пятью уроками, которые я усвоил, работая продакт-менеджером машинного обучения в Amazon:

1. Роли. Первый и наиболее очевидный урок заключается в том, что знание того, как построить модель машинного обучения, — это не то же самое, что управление продуктом машинного обучения.

2. Проекты машинного обучения по сравнению с проектами, связанными с программным обеспечением. Руководство традиционным проектом, связанным с программным обеспечением, отличается от руководства проектами машинного обучения. как традиционное программное обеспечение, так и проекты машинного обучения. Однако машинное обучение полностью зависит от качества и количества данных, имеющих отношение к бизнес-задаче, в отличие от традиционных программных моделей. Как только вы преодолеете ограничения данных, у вас возникнут сложности с потерями, оптимизацией и оценкой. Упомянул ли я двусмысленность оценки источников ценности для бизнеса и ценностного предложения для клиентов?

3. Уровень сложности — «Вам просто нужно запустить функции машинного обучения в этом продукте» не так просто, как кажется. Понимайте и уважайте многолетнюю техническую архитектуру, которую необходимо перенастроить из-за машинного обучения. Чем больше вы копаете, тем больше скелетов находите.

4. Влияние на бизнес. Расчет влияния модели машинного обучения на бизнес до смешного неоднозначен. Бизнес должен «показать деньги». Как менеджер по продукту вы должны показать количественную ценность. Выявление, понимание и оценка правильных предположений играют ключевую роль. Это, конечно, должно сопровождаться согласованием с более широкой организацией.

5. Влияние на клиента. Проверка влияния на клиента с помощью машинного обучения может быть выполнена без машинного обучения. Я узнал, что мы можем проверить достоверность и влияние модели машинного обучения, даже не создавая ее. Работайте в обратном направлении! Создавайте макеты (в различных форматах) для проверки предположений. Наличие некоторых проверочных данных повышает доверие к организации и помогает другим сплотиться вокруг дела.

Верхушка айсберга

Итак, резюмируя уроки, которые я извлек: машинное обучение добавляет значительную долю неопределенности заинтересованным сторонам бизнеса. Когда дело доходит до запуска продуктов машинного обучения, возникают вопросы: может ли это принести пользу бизнесу? Какие доказательства существуют? Какие предположения? Каковы финансовые риски? На кого это влияет больше всего? Насколько сложна реализация? Действительно ли данные, используемые при обучении модели машинного обучения, репрезентативны для производства? Достаточно ли у нас ярлыков? Это только верхушка айсберга. В процессе запуска продукта машинного обучения возникнет еще много подобных вопросов.

Создание системы показателей

Как видите, руководя продуктом ML, необходимо одновременно понимать и управлять несколькими областями в любой момент времени. Во время учебы на MBA я прочитал тематическое исследование и статью о концепции построения сбалансированной системы показателей. Почти 30 лет назад Роберт С. Каплан и Дэвид П. Нортон предложили это решение проблемы управления различными аспектами бизнеса². Они предложили использовать сбалансированную систему показателей, чтобы посмотреть на бизнес с четырех важных точек зрения:

  • Какими видят нас клиенты?
  • В чем мы должны преуспеть?
  • Можем ли мы продолжать совершенствоваться и создавать ценность?
  • Как мы относимся к акционерам?

«Подумайте о сбалансированной системе показателей как о циферблатах и ​​индикаторах в кабине самолета. Для сложной задачи навигации и управления самолетом пилотам необходима подробная информация о многих аспектах полета. Им нужна информация о топливе, воздушной скорости, высоте, азимуте, пункте назначения и другие показатели, которые обобщают текущие и прогнозируемые условия».²

Можем ли мы принять концепцию сбалансированной системы показателей и настроить ее для управления продуктами машинного обучения? Вот мои оценочные карты, которые я разработал на основе своего опыта:

1. Данные, данные, данные

Да! Шерлок! Я согласен, что без глины нельзя строить кирпичи. Мы не можем создавать решения ML без правильных данных. Итак, давайте начнем с данных, данных, данных. Нет никакой замены в понимании и накоплении правильных данных для вашего проекта. В зависимости от того, на какой стадии вашего проекта вы находитесь, сядьте вместе со своим ученым-прикладником, чтобы понять ограничения, которые у него возникают с данными. Отнеситесь к этим опасениям серьезно и сплотите свою команду для их решения. Разработайте план постепенного накопления данных. Вот таблица, которая иллюстрирует мою систему показателей данных.

2. Покажи мне деньги

Усилия по машинному обучению привязаны к основным показателям бизнес-подразделения. Связывание результатов машинного обучения с топлайном имеет решающее значение для дальнейшего успеха проекта. Когда заинтересованные стороны выражают озабоченность по поводу потенциального воздействия, поймите предположения, которые ставятся под сомнение, и разработайте планы для подтверждения этих предположений. Соберите доказательства, чтобы показать влияние модели на заинтересованные стороны. Свяжите структуру проекта MoSCoW, чтобы избежать расползания масштаба даже при расчете воздействия.

3. Внутренняя система показателей

Уменьшите межфункциональную неопределенность с помощью четких коммуникационных процессов. Все заинтересованы, поэтому сообщайте о статусе различных этапов проекта.

4. Клиент

Клиенты станут отличным аргументом в пользу вашего проекта, вовлеките их на ранней стадии и работайте в обратном направлении. Это должно быть очевидным шагом для любого менеджера по продукту, поэтому я не буду утомлять вас этим.

Приглашение к вам:

Сосредоточение внимания исключительно на запуске решений машинного обучения без сбалансированного подхода приведет вас к круговому пути. Повысьте шансы на запуск правильных решений с помощью упомянутых выше сбалансированных оценочных карт. Список вопросов и типов оценочных карт постоянно растет. Пожалуйста, не стесняйтесь использовать эти оценочные карточки для своих проектов. Я приглашаю вас поделиться другими оценочными картами или соответствующими вопросами, которые были вам полезны. Желаю тебе всего наилучшего!

Цитаты:

[1]: Флеминг, Ретика и Фил Фершт. Как избежать надвигающегося кризиса машинного обучения. Исследование HFS, июль 2018 г. https://1pcll3wzgyqw5kf62erficswwpengine.netdna-ssl.com/wp-content/uploads/2018/07/RS_1807_HfS-POV-MachineLearning-Crisis.pdf.

[2]: Каплан и Нортон. (1992). Сбалансированная система показателей — показатели, повышающие производительность. Harvard Business Review, 71–79. Получено с https://hbr.org/1992/01/the-balanced-scorecard-measures-that-drive-performance-2