Goodhart's Law is useless

Объяснение

на

04.07.2024

Альтернативная точка зрения vs Общепринятая точка зрения

Существует альтернативная точка зрения, что "Закон Гудхарта бесполезен". Давайте рассмотрим аргументы за и против этого утверждения:

  1. Аргумент за: Закон Гудхарта - это чрезмерное упрощение, которое не учитывает сложности реальных систем и нюансы человеческого поведения. Сам факт того, что мера становится целью, не обязательно означает, что она теряет свою ценность как мера.
    – Аргумент против (Общепринятая точка зрения): Хотя Закон Гудхарта имеет свои ограничения и не может применяться универсально, он все же освещает важное явление, которое часто проявляется, когда метрики используются для управления поведением. Существует множество реальных примеров того, как метрики и стимулы могут быть использованы в корыстных целях или приводить к непреднамеренным и часто вредным последствиям.

  2. Аргумент за: Организации и отдельные лица обладают способностью эффективно использовать метрики, применяя подход сбалансированной системы показателей, постоянно обновляя и корректируя метрики, а также отслеживая разнообразный набор ключевых показателей эффективности (KPI).
    – Аргумент против (Общепринятая точка зрения): Хотя существуют стратегии для смягчения эффектов Закона Гудхарта, они требуют значительных усилий и постоянной бдительности. Силы, описанные Гудхартом, остаются актуальными и проблематичными во многих областях.

  3. Аргумент за: Закон Гудхарта продвигает чрезмерно фаталистическую точку зрения и препятствует использованию метрик для улучшения систем и повышения производительности. Измерение является фундаментальной предпосылкой для оптимизации.
    – Аргумент против (Общепринятая точка зрения): Закон Гудхарта не подразумевает, что измерение бесполезно, а скорее подчеркивает необходимость крайней осторожности в использовании метрик, особенно когда они связаны со стимулами. Слепая оптимизация метрики часто приводит к извращенным результатам.

  4. Аргумент за: Закон Гудхарта основан на предположении, что люди всегда будут действовать в своих собственных интересах и пытаться обойти систему. В реальности многие люди обладают целостностью и будут стремиться делать то, что правильно, даже если это не оптимизирует их личные показатели.
    – Аргумент против (Общепринятая точка зрения): Хотя не все будут пытаться обойти систему, стимулы, созданные целевыми показателями, очень сильны. Даже люди с благими намерениями могут подсознательно оптимизировать метрику в ущерб общей картине.

  5. Аргумент за: Закон Гудхарта недооценивает способность организаций разрабатывать надежные, защищенные от взлома метрики и системы мониторинга, которые сложно обойти.
    – Аргумент против (Общепринятая точка зрения): Независимо от того, насколько хорошо разработана метрика, если она становится целью, люди найдут творческие способы ее оптимизировать. Это постоянная гонка вооружений между теми, кто разрабатывает метрики, и теми, кто пытается их обойти.

Термины

  • Закон Гудхарта: Афоризм, утверждающий, что "Когда мера становится целью, она перестает быть хорошей мерой". Другими словами, когда метрика используется в качестве цели, люди будут ее эксплуатировать, что приведет к потере ее ценности как метрики.

  • Обход системы: Акт эксплуатации правил, политик или процедур, предназначенных для регулирования системы, с целью получения преимущества, часто в ущерб предполагаемой цели системы.

  • Извращенный стимул: Стимул, который генерирует непреднамеренные и нежелательные результаты, противоречащие намерениям его создателей.

Аналогия

Закон Гудхарта можно сравнить с учителем, который сообщает ученикам, что они будут оцениваться исключительно на основе их результатов тестов. В результате ученики могут сосредоточиться на зубрежке для теста, а не на реальном изучении материала. Результаты тестов в этом случае перестают быть действительным показателем знаний и понимания учеников.

Реальным примером проявления Закона Гудхарта может служить скандал с Wells Fargo. Банк установил агрессивные целевые показатели продаж для своих сотрудников, стимулируя их открывать как можно больше новых счетов. Сотрудники начали открывать счета без согласия клиентов, что привело к мошенническим действиям и серьезному ущербу репутации банка. Метрика "количество открытых новых счетов" перестала служить значимым показателем здоровья и роста банка.

История

  1. 1975: Британский экономист Чарльз Гудхарт формулирует идею о том, что как только метрика становится целью, она теряет свою ценность как метрика, в контексте монетарной политики.

  2. 1997: Антрополог Мэрилин Стратерн переформулирует закон как "Когда мера становится целью, она перестает быть хорошей мерой".

  3. 2000-2010-е годы: Закон Гудхарта получает широкое признание и часто упоминается в контексте управления эффективностью в государственном и корпоративном секторах, по мере того как использование метрик и KPI становится все более распространенным.

  4. 2018: Автор Дэвид Манхейм и исследователь Скотт Гаррабрант предлагают обобщенную версию Закона Гудхарта: "Любая наблюдаемая статистическая закономерность будет стремиться к разрушению, как только на нее будет оказано давление с целью контроля".

Как использовать

  1. При разработке системы стимулирования в профессиональной среде крайне важно учитывать не только метрики, которые вы стремитесь оптимизировать, но и то, как люди могут попытаться обойти эти метрики. Используйте комбинацию количественных метрик и качественных оценок. Например, при измерении удовлетворенности клиентов не полагайтесь исключительно на результаты опросов; учитывайте комментарии клиентов и наблюдайте за взаимодействием с клиентами, чтобы получить более полное представление.

  2. Как педагог, сопротивляйтесь искушению "учить для теста". Поощряйте более глубокий уровень обучения и используйте разнообразные методы оценки для измерения прогресса учащихся. Например, оценивайте понимание учащихся с помощью комбинации тестов, эссе, проектов и участия в классе, а не полагайтесь исключительно на результаты стандартизированных тестов.

  3. В достижении личных целей, таких как снижение веса, избегайте фиксации исключительно на одной метрике, например, на числе на весах. Вместо этого сосредоточьтесь на развитии здоровых, устойчивых привычек и используйте несколько показателей прогресса, таких как уровень энергии, как сидит одежда и общее самочувствие. Ведите дневник для отслеживания диеты, физических упражнений и общего благополучия, а не только подсчитывайте калории или потерянные килограммы.

Факты

  • Согласно опросу 2018 года, 55% сотрудников в США считали, что оценки эффективности работы не точно отражают их труд.

  • "Эффект кобры" служит известным примером Закона Гудхарта. Во время британского колониального правления в Индии британское правительство предложило вознаграждение за каждую мертвую кобру, чтобы уменьшить популяцию змей. Однако этот стимул привел к тому, что люди начали разводить кобр для получения вознаграждения, в конечном итоге усугубив проблему.

  • Исследования показали, что когда вознаграждение CEO привязано к цене акций, CEO с большей вероятностью будут заниматься финансовыми искажениями и манипуляциями для искусственного повышения стоимости акций компании.

  • В сфере образования чрезмерный акцент на стандартизированном тестировании привел к сужению учебных программ и распространению практики "обучения для теста" во многих школах.

  • Некоторые эксперты утверждают, что Валовой внутренний продукт (ВВП) больше не является адекватной мерой экономического здоровья нации, поскольку он не учитывает такие критические факторы, как неравенство доходов, экологическая устойчивость и качество жизни.

Альтернативная точка зрения vs Общепринятая точка зрения

Существует альтернативная точка зрения, что "Закон Гудхарта бесполезен". Давайте рассмотрим аргументы за и против этого утверждения:

  1. Аргумент за: Закон Гудхарта - это чрезмерное упрощение, которое не учитывает сложности реальных систем и нюансы человеческого поведения. Сам факт того, что мера становится целью, не обязательно означает, что она теряет свою ценность как мера.
    – Аргумент против (Общепринятая точка зрения): Хотя Закон Гудхарта имеет свои ограничения и не может применяться универсально, он все же освещает важное явление, которое часто проявляется, когда метрики используются для управления поведением. Существует множество реальных примеров того, как метрики и стимулы могут быть использованы в корыстных целях или приводить к непреднамеренным и часто вредным последствиям.

  2. Аргумент за: Организации и отдельные лица обладают способностью эффективно использовать метрики, применяя подход сбалансированной системы показателей, постоянно обновляя и корректируя метрики, а также отслеживая разнообразный набор ключевых показателей эффективности (KPI).
    – Аргумент против (Общепринятая точка зрения): Хотя существуют стратегии для смягчения эффектов Закона Гудхарта, они требуют значительных усилий и постоянной бдительности. Силы, описанные Гудхартом, остаются актуальными и проблематичными во многих областях.

  3. Аргумент за: Закон Гудхарта продвигает чрезмерно фаталистическую точку зрения и препятствует использованию метрик для улучшения систем и повышения производительности. Измерение является фундаментальной предпосылкой для оптимизации.
    – Аргумент против (Общепринятая точка зрения): Закон Гудхарта не подразумевает, что измерение бесполезно, а скорее подчеркивает необходимость крайней осторожности в использовании метрик, особенно когда они связаны со стимулами. Слепая оптимизация метрики часто приводит к извращенным результатам.

  4. Аргумент за: Закон Гудхарта основан на предположении, что люди всегда будут действовать в своих собственных интересах и пытаться обойти систему. В реальности многие люди обладают целостностью и будут стремиться делать то, что правильно, даже если это не оптимизирует их личные показатели.
    – Аргумент против (Общепринятая точка зрения): Хотя не все будут пытаться обойти систему, стимулы, созданные целевыми показателями, очень сильны. Даже люди с благими намерениями могут подсознательно оптимизировать метрику в ущерб общей картине.

  5. Аргумент за: Закон Гудхарта недооценивает способность организаций разрабатывать надежные, защищенные от взлома метрики и системы мониторинга, которые сложно обойти.
    – Аргумент против (Общепринятая точка зрения): Независимо от того, насколько хорошо разработана метрика, если она становится целью, люди найдут творческие способы ее оптимизировать. Это постоянная гонка вооружений между теми, кто разрабатывает метрики, и теми, кто пытается их обойти.

Термины

  • Закон Гудхарта: Афоризм, утверждающий, что "Когда мера становится целью, она перестает быть хорошей мерой". Другими словами, когда метрика используется в качестве цели, люди будут ее эксплуатировать, что приведет к потере ее ценности как метрики.

  • Обход системы: Акт эксплуатации правил, политик или процедур, предназначенных для регулирования системы, с целью получения преимущества, часто в ущерб предполагаемой цели системы.

  • Извращенный стимул: Стимул, который генерирует непреднамеренные и нежелательные результаты, противоречащие намерениям его создателей.

Аналогия

Закон Гудхарта можно сравнить с учителем, который сообщает ученикам, что они будут оцениваться исключительно на основе их результатов тестов. В результате ученики могут сосредоточиться на зубрежке для теста, а не на реальном изучении материала. Результаты тестов в этом случае перестают быть действительным показателем знаний и понимания учеников.

Реальным примером проявления Закона Гудхарта может служить скандал с Wells Fargo. Банк установил агрессивные целевые показатели продаж для своих сотрудников, стимулируя их открывать как можно больше новых счетов. Сотрудники начали открывать счета без согласия клиентов, что привело к мошенническим действиям и серьезному ущербу репутации банка. Метрика "количество открытых новых счетов" перестала служить значимым показателем здоровья и роста банка.

История

  1. 1975: Британский экономист Чарльз Гудхарт формулирует идею о том, что как только метрика становится целью, она теряет свою ценность как метрика, в контексте монетарной политики.

  2. 1997: Антрополог Мэрилин Стратерн переформулирует закон как "Когда мера становится целью, она перестает быть хорошей мерой".

  3. 2000-2010-е годы: Закон Гудхарта получает широкое признание и часто упоминается в контексте управления эффективностью в государственном и корпоративном секторах, по мере того как использование метрик и KPI становится все более распространенным.

  4. 2018: Автор Дэвид Манхейм и исследователь Скотт Гаррабрант предлагают обобщенную версию Закона Гудхарта: "Любая наблюдаемая статистическая закономерность будет стремиться к разрушению, как только на нее будет оказано давление с целью контроля".

Как использовать

  1. При разработке системы стимулирования в профессиональной среде крайне важно учитывать не только метрики, которые вы стремитесь оптимизировать, но и то, как люди могут попытаться обойти эти метрики. Используйте комбинацию количественных метрик и качественных оценок. Например, при измерении удовлетворенности клиентов не полагайтесь исключительно на результаты опросов; учитывайте комментарии клиентов и наблюдайте за взаимодействием с клиентами, чтобы получить более полное представление.

  2. Как педагог, сопротивляйтесь искушению "учить для теста". Поощряйте более глубокий уровень обучения и используйте разнообразные методы оценки для измерения прогресса учащихся. Например, оценивайте понимание учащихся с помощью комбинации тестов, эссе, проектов и участия в классе, а не полагайтесь исключительно на результаты стандартизированных тестов.

  3. В достижении личных целей, таких как снижение веса, избегайте фиксации исключительно на одной метрике, например, на числе на весах. Вместо этого сосредоточьтесь на развитии здоровых, устойчивых привычек и используйте несколько показателей прогресса, таких как уровень энергии, как сидит одежда и общее самочувствие. Ведите дневник для отслеживания диеты, физических упражнений и общего благополучия, а не только подсчитывайте калории или потерянные килограммы.

Факты

  • Согласно опросу 2018 года, 55% сотрудников в США считали, что оценки эффективности работы не точно отражают их труд.

  • "Эффект кобры" служит известным примером Закона Гудхарта. Во время британского колониального правления в Индии британское правительство предложило вознаграждение за каждую мертвую кобру, чтобы уменьшить популяцию змей. Однако этот стимул привел к тому, что люди начали разводить кобр для получения вознаграждения, в конечном итоге усугубив проблему.

  • Исследования показали, что когда вознаграждение CEO привязано к цене акций, CEO с большей вероятностью будут заниматься финансовыми искажениями и манипуляциями для искусственного повышения стоимости акций компании.

  • В сфере образования чрезмерный акцент на стандартизированном тестировании привел к сужению учебных программ и распространению практики "обучения для теста" во многих школах.

  • Некоторые эксперты утверждают, что Валовой внутренний продукт (ВВП) больше не является адекватной мерой экономического здоровья нации, поскольку он не учитывает такие критические факторы, как неравенство доходов, экологическая устойчивость и качество жизни.

Материалы для изучения

+ Предложить материал

Зарегистрируйтесь, чтобы использовать функцию закладок

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Отслеживать прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать уведомления о новых дорожных картах

Зарегистрируйтесь, чтобы использовать функцию закладок

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Отслеживать прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать уведомления о новых дорожных картах

Проверка

Loading...
Зарегистрируйтесь, чтобы сохранить свой прогресс

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Сохранить свой прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать обновления по уже изученному

Зарегистрируйтесь, чтобы сохранить свой прогресс

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Сохранить свой прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать обновления по уже изученному

Обновления

Подпишитесь для получения обновлений

Подписавшись, вы сможете:

Получить доступ ко всем дорожным картам

Получить доступ к обновлениям блоков и дорожных карт

Получать обратную связь по ответам на упражнения

Обратиться за советом к экспертам

Заказать один блок или дорожную карту в месяц

Обсуждать с искусственным интеллектом премиум-класса

Подпишитесь для получения обновлений

Подписавшись, вы сможете:

Получить доступ ко всем дорожным картам

Получить доступ к обновлениям блоков и дорожных карт

Получать обратную связь по ответам на упражнения

Обратиться за советом к экспертам

Заказать один блок или дорожную карту в месяц

Обсуждать с искусственным интеллектом премиум-класса

Дорожные карты, где используется

Поделитесь

Закон Гудхарта бесполезен

Закон Гудхарта бесполезен