Goodhart's Law can't be mitigated

Объяснение

на

09.07.2024

Альтернативная точка зрения vs Общепринятая точка зрения

Существует альтернативная точка зрения, что "Закон Гудхарта невозможно смягчить". Давайте рассмотрим аргументы за и против этого утверждения:

  1. Аргумент за: Когда показатель становится целью, он перестает быть хорошим показателем. Люди неизбежно будут манипулировать любой системой, если стимулы слишком тесно связаны с конкретным показателем, что приводит к извращенным результатам и нарушению первоначального замысла системы.
    – Аргумент против (Общепринятая точка зрения): Хотя Закон Гудхарта представляет собой реальную проблему, существуют способы смягчить его последствия, такие как использование сбалансированной системы показателей, частое изменение используемых показателей и активный мониторинг манипуляций.

  2. Аргумент за: Человеческая природа склонна к оптимизации для простоты и личной выгоды. Любой отдельный показатель, каким бы хорошо продуманным он ни был, в конечном итоге будет использован, поскольку люди находят лазейки и обходные пути.
    – Аргумент против (Общепринятая точка зрения): Продуманный дизайн системы может учитывать человеческие тенденции и встраивать систему сдержек и противовесов для ограничения манипуляций. Организационная культура и ценности также играют ключевую роль в согласовании поведения с желаемыми результатами.

  3. Аргумент за: Существует множество реальных примеров того, как Закон Гудхарта приводит к извращенным результатам, от советских заводов, перепроизводящих миллионы крошечных бесполезных гвоздей для выполнения квот, до современных проблем со стандартизированным тестированием в школах, стимулирующим "обучение для теста".
    – Аргумент против (Общепринятая точка зрения): Существуют также примеры систем показателей и стимулов, которые успешно стимулировали позитивное поведение в масштабе. Ключ в продуманном дизайне, частой итерации и адаптации с течением времени по мере возникновения непредвиденных последствий.

Термины

  • Закон Гудхарта: Афоризм, названный в честь экономиста Чарльза Гудхарта, который гласит, что когда показатель становится целью, он перестает быть хорошим показателем. Другими словами, когда люди оптимизируют конкретный показатель, это часто приводит к нарушению первоначального замысла системы.

  • Манипуляция системой: Эксплуатация правил, политик и параметров системы с целью максимизации личной выгоды, часто вопреки духу или намерениям разработчиков системы.

  • Извращенные стимулы: Система вознаграждений или стимулов, которая непреднамеренно поощряет поведение, прямо противоположное желаемому результату. Извращенные стимулы часто возникают в результате действия Закона Гудхарта.

Аналогия

Закон Гудхарта подобен учителю, который говорит ученикам, что их оценка будет основываться исключительно на количестве страниц, которые они напишут в эссе. Хотя намерение учителя могло быть в том, чтобы поощрить тщательное исследование и глубокое изучение темы, фактический результат заключается в том, что ученики наполняют свои эссе пустословием, используют большой размер шрифта и чрезмерно широкие поля, вместо того чтобы сосредоточиться на качестве своих аргументов и идей.

История

  1. 1975: Британский экономист Чарльз Гудхарт пишет статью о денежно-кредитной политике, в которой описывает концепцию, которая позже будет названа Законом Гудхарта.

  2. 1997: Антрополог Мэрилин Стратерн переформулирует закон в более обобщенной форме: "Когда показатель становится целью, он перестает быть хорошим показателем".

  3. 2000-е - 2010-е: Появляется множество современных примеров Закона Гудхарта, особенно в области стандартизированного тестирования в образовании и таких показателей, как коэффициент кликов в онлайн-рекламе.

  4. 2010-е - 2020-е: Растущее обсуждение Закона Гудхарта в контексте систем искусственного интеллекта, оптимизирующих конкретные показатели непреднамеренными и иногда опасными способами. Продолжающиеся дебаты в сообществе по этике ИИ о том, можно ли и как смягчить действие закона в приложениях машинного обучения.

Как использовать

  1. При разработке системы стимулирования или плана бонусов на работе рассмотрите возможность использования сбалансированной системы показателей с несколькими метриками, которые уравновешивают и ограничивают друг друга, такими как рост выручки, удовлетворенность клиентов и вовлеченность сотрудников. Ежегодно пересматривайте и корректируйте набор показателей, чтобы соответствовать меняющимся приоритетам и предотвращать манипуляции.

  2. Если вы учитель, избегайте оценки заданий исключительно на основе показателей, которыми легко манипулировать, таких как количество страниц или количество цитируемых источников. Используйте рубрики, которые подчеркивают качество мысли и представленных аргументов. Сочетайте количественную и качественную обратную связь для более целостной оценки.

  3. При постановке личных целей не фокусируйтесь только на одном числе, например, на количестве сброшенных килограммов или сэкономленных денег. Определите успех более целостно и найдите несколько способов измерения прогресса. Регулярно пересматривайте свои показатели, чтобы убедиться, что они все еще служат вам, и корректируйте их по мере необходимости. Празднуйте качественные достижения, а не только количественные.

Факты

  • Эффект кобры, когда вознаграждение за убитых змей в колониальной Индии привело к широкомасштабному разведению змей и в конечном итоге к увеличению популяции кобр, является классическим примером действия Закона Гудхарта.

  • Закон Кэмпбелла, названный в честь социального психолога Дональда Т. Кэмпбелла, - это схожая идея, применяемая конкретно к социальным наукам, утверждающая, что чем больше показатель используется для принятия решений, тем больше он будет подвержен искажению и манипуляциям.

  • Некоторые утверждают, что растущая цена Биткоина является примером Закона Гудхарта, поскольку она сместилась от оценки его полезности как валюты к тому, что он рассматривается в первую очередь как инвестиционный инструмент.

  • Согласно теореме Марио Бунге, переформулированной историком Джеромом Р. Равецем, не существует свободных от ценностей показателей, потому что "ценность и мера всегда взаимодействуют, причем измерение меняет ценность, а ценность влияет на измерение".

  • Закон Гудхарта часто сравнивают с эффектом наблюдателя в науке, когда акт наблюдения неизбежно изменяет наблюдаемое явление.

Альтернативная точка зрения vs Общепринятая точка зрения

Существует альтернативная точка зрения, что "Закон Гудхарта невозможно смягчить". Давайте рассмотрим аргументы за и против этого утверждения:

  1. Аргумент за: Когда показатель становится целью, он перестает быть хорошим показателем. Люди неизбежно будут манипулировать любой системой, если стимулы слишком тесно связаны с конкретным показателем, что приводит к извращенным результатам и нарушению первоначального замысла системы.
    – Аргумент против (Общепринятая точка зрения): Хотя Закон Гудхарта представляет собой реальную проблему, существуют способы смягчить его последствия, такие как использование сбалансированной системы показателей, частое изменение используемых показателей и активный мониторинг манипуляций.

  2. Аргумент за: Человеческая природа склонна к оптимизации для простоты и личной выгоды. Любой отдельный показатель, каким бы хорошо продуманным он ни был, в конечном итоге будет использован, поскольку люди находят лазейки и обходные пути.
    – Аргумент против (Общепринятая точка зрения): Продуманный дизайн системы может учитывать человеческие тенденции и встраивать систему сдержек и противовесов для ограничения манипуляций. Организационная культура и ценности также играют ключевую роль в согласовании поведения с желаемыми результатами.

  3. Аргумент за: Существует множество реальных примеров того, как Закон Гудхарта приводит к извращенным результатам, от советских заводов, перепроизводящих миллионы крошечных бесполезных гвоздей для выполнения квот, до современных проблем со стандартизированным тестированием в школах, стимулирующим "обучение для теста".
    – Аргумент против (Общепринятая точка зрения): Существуют также примеры систем показателей и стимулов, которые успешно стимулировали позитивное поведение в масштабе. Ключ в продуманном дизайне, частой итерации и адаптации с течением времени по мере возникновения непредвиденных последствий.

Термины

  • Закон Гудхарта: Афоризм, названный в честь экономиста Чарльза Гудхарта, который гласит, что когда показатель становится целью, он перестает быть хорошим показателем. Другими словами, когда люди оптимизируют конкретный показатель, это часто приводит к нарушению первоначального замысла системы.

  • Манипуляция системой: Эксплуатация правил, политик и параметров системы с целью максимизации личной выгоды, часто вопреки духу или намерениям разработчиков системы.

  • Извращенные стимулы: Система вознаграждений или стимулов, которая непреднамеренно поощряет поведение, прямо противоположное желаемому результату. Извращенные стимулы часто возникают в результате действия Закона Гудхарта.

Аналогия

Закон Гудхарта подобен учителю, который говорит ученикам, что их оценка будет основываться исключительно на количестве страниц, которые они напишут в эссе. Хотя намерение учителя могло быть в том, чтобы поощрить тщательное исследование и глубокое изучение темы, фактический результат заключается в том, что ученики наполняют свои эссе пустословием, используют большой размер шрифта и чрезмерно широкие поля, вместо того чтобы сосредоточиться на качестве своих аргументов и идей.

История

  1. 1975: Британский экономист Чарльз Гудхарт пишет статью о денежно-кредитной политике, в которой описывает концепцию, которая позже будет названа Законом Гудхарта.

  2. 1997: Антрополог Мэрилин Стратерн переформулирует закон в более обобщенной форме: "Когда показатель становится целью, он перестает быть хорошим показателем".

  3. 2000-е - 2010-е: Появляется множество современных примеров Закона Гудхарта, особенно в области стандартизированного тестирования в образовании и таких показателей, как коэффициент кликов в онлайн-рекламе.

  4. 2010-е - 2020-е: Растущее обсуждение Закона Гудхарта в контексте систем искусственного интеллекта, оптимизирующих конкретные показатели непреднамеренными и иногда опасными способами. Продолжающиеся дебаты в сообществе по этике ИИ о том, можно ли и как смягчить действие закона в приложениях машинного обучения.

Как использовать

  1. При разработке системы стимулирования или плана бонусов на работе рассмотрите возможность использования сбалансированной системы показателей с несколькими метриками, которые уравновешивают и ограничивают друг друга, такими как рост выручки, удовлетворенность клиентов и вовлеченность сотрудников. Ежегодно пересматривайте и корректируйте набор показателей, чтобы соответствовать меняющимся приоритетам и предотвращать манипуляции.

  2. Если вы учитель, избегайте оценки заданий исключительно на основе показателей, которыми легко манипулировать, таких как количество страниц или количество цитируемых источников. Используйте рубрики, которые подчеркивают качество мысли и представленных аргументов. Сочетайте количественную и качественную обратную связь для более целостной оценки.

  3. При постановке личных целей не фокусируйтесь только на одном числе, например, на количестве сброшенных килограммов или сэкономленных денег. Определите успех более целостно и найдите несколько способов измерения прогресса. Регулярно пересматривайте свои показатели, чтобы убедиться, что они все еще служат вам, и корректируйте их по мере необходимости. Празднуйте качественные достижения, а не только количественные.

Факты

  • Эффект кобры, когда вознаграждение за убитых змей в колониальной Индии привело к широкомасштабному разведению змей и в конечном итоге к увеличению популяции кобр, является классическим примером действия Закона Гудхарта.

  • Закон Кэмпбелла, названный в честь социального психолога Дональда Т. Кэмпбелла, - это схожая идея, применяемая конкретно к социальным наукам, утверждающая, что чем больше показатель используется для принятия решений, тем больше он будет подвержен искажению и манипуляциям.

  • Некоторые утверждают, что растущая цена Биткоина является примером Закона Гудхарта, поскольку она сместилась от оценки его полезности как валюты к тому, что он рассматривается в первую очередь как инвестиционный инструмент.

  • Согласно теореме Марио Бунге, переформулированной историком Джеромом Р. Равецем, не существует свободных от ценностей показателей, потому что "ценность и мера всегда взаимодействуют, причем измерение меняет ценность, а ценность влияет на измерение".

  • Закон Гудхарта часто сравнивают с эффектом наблюдателя в науке, когда акт наблюдения неизбежно изменяет наблюдаемое явление.

Материалы для изучения

  1. Закон Гудхарта

    • text

    • Википедия

  2. How to drive a stake through your own good heart

    • text

    • audio: 22

    • Adam Mastroianni

  1. Закон Гудхарта

    • text

    • Википедия

  2. How to drive a stake through your own good heart

    • text

    • audio: 22

    • Adam Mastroianni

+ Предложить материал

Зарегистрируйтесь, чтобы использовать функцию закладок

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Отслеживать прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать уведомления о новых дорожных картах

Зарегистрируйтесь, чтобы использовать функцию закладок

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Отслеживать прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать уведомления о новых дорожных картах

Проверка

Loading...
Зарегистрируйтесь, чтобы сохранить свой прогресс

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Сохранить свой прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать обновления по уже изученному

Зарегистрируйтесь, чтобы сохранить свой прогресс

Зарегистрировавшись, вы сможете:

Сохранить материалы на потом (закладки)

Сохранить свой прогресс в дорожных картах и блоках

Использовать избранные средние и подробные дорожные карты бесплатно

Получать обновления по уже изученному

Обновления

Подпишитесь для получения обновлений

Подписавшись, вы сможете:

Получить доступ ко всем дорожным картам

Получить доступ к обновлениям блоков и дорожных карт

Получать обратную связь по ответам на упражнения

Обратиться за советом к экспертам

Заказать один блок или дорожную карту в месяц

Обсуждать с искусственным интеллектом премиум-класса

Подпишитесь для получения обновлений

Подписавшись, вы сможете:

Получить доступ ко всем дорожным картам

Получить доступ к обновлениям блоков и дорожных карт

Получать обратную связь по ответам на упражнения

Обратиться за советом к экспертам

Заказать один блок или дорожную карту в месяц

Обсуждать с искусственным интеллектом премиум-класса

Дорожные карты, где используется

Поделитесь

Закон Гудхарта не может быть смягчен

Закон Гудхарта не может быть смягчен