Источник
How to Make the World Add Up
Посты-обзор книги Тима Харфорда из рубрики #Math с разбором 10 правил и золотого правила критичного чтения статистики.
Источник
How to Make the World Add Up
Посты-обзор книги Тима Харфорда из рубрики #Math с разбором 10 правил и золотого правила критичного чтения статистики.
Math / Statistics / Leadership
Ключевая мысль книги в названии: make the world add up означает стремление к картине мира, где данные, контекст и выводы согласованы между собой. Для техлида это базовый навык: отличать сигнал от шума, а аргумент от убедительной, но пустой визуализации.
1. 10 правил + золотое правило
Правило 1
Прислушайтесь к голосу сердца
Замечайте эмоциональную реакцию на цифры и громкие тезисы, но не принимайте решения в пиковой эмоции.
Правило 2
Учитывайте личный опыт
Сверяйте bird's-eye статистику с worm's-eye наблюдениями из реальной практики и ищите причины расхождения.
Правило 3
Не спешите с подсчетами
Сначала уточняйте определения, методику и границы выборки, и только потом делайте выводы по метрике.
Правило 4
Отступите на шаг назад
Смотрите на тренд в динамике и контексте, а не на единичный яркий инцидент вне базы сравнения.
Правило 5
Узнайте предысторию
Проверяйте, какие данные не попали в публикацию и как publication bias мог исказить картину.
Правило 6
Спросите, кого не хватает
Оценивайте репрезентативность: какие группы не представлены и как это влияет на переносимость вывода.
Правило 7
Требуйте прозрачности от компьютера
Для моделей и алгоритмов важны происхождение данных, логика расчета и проверяемые источники.
Правило 8
Цените официальную статистику
Опирайтесь на устойчивые статистические источники и сравнивайте несколько независимых наборов данных.
Правило 9
Помните, что дезинформация бывает привлекательной
Красивый график или дашборд не заменяет проверку определения метрик, базы и интерпретации.
Правило 10
Не бойтесь менять мнение
При появлении новых фактов пересматривайте гипотезу и фиксируйте, что изменилось в вашем решении.
Правило 11
Золотое правило: сохраняйте любознательность
Копайте глубже, задавайте дополнительные вопросы и проверяйте несколько объяснений одного и того же факта.
2. Как применять в работе техлида
Ревью метрик команды
На еженедельных синках задавайте минимум три вопроса: что именно считаем, кого не видно в данных, какой контекст у отклонений.
Архитектурные решения
Сравнивайте альтернативы не по одной метрике latency/cost, а по набору ограничений, рисков и динамике тренда на горизонте квартала.
Работа с AI и аналитикой
Просите прозрачность: источники, assumptions и границы применимости модели до того, как внедрять рекомендации в процесс.
Коммуникация со стейкхолдерами
Переводите спор "мнений" в формат проверяемых гипотез, где видно baseline, период и критерий пересмотра решения.
3. Типичные антипаттерны
Решать по дашборду, не понимая, как считается ключевая метрика.
Принимать единичный кейс за общий тренд без проверки базы сравнения.
Верить визуализации без проверки источника и периода данных.
Игнорировать смещение выборки и делать сильные выводы по узкой аудитории.
Оставлять модель или AI-инструмент черным ящиком без прозрачности входов и ограничений.
4. Практические рекомендации
Перед каждым важным решением фиксировать: что считаем, как считаем, зачем считаем.
Добавить в review метрик пункт: кто не попал в выборку и что это меняет.
В продуктовых и инженерных отчетах показывать не только point-in-time, но и тренд за период.
Для AI-ответов и аналитических выводов хранить ссылки на источники и шаги проверки.
Раз в квартал пересматривать ключевые гипотезы команды и явно обновлять позицию по новым данным.