Источник
How to Lie with Statistics
Двухчастный разбор книги Даррелла Хаффа в канале book_cube с обзором 10 глав и практического чек-листа для проверки статистических аргументов.
Источник
How to Lie with Statistics
Двухчастный разбор книги Даррелла Хаффа в канале book_cube с обзором 10 глав и практического чек-листа для проверки статистических аргументов.
How to Lie with Statistics (Как лгать при помощи статистики)
Авторы: Darrell Huff
Издательство: W. W. Norton & Company
Объем: 1954
Компактная классика про то, как статистику превращают в инструмент убеждения. Книга короткая, но дает рабочую оптику для ревью любых метрик, графиков и исследовательских отчетов.
Оригинал
ПереводMath / Statistics / Management
How to Lie with Statistics вышла более 70 лет назад, но ее главный тезис не устарел: цифры не говорят сами за себя. Они всегда зависят от выборки, метода расчета, визуализации и интерпретации.
1. Карта книги: 9 типов манипуляций
Глава 1
Смещенная выборка
Если выборка нерепрезентативна, итоговая статистика отражает не реальность, а удобный сегмент аудитории.
Глава 2
Удобный тип среднего
Mean, median и mode могут давать разные ответы. Манипуляция начинается, когда выбирают только выгодный вариант.
Глава 3
Скрытые нюансы методики
Без размера выборки, неудачных экспериментов и прозрачной формулы метрика легко превращается в маркетинговую подачу.
Глава 4
Шум вместо сигнала
Отдельные числа без доверительных интервалов и оценки статзначимости создают иллюзию точности.
Глава 5
Манипуляции графиками
Обрезанная ось Y, разный масштаб и удачно выбранный период могут визуально усилить малую разницу.
Глава 6
Обманчивая инфографика
Рост в 2 раза на плоском графике превращают в трехмерный объект, который визуально воспринимается как рост в 8 раз.
Глава 7
Псевдообоснованная цифра
Число берут из авторитетного источника, но интерпретацию подгоняют под нужный вывод.
Глава 8
После не значит вследствие
Корреляция не доказывает причинность: возможны циклы, скрытые факторы или случайное совпадение.
Глава 9
Статикуляции
Игры с процентами, двойной учет и смешение разных сущностей в одном среднем создают фальшивую картину.
2. Глава 10: как поставить статистика на место
Кто это говорит?
Проверьте мотивацию и конфликт интересов: кто финансирует исследование и кому выгоден вывод.
Откуда это известно?
Нужна прозрачность сбора данных, дизайна эксперимента и расчета метрик.
Не подменен ли объект исследования?
Метрика может измерять proxy вместо цели. Полезно валидировать цепочку Goal -> Signal -> Metric.
Есть ли в этом смысл?
Цифра должна объяснять реальность, а не отвлекать от нее. Сначала смысл, потом статистический блеск.
Для инженерного менеджмента особенно полезен третий вопрос про подмену объекта. На практике его удобно проверять через цепочку Goal - Signal - Metric, как в главе произмерение инженерной продуктивности.
3. Как применять в работе техлида
Ревью продуктовых гипотез
Не обсуждайте только конверсию. Смотрите состав выборки, длительность эксперимента и устойчивость эффекта за пределами одного окна времени.
Метрики engineering
Для DORA/SPACE/DevEx фиксируйте, что именно входит в расчет. Иначе сравнения между командами будут методологически некорректными.
Коммуникация со стейкхолдерами
При презентации решений показывайте не только целевую цифру, но и доверительные рамки, риски смещения и альтернативные объяснения.
Анти-манипулятивная культура
Внедрите норму задавать неудобные вопросы к отчетам. Это снижает KPI-театр и повышает качество управленческих решений.
4. Частые антипаттерны
Показывать одну метрику без baseline, размера выборки и интервала неопределенности.
Принимать причинные выводы по корреляции без проверки альтернативных объяснений.
Менять определение метрики по ходу обсуждения и называть это доказательством динамики.
Использовать внешне красивый график как замену аналитике методики.
5. Рекомендации
Для каждого отчета фиксировать sample size, критерий включения и период наблюдения.
В ревью метрик добавлять обязательный блок: ограничения, риски интерпретации и что мы не знаем.
На уровне команды разделять descriptive, diagnostic и causal выводы, не смешивая их в один тезис.
Перед принятием решения задавать 4 контрольных вопроса из главы "Как поставить статистика на место".