Общий курс · осенний семестр · занятие 5

Разговор о Боге Гоминид: критерии, шкалы и эксперимент

О чём это занятие
О том, как не обмануть самого себя. Человек замечательно строит целую картину мира по немногим данным – и так же уверенно верит картине, в которой есть ошибки. Эксперимент, шкала и критерий – инструменты, которые люди придумали, чтобы пользоваться этой силой и не платить за её слабость. Сегодня те же инструменты нужны, чтобы проверять работу нейросетей: их тесты и их сравнительные таблицы.
Аннотация
Конспект начинается с того, в чём человеческое мышление сильнее машинного и где оно систематически ошибается: зрительные иллюзии, предвзятость подтверждения, ошибка выжившего, поиск под фонарём. Второй раздел показывает на трёх исторических опытах, как правила эксперимента – слепой метод, контрольная группа, критерий, записанный заранее, – выросли из конкретных самообманов, и как тот же самообман повторяется в машинном обучении. Третий раздел посвящён шкалам измерений: что значит измерить, чем шкала порядка отличается от шкалы отношений, какие вычисления допустимы на каждой, как сводят мнения экспертов и много критериев в одну оценку. Четвёртый объясняет, как превратить слово «удобный» в измеримый критерий и как проверить сам критерий; итог раздела – паспорт критерия. Пятый раздел излагает этапы эксперимента, прежде всего компьютерного: вычислительного, замера скорости, опыта с моделью машинного обучения. Шестой разбирает, почему сто зелёных тестов, написанных нейросетью, не доказывают, что программа работает, и какие приёмы находят ошибки, которых тесты не видят. Седьмой показывает, почему сравнительная таблица от нейросети сводится к словам «хорошо» и «плохо», и как построить таблицу с измерениями. Завершает конспект задание: найти и описать ошибки нейросети в сравнительной таблице по теме своего проекта.
Пререквизиты
Из занятия 3 понадобится схема аргумента «утверждение, данные, связка, оговорка»: ею записывается вывод из сравнения. Из занятия 4 – общее правило верификации: ссылку от нейросети человек открывает и сверяет сам. Здесь то же правило распространяется на числа в таблицах. Полезно вспомнить и занятие 2: что умеют современные модели и как устроены ИИ-агенты.
Мотивация
В отчёте по практике и в выпускной работе есть два места, где требуется доказать, а не утверждать. Первое – обзор аналогов: почему выбрана эта библиотека, чем проект отличается от существующих. Второе – глава о тестировании: что программа действительно работает. Оба места теперь заполняют с помощью нейросети за несколько минут, и результат выглядит убедительно: аккуратная таблица с галочками, сто зелёных тестов. На защите выясняется, что в таблице нет ни одного измерения, а тесты проверяют пример из задания. Чтобы этого не случилось, нужно понимать, что делает измерение измерением и проверку – проверкой, и уметь объяснить это и комиссии, и самой нейросети.

1. В чём человек силён и в чём слаб

Начнём с вопроса, который кажется давно решённым: что человек умеет лучше машины? Ответ меняется каждые несколько лет, но одна граница держится уже полвека. Компьютер выигрывает там, где можно перебрать варианты. Человек выигрывает там, где вариантов слишком мало, чтобы перебирать, – и надо по нескольким примерам понять, как устроено целое.

1.1. Перебор и понимание

В мае 1997 года шахматный компьютер Deep Blue выиграл матч из шести партий у знаменитого российского гроссмейстера со счётом 3,5 : 2,5. Машина, собранная из 480 специализированных шахматных микросхем, оценивала около 200 миллионов позиций в секунду. Человек, по оценке, которую тогда же приводила IBM, рассматривает до трёх позиций в секунду. Разница – примерно в сто миллионов раз, и всё же матч был почти равным: гроссмейстер выиграл первую партию, три закончились вничью. Шахматист не перебирает ходы: он смотрит на доску и сразу видит два-три хода, которые стоит обдумать. Остальные он отбрасывает, не рассматривая, потому что тысячи сыгранных и разобранных партий научили его узнавать расположение фигур, как слова в тексте.

Высокий чёрный шкаф суперкомпьютера Deep Blue за ограждением в музее
Рис. 1. Шкаф суперкомпьютера Deep Blue в Музее компьютерной истории (Маунтин-Вью, США). Фото: James the photographer, CC BY 2.0, Wikimedia Commons.

Это умение проверили опытом ещё в 1970-е годы. Гроссмейстерам и новичкам на пять секунд показывали позицию из настоящей партии, а потом просили расставить фигуры по памяти. Гроссмейстеры восстанавливали позицию почти целиком, новички – несколько фигур. Когда же фигуры расставляли на доске случайно, преимущество гроссмейстеров почти исчезало. Гроссмейстер помнит не фигуры, а смысл: знакомые группы, каждая из которых для него – одно понятие.

Отсюда наблюдение, которое называют парадоксом Моравека: то, что трудно человеку, – счёт, шахматы, доказательство теорем – машине даётся сравнительно легко, а то, что легко годовалому ребёнку, – узнать лицо, удержать равновесие, взять со стола чашку, – долго оставалось для машин почти недостижимым. Языковые модели сдвинули эту границу, но не стёрли её. В марте 2026 года вышла третья версия набора задач ARC-AGI: короткие игры-головоломки без инструкций, правила которых нужно открыть самому. Каждую из них проходят по меньшей мере двое людей, видящих её впервые; лучшие модели при выпуске набора набрали меньше одного процента.

Цифры на таких наборах быстро меняются, и это поучительно само по себе. В сентябре 2026 года одна и та же новая модель получила на ARC-AGI-3 62,7 % или 99,9 % – в зависимости от того, в какую программную обвязку её поместили. Результат «модель X решает Y» – это результат эксперимента с определёнными условиями, а не свойство модели. К этой мысли конспект ещё не раз вернётся.

1.2. Целая картина по нескольким примерам

Сила человека – строить модель мира по очень малому объёму данных. В известном опыте 1978 года трёхлетним детям один раз, мимоходом, назвали незнакомое слово: «принеси хромовый поднос, не красный, а хромовый» (так назвали оливковый цвет). Через неделю почти половина детей по просьбе «покажи хромовый» выбирала оливковый. Эффект, правда, скромнее, чем его пересказывают: оливковый выбирала и треть детей из контрольной группы, никогда не слышавших этого слова, – просто как единственный «странный» цвет. Без контрольной группы этого бы никто не заметил.

Взрослый, один раз увидевший незнакомую букву чужого алфавита, узнаёт её в другом почерке. В опыте 2015 года на наборе из 1623 рукописных символов 50 алфавитов люди по одному образцу ошибались в 4,5 % случаев, а простая свёрточная нейросеть того времени – в 13,5 %. Близких к человеку результатов добилась только модель, которая, как и человек, представляла символ последовательностью штрихов.

Зрение устроено так же. Чётко глаз видит лишь небольшую область в центре поля зрения, а в каждом глазу есть слепое пятно – место, где зрительный нерв выходит из сетчатки и светочувствительных клеток нет вовсе. Мы этого не замечаем: мозг собирает картину из коротких взглядов и достраивает недостающее по тому, что ожидает увидеть. Мир кажется полным, потому что мозг постоянно предсказывает его.

На этой способности держатся и наука, и инженерия: по нескольким наблюдениям вывести правило и применить его там, где наблюдений ещё не было.

1.3. Обратная сторона: мозг достраивает то, чего нет

Механизм, который по малым данным строит полную картину, ошибается так же уверенно, как и угадывает. На рисунке ниже два отрезка. Какой длиннее?

оба отрезка – 300 единицАБ
Рис. 2. Иллюзия Мюллера-Лайера. Нижний отрезок кажется длиннее верхнего. Нажмите кнопку под рисунком: «стрелки» поблекнут, а пунктир покажет, где кончаются отрезки.

Отрезки равны, и это легко проверить линейкой. Важнее другое: после проверки нижний отрезок всё равно кажется длиннее. Знание не исправляет восприятие. Исправляет его только прибор – линейка, которая не знает, что ей «должно» показаться.

Ещё нагляднее иллюзия с шахматной доской. Клетки A и B на левом рисунке закрашены одним и тем же серым. Поверить в это невозможно, пока их не соединят полосой того же цвета, как на правом рисунке, а стоит полосу убрать – и иллюзия возвращается. Мозг не измеряет яркость клетки, а вычисляет, какой она «должна быть» с поправкой на тень.

Шахматная доска с цилиндром, отбрасывающим тень; клетка A вне тени кажется тёмной, клетка B в тени – светлой
Рис. 3. Иллюзия Адельсона: клетка B в тени цилиндра кажется светлее клетки A, хотя цвет у них одинаковый. Рисунок: Edward H. Adelson, векторизация Pbroks13, CC BY-SA 4.0, Wikimedia Commons.
Та же доска; клетки A и B соединены серой полосой одного с ними цвета
Рис. 4. Проверка: полоса того же серого соединяет клетки A и B, и видно, что цвет у них один. Рисунок по оригиналу Edward H. Adelson, свободное использование, Wikimedia Commons.

Восприятие ошибается и иначе: оно не видит того, чего не ждёт. В известном опыте 1999 года зрителей просили сосчитать, сколько раз игроки в белых футболках передали друг другу мяч. Посреди ролика через площадку на пять секунд проходила женщина с зонтом или человек в костюме гориллы. Неожиданное событие не заметили 46 % из 192 зрителей, а гориллу – больше половины. Это явление называют слепотой невнимания. Программист встречается с ним каждый день: перечитывая свой код, он видит то, что собирался написать, а не то, что написал. Поэтому опечатку в собственном коде быстрее находит товарищ, а ошибку в собственном рассуждении – оппонент.

1.4. Ошибки суждения

Ошибки бывают не только в восприятии, но и в рассуждении. Самая важная для нас – предвзятость подтверждения: человек ищет и замечает доводы в пользу того, во что уже верит, и не ищет опровержений. Её классический опыт поставлен в 1960 году, и устроен он так.

Загаданное правило очень широкое: любые три числа по возрастанию. А в голову первыми приходят узкие догадки: «чётные числа через два», «каждое следующее больше на одно и то же число». Узкая догадка лежит целиком внутри широкого правила, и в этом весь замысел опыта.

все тройки чиселзагаданное правило: любые три числа по возрастаниюдогадка: чётные числа через 28, 10, 12 → «да»подтверждает20, 22, 24 → «да»подтверждает1, 2, 3 → «да»опровергает догадку6, 4, 2 → «нет»граница правила
Рис. 5. Почему подтверждающие проверки ничего не дают. Догадка «чётные через 2» лежит внутри правила «любые три возрастающих», поэтому тройки, построенные по догадке, всегда «подходят». Отличить догадку от правила может только тройка за пределами догадки.

Попробуйте сами, прежде чем читать результат.

Тренажёр · угадайте правило

Тройка чисел 2, 4, 6 подчиняется правилу, которое загадано заранее. Введите свою тройку и нажмите «Проверить»: справа появится ответ, подходит ли она под правило. Проверяйте столько троек, сколько нужно, а когда будете уверены, нажмите «Я знаю правило» и выберите его из списка.

В исходном опыте правило с первой попытки назвали верно только 6 человек из 29. Тринадцать назвали одно неверное правило, девять – два и больше, один так и не пришёл к ответу. Типичный участник придумывал догадку вроде «чётные числа через два», проверял тройки 8, 10, 12 и 20, 22, 24, получал «подходит» и объявлял догадку доказанной. Почти никто не пробовал тройку, которая по его догадке подходить не должна, например 1, 2, 3. А именно она и показала бы, что правило шире. Проверки, которые не могут закончиться ответом «нет», не несут информации. Запомним это: в разделе 6 так же будут устроены тесты, которые пишет нейросеть.

У предвзятости подтверждения много родственников. Два из них стоит знать по именам, потому что они то и дело встречаются в отчётах.

Контур бомбардировщика сверху; красные точки густо покрывают крылья, хвост и середину фюзеляжа, а двигатели, кабина и основание хвоста чистые
Рис. 6. Условная схема пробоин на вернувшихся самолётах – позднейшая иллюстрация, а не рисунок Вальда. Бронировать нужно места без отметок: самолёты с попаданиями туда не вернулись и в выборку не попали. Рисунок: Martin Grandjean, McGeddon, CC BY-SA 4.0, Wikimedia Commons.

1.5. Поиск под фонарём

Есть притча, которую рассказывают о Ходже Насреддине. Ночью Насреддин что-то ищет под уличным фонарём. Прохожий спрашивает, что он потерял. «Ключ». – «Где?» – «Дома». – «Почему же ты ищешь здесь?» – «Здесь светлее». Самые ранние известные записи этой истории, впрочем, не восточные: это американские газеты 1920-х годов, где под фонарём ищет потерянную купюру безымянный прохожий.

Притча смешна, пока не узнаёшь в ней себя. Учёные и инженеры постоянно ищут там, где легко искать: измеряют то, что легко измерить, проверяют то, что легко проверить, читают то, что легко найти. В науке это называют эффектом уличного фонаря. Его опасность в том, что поиск под фонарём выглядит как настоящая работа: свет есть, человек занят, отчёт о проделанном можно написать. Только ключа там нет.

Эффект уличного фонаряищут там, где легко искать, а не там, где вероятнее найти. Проверка, которая выбрана потому, что её легко выполнить, обычно не находит главного.

Человеческое мышление, таким образом, сильно и слабо одним и тем же свойством: оно строит целую картину по немногим данным и потом в эту картину верит. Чтобы пользоваться силой и не платить за слабость, люди придумали особую процедуру – эксперимент.

2. Эксперимент: как не обмануть самого себя

Отрезки Мюллера-Лайера выравнивает линейка. Для суждений нужна такая же линейка – процедура, которая не знает, какого ответа мы ждём. Эксперимент и есть такая процедура: опыт, поставленный так, чтобы ни надежды экспериментатора, ни его восприятие не могли повлиять на результат. Каждый его элемент появился как ответ на конкретный самообман. Три истории показывают, какие.

2.1. Лошадь, которая умела считать

В начале XX века в Берлине прославился конь по кличке Умный Ганс. Его хозяин, учитель математики, задавал ему арифметические задачи, и Ганс выстукивал ответ копытом. Он складывал, умножал, читал числа на карточках и, казалось, понимал по-немецки. В 1904 году комиссия из тринадцати человек – психолог, ветеринар, директор зоопарка, кавалерийский офицер, учителя, цирковой дрессировщик – обмана не нашла: хозяин искренне верил в способности коня.

Старая фотография: конь стоит во дворе, вокруг плотная толпа людей в шляпах
Рис. 7. Умного Ганса показывают публике, 1904 год; коня представляет Карл Георг Шиллингс. Фото из книги K. Krall «Denkende Tiere» (1912), общественное достояние, Wikimedia Commons.

Разгадку нашёл молодой психолог, который поставил опыты, а не наблюдал представления. Он менял условия по одному. Когда спрашивающий сам знал ответ, Ганс читал числа на карточках верно в 98 % случаев; когда не знал – в 8 %. Когда конь видел спрашивающего, верных ответов было 89 %; когда на коня надевали шоры – 6 %. Ганс не считал. Он стучал, пока не замечал едва уловимое движение человека: спрашивающий невольно чуть наклонялся, пока конь бил копытом, и выпрямлялся, когда число ударов доходило до верного. Никто, включая хозяина, этих движений за собой не знал. Психолог научился сам угадывать задуманные людьми числа по тем же движениям.

Из этой истории вырос слепой метод: тот, кто проводит опыт или оценивает результат, не должен знать, какой ответ «правильный» или какой вариант перед ним. Сама идея старше Ганса: ещё в 1784 году комиссия, в которую входили Бенджамин Франклин и Антуан Лавуазье, проверяла модный тогда «животный магнетизм» и завязывала испытуемым глаза. Человек падал в обморок у дерева, которое считал «намагниченным», хотя «намагнитили» другое, и выдавал все «магнетические» реакции после обычной воды, которую ему выдали за намагниченную. Комиссия заключила, что действует воображение.

2.2. Лучи, которые видел только автор

В 1903 году уважаемый французский физик объявил об открытии нового излучения – N-лучей. По его наблюдениям, лучи усиливали яркость слабой искры и разлагались призмой в спектр. За год, по подсчётам историков, около 120 учёных опубликовали примерно 300 статей с «наблюдениями» этих лучей. Но многие лаборатории воспроизвести их не смогли.

В 1904 году в лабораторию приехал американский физик. Во время измерения спектра, в темноте, он незаметно вынул из прибора призму, которая должна была разлагать лучи. Экспериментатор продолжал видеть те же линии спектра. Лучей не было: были ожидания наблюдателя, который знал, что должен увидеть. Заметка об этом опыте вышла в журнале Nature в сентябре 1904 года, и вскоре за пределами лаборатории, где лучи «открыли», в них уже почти никто не верил.

Страница старой книги: четыре размытых пятна искры, подписанные «без N-лучей» и «с N-лучами»
Рис. 8. Снимки искры «без N-лучей» (слева) и «с N-лучами» (справа) из книги первооткрывателя N-лучей Р. Блондло. В нижней паре источником лучей названы два больших напильника. Общественное достояние, Wikimedia Commons.

Вывод тот же, что в истории с Гансом, но обращён к самому учёному.

Эффект ожиданиясобственные ожидания заставляют нас искать аргументы, подтверждающие нашу позицию. Решающая проверка – та, о которой наблюдатель не знает.

2.3. Опыт с контрольной группой

Третья история старше. В мае 1747 года корабельный врач британского флота взял двенадцать моряков, больных цингой, с возможно более сходными признаками болезни, разделил их на шесть пар и при одинаковом рационе дал каждой паре своё средство: сидр, разбавленную серную кислоту, уксус, морскую воду, лечебную пасту – и два апельсина и лимон в день. Фруктов хватило на шесть дней. К концу этого срока один из моряков, получавших цитрусовые, вернулся к службе, второй почти поправился; у остальных заметное улучшение было лишь у пары, пившей сидр. Сравнение одновременно и в одинаковых условиях показало то, чего не показали бы годы наблюдений за отдельными больными.

Портрет мужчины в парике и тёмном камзоле
Рис. 9. Джеймс Линд (1716–1794), автор опыта 1747 года. Портрет работы Джорджа Чалмерса (1783), общественное достояние, Wikimedia Commons.

Главная мысль опыта в том, что результат лечения сравнивают не с ожиданиями, а с другими больными, которых лечили иначе. Без такой контрольной группы любое улучшение можно приписать средству, хотя больной, возможно, выздоровел бы и сам: это та самая регрессия к среднему из раздела 1.4.

У истории есть поучительное продолжение. Сам автор опыта не сделал из него вывода, что цитрусовые – лучшее средство: он верил, что у цинги много причин, и советовал уваренный сок, в котором нужное вещество разрушается при кипячении. Регулярную выдачу лимонного сока британский флот ввёл только почти через полвека, в 1795 году. Данные – ещё не вывод: если вывод подгоняют под любимую теорию, даже хороший опыт пропадает зря.

2.4. Из чего состоит хороший опыт

Из таких историй и сложились правила, по которым ставят эксперимент. Каждое правило закрывает одну дыру восприятия или суждения.

Гипотезаутверждение, которое опыт может опровергнутьне «работает хорошо», а «быстрее на 20 %»
Критерийчто измеряем, в какой шкале, какой результат считаем успехомзаписать до опыта
Сравнениеконтрольная группа или базовый вариантбез него не с чем сравнивать
Случайкто попадёт в какую группу, решает жребийрандомизация
Слепотаизмеряющий не знает, где какой вариантпротив подсказок и надежд
Повтормного наблюдений и разброс, а не один замерсреднее ± разброс
Опыт ставят так, чтобы он мог закончиться неудачей. Если любой исход «подтверждает» гипотезу, это не опыт.
Рис. 10. Шесть элементов эксперимента. Главный – критерий успеха, записанный до опыта.

Последнее правило оказалось самым трудным. В 2015 году большая группа исследователей повторила сто опубликованных психологических опытов. В оригинальных статьях значимый результат был в 97 % случаев, при повторении – в 36 %, а средний размер эффекта оказался вдвое меньше. Это назвали кризисом воспроизводимости, и он касается не только психологии.

Свежий пример того, зачем всё это программисту. В 2025 году шестнадцать опытных разработчиков открытого кода выполнили 246 настоящих задач в своих проектах; для каждой задачи жребий решал, можно ли пользоваться ИИ-помощником. Перед опытом разработчики ожидали, что ИИ ускорит их работу на 24 %, после опыта считали, что ускорил на 20 %. Измерение показало, что с ИИ они работали на 19 % медленнее. Повторное исследование 2026 года на большей выборке дало уже другую картину, но сами его авторы называют свидетельства слабыми. Ощущение «с ИИ я быстрее» – это гипотеза, а не результат: её проверяют только жребием и секундомером.

Физик Ричард Фейнман сформулировал всё это одной фразой в речи перед выпускниками Калтеха в 1974 году. По-русски речь известна как «Наука самолётопоклонников»:

Первый принципне обманывать самого себя – а себя обмануть легче всего.

2.5. Умный Ганс в машинном обучении

У истории с Гансом есть продолжение, которое прямо касается программистов. Модель машинного обучения, как и лошадь, может давать верные ответы по неверной причине. Исследователи так и называют это явление – «эффект Умного Ганса».

Такое обучение по короткому пути не видно на проверочной выборке, если она собрана так же, как обучающая: подпись есть и там. Его выявляет только опыт с изменёнными условиями – тот же приём, что раскрыл Ганса. Уберите подпись и посмотрите, упадёт ли точность. Проверьте модель на снимках из другой больницы. Известный пример с классификатором «волк или хаски», который смотрел на снег вокруг животного, тоже был таким опытом: исследователи нарочно обучили испорченную модель, чтобы проверить, заметят ли подвох люди, которым показывают объяснения её решений.

Типичная ошибка считать высокую точность на проверочной выборке доказательством того, что модель решает задачу. Она доказывает только, что модель различает примеры, похожие на обучающие. Что именно модель выучила, показывает опыт, в котором меняют по одному признаку: фон, подпись, источник данных.

Во всех этих историях результат решало измерение: число ударов копытом, яркость искры, число выздоровевших, доля верных ответов. Но измерение тоже можно сделать так, что оно ничего не скажет. Как измерять правильно, разбирает следующий раздел.

3. Шкалы измерений

Любой опыт из предыдущего раздела заканчивается одинаково: что-то измерили и сравнили. Лошадь выстукивала число, моряков после лечения осматривали, прибор показывал яркость искры. Сравнивать можно только то, что записано так, что сравнение имеет смысл. Правила такой записи и называются шкалами. Без них даже честно поставленный опыт превращается в набор впечатлений.

3.1. Что значит измерить

Измеряют не сами объекты, а их свойства. Нельзя измерить программу, но можно измерить время её работы, объём занятой памяти, число найденных в ней ошибок. Нельзя измерить команду, но можно измерить её численность или долю задач, закрытых в срок.

Кроме свойства, у измерения есть второй элемент – отношение между объектами. Программы можно сравнивать по отношению «работает быстрее», ошибки – по отношению «серьёзнее», библиотеки – по отношению «эта та же самая». Измерить – значит сопоставить каждому объекту знак (число или имя) так, чтобы отношение между знаками повторяло отношение между объектами.

Формально шкала записывается тройкой

\[ \langle X,\ \varphi,\ Y \rangle, \qquad X = \{x_1, \dots, x_n;\ R_x\}, \qquad Y = \{\varphi(x_1), \dots, \varphi(x_n);\ R_y\}. \]

Здесь \(X\) – эмпирическая система: объекты и отношение \(R_x\) между ними, которое нас интересует. \(Y\) – знаковая система: значения, которые получили объекты, и отношение \(R_y\) между значениями. \(\varphi\) – правило сопоставления, причём такое, что значения связаны отношением \(R_y\) тогда и только тогда, когда сами объекты связаны отношением \(R_x\):

\[ \bigl(\varphi(x_1), \dots, \varphi(x_n)\bigr) \in R_y \iff (x_1, \dots, x_n) \in R_x. \]

В математике такое отображение, сохраняющее отношения, называется гомоморфизмом.

эмпирическая система Xзнаковая система Yобъекты и отношение «быстрее»числа и отношение «меньше»A сортировка слиянием120 мсB пузырёк3 400 мсC встроенная sort95 мсφ – время работыC быстрее A, A быстрее B ⇔ 95 < 120 < 3 400
Рис. 11. Измерение как отображение. Отношение «быстрее» между программами переходит в отношение «меньше» между числами: C быстрее A, A быстрее B – и 95 < 120 < 3 400.

Определение отсекает много чисел, которые только выглядят как результаты измерения. Номер аудитории 405 больше номера 203, но аудитория от этого не становится просторнее. Порт 8080 не «вдвое больше» порта 4040. Это имена, записанные цифрами: отношение «больше» между ними ничему не соответствует. С такими числами можно делать только одно – проверять, совпадают ли они.

Проверка числачисло – результат измерения, только если отношение между числами повторяет отношение между объектами. Иначе это этикетка, и считать с ней нельзя.

3.2. Пять типов шкал

Шкалы различаются тем, какие отношения между объектами они сохраняют. Чем больше отношений сохранено, тем «сильнее» шкала и тем больше действий с её значениями разрешено. Принято выделять пять типов. Эта классификация закреплена и в российской метрологии: типы шкал измерений определяет рекомендация РМГ 83-2007 «Шкалы измерений. Термины и определения». На схемах ниже, как в формуле выше, верхний ряд – эмпирическая система (объекты), нижний – знаковая (их значения).

Шкала наименований

Шкала наименований (номинальная) – самая слабая. Каждому объекту сопоставляется имя класса, и измерение состоит в том, чтобы отнести объект к классу эквивалентности. Язык программирования, операционная система, лицензия, тип ошибки – номинальные признаки.

эмпирическая система Xзнаковая система Yx₁x₂x₃x₄x₅x₆x₇x₈молодойсреднего возрастапожилойчастоты классов: молодой 2/8, среднего возраста 4/8, пожилой 2/8 – больше ничего посчитать нельзя
Рис. 12. Шкала наименований. Восемь человек разнесены по трём классам возраста. Обработка сводится к проверке «совпадает или нет» и к подсчёту частот классов.

С результатом можно сделать немногое: проверить, в одном ли классе два объекта, и посчитать, сколько объектов попало в каждый класс, – здесь 2, 4 и 2 из 8. Если обозначить совпадение классов как \(\delta_{ij} = 1\), когда \(\varphi(x_i) = \varphi(x_j)\), и \(\delta_{ij} = 0\) иначе, то частота класса \(k\) равна \(p_k = \frac{1}{n} \sum_j \delta_{kj}\). Имена классов можно заменить любыми другими, лишь бы разным классам достались разные имена: смысл не изменится.

Шкала порядка

Шкала порядка (ранговая) сохраняет ещё и отношение «больше – меньше»: если \(x_1 \succ x_2\), то \(\varphi(x_1) > \varphi(x_2)\). По ней располагают объекты по возрастанию или убыванию качества: места в соревновании, курсы обучения, приоритет задачи («блокирующая», «критическая», «значительная», «незначительная»), оценки «отлично – хорошо – удовлетворительно».

эмпирическая система Xзнаковая система Yx₁x₂x₃x₄x₅x₆x₇x₈12345678x₃ ≻ x₅ ≻ x₆ ≻ x₁ ≻ x₂ ≻ x₈ ≻ x₄ ≻ x₇: порядок сохранён,но расстояния между рангами 1 и 2 и между 7 и 8 ничего не означают
Рис. 13. Шкала порядка. Объекты упорядочены так: x₃, x₅, x₆, x₁, x₂, x₈, x₄, x₇ – и получают ранги от 1 до 8.

Расстояний между ступенями шкала порядка не знает. Спортсмен, занявший четвёртое место, бежал не в четыре раза медленнее победителя, и разрыв между первым и вторым местом может быть секундой, а между вторым и третьим – минутой. Если несколько объектов нельзя упорядочить, потому что они равноценны, говорят о шкале квазипорядка: равным объектам дают одинаковый ранг.

Классический пример шкалы порядка – сила землетрясения в баллах: по российскому стандарту ГОСТ Р 57546-2017 их двенадцать, и каждый описан тем, что чувствуют люди и что происходит с предметами и зданиями. Нельзя сказать, что толчок в 2 балла в пять раз слабее десятибалльного. Часто здесь же называют «шкалу Рихтера», но это неточно: магнитуда по Рихтеру – не балл, а логарифм отношения амплитуд колебаний, и разность магнитуд осмысленна (на единицу больше – амплитуда в десять раз больше). Фраза «7 баллов по шкале Рихтера» смешивает две разные шкалы.

Так же устроена шкала твёрдости минералов Мооса: минерал с большим номером царапает минерал с меньшим, и больше шкала ничего не утверждает. Если измерить твёрдость прибором, видно, насколько неравны её ступени.

График: по горизонтали шкала Мооса от 1 до 10, по вертикали твёрдость по Кнупу; кривая медленно растёт до корунда и резко взлетает к алмазу
Рис. 14. Шкала Мооса в сравнении с твёрдостью, измеренной прибором (по Кнупу). Ступени неравны: от корунда (9) до алмаза (10) твёрдость растёт почти вчетверо, а от талька (1) до корунда – плавно. Рисунок: Zimbres, перевод Д. Ильина, CC BY-SA 2.5, Wikimedia Commons.

Шкала интервалов

Шкала интервалов известна тогда, когда упорядочение настолько точное, что известны расстояния между объектами, выраженные в одинаковых по всей шкале единицах. Начало отсчёта при этом выбирается по соглашению. Так устроены температура в градусах Цельсия и Фаренгейта, календарные даты, время суток, высота над уровнем моря. Для программиста самый знакомый пример – время Unix: секунды от полуночи 1 января 1970 года. Ноль здесь – договорённость, а не отсутствие времени.

Одно и то же свойство можно измерить в разных интервальных шкалах; они связаны преобразованием \(\varphi'(x) = a\,\varphi(x) + b\), \(a > 0\). При таком преобразовании сохраняются отношения интервалов:

\[ \frac{\varphi(x_1) - \varphi(x_2)}{\varphi(x_3) - \varphi(x_4)} = \frac{\varphi'(x_1) - \varphi'(x_2)}{\varphi'(x_3) - \varphi'(x_4)}. \]

эмпирическая система Xзнаковая система Y, °Cзнаковая система Y′, °Fx₁x₂x₃x₄010203040°C32506886104°F9 °C16,2 °F9 °C16,2 °Fравные интервалы остаются равными: φ′(x) = 1,8·φ(x) + 32; но 18 / 9 = 2, а 64,4 / 48,2 ≈ 1,34
Рис. 15. Шкала интервалов. Четыре стакана воды в градусах Цельсия и Фаренгейта: равные разности остаются равными в обеих шкалах, а «вдвое теплее» в одной шкале не означает «вдвое» в другой.

Только интервалы имеют смысл настоящих чисел, и только над интервалами можно выполнять арифметические действия.

На бытовом термометре с двумя шкалами это видно без формул: одна стрелка показывает два разных числа, и ни одно из них не «правильнее» другого. Нули у шкал разные, и оба выбраны по соглашению.

Круглый настенный термометр со стрелкой и двумя шкалами, внешней в градусах Фаренгейта и внутренней в градусах Цельсия
Два вертикальных термометра рядом: шкала Цельсия и шкала Фаренгейта с соответствующими отметками
Рис. 16. Слева – термометр с двумя шкалами: внешняя в градусах Фаренгейта, внутренняя в градусах Цельсия; стрелка показывает около 72 °F, или около 22 °C. Справа – соответствие шкал: 0 °C = 32 °F, 100 °C = 212 °F. Нули и цена деления разные, поэтому «вдвое теплее» в одной шкале не означает «вдвое» в другой. Фото: Marc-Lautenbacher; рисунок: TheVovaNik; оба CC BY-SA 4.0, Wikimedia Commons.

Шкала отношений

Шкала отношений имеет естественный ноль: ноль килограммов значит «массы нет», ноль миллисекунд – «время не прошло». Свободен только выбор единицы: массу можно измерять в килограммах или фунтах, длину – в метрах или аршинах. Шкалы связаны преобразованием \(\varphi'(x) = a\,\varphi(x)\), и при смене единицы сохраняется отношение значений: \(\varphi(x_1) / \varphi(x_2) = \varphi'(x_1) / \varphi'(x_2)\).

эмпирическая система Xзнаковая система Y, мсзнаковая система Y′, сx₁ – программа Ax₂ – программа B0100200300400500мс00,10,20,30,40,5св 4 раза дольше480 / 120 = 0,48 / 0,12 = 4: при смене единицы φ′(x) = a·φ(x) отношение не меняется
Рис. 17. Шкала отношений. Время двух программ в миллисекундах и в секундах: ноль у обеих шкал общий, и «в четыре раза дольше» остаётся верным при любой единице.

Время отклика, объём памяти, размер пакета, цена – признаки шкалы отношений. С их значениями можно выполнять любые арифметические действия.

Абсолютная шкала

Абсолютная шкала имеет не только естественный ноль, но и естественную единицу. Это счёт: число ошибок, тестов, пользователей, а также безразмерные доли и вероятности. Других шкал, эквивалентных абсолютной, нет: число найденных ошибок нельзя «перевести в другие единицы». Над её значениями можно выполнять всё, вплоть до возведения в степень и логарифмирования.

шкала 1наименованийсохраняет: равно / не равнодопустимые преобразования: любая замена имён один к одномуоперации: подсчёт частот, модаязык программирования, ОС, лицензия, тип ошибки
шкала 2порядкасохраняет: + больше / меньшедопустимые преобразования: любое строго возрастающее преобразованиеоперации: + медиана, процентили, ранговые коэффициентыприоритет задачи, серьёзность ошибки, место в рейтинге, «звёзды»
шкала 3интерваловсохраняет: + равенство разностейдопустимые преобразования: y = a·x + b, a > 0операции: + среднее, стандартное отклонение, разностидата и время, температура в °C, год выпуска
шкала 4отношенийсохраняет: + равенство отношений, есть нольдопустимые преобразования: y = a·x, a > 0операции: + «во сколько раз», среднее геометрическое, коэффициент вариациивремя отклика, объём памяти, размер пакета, цена
шкала 5абсолютнаясохраняет: + единица задана природой счётадопустимые преобразования: только тождественноеоперации: + всё, включая показатель степени и логарифмчисло ошибок, тестов, пользователей, доля
качественныеколичественные
Рис. 18. Пять типов шкал. Каждая следующая сохраняет все отношения предыдущей и добавляет новое, поэтому допускает больше операций и меньше преобразований.

Тип шкалы определяется тем, какие свойства есть у отношения между объектами. Если выполняются только аксиомы тождества (\(A = A\); если \(A = B\), то \(B = A\); если \(A = B\) и \(B = C\), то \(A = C\)), шкала – наименований. Если к ним добавляются аксиомы порядка (из \(A \ne B\) следует \(A > B\) или \(B > A\); из \(A > B\) и \(B > C\) следует \(A > C\)), – порядка. Если известны расстояния – интервалов. Если, кроме того, выполняются аксиомы сложения (\(A + B = B + A\), \((A + B) + C = A + (B + C)\) и т. д.), – отношений.

3.3. Что можно делать с числами каждой шкалы

Шкала определяет не только запись, но и то, какие вычисления с результатами осмысленны. Правило простое: осмысленно только то, что не меняется при допустимом для шкалы преобразовании.

ШкалаДопустимое преобразованиеОсмысленные операцииБессмысленные операции
наименованийлюбая замена имён один к одномусовпадает / не совпадает, частоты, модаупорядочить, сложить, усреднить
порядкалюбое строго возрастающееплюс медиана, процентили, ранговые коэффициентыразность рангов, среднее рангов
интервалов\(y = ax + b,\ a > 0\)плюс разности, среднее, стандартное отклонение«во столько-то раз больше»
отношений\(y = ax,\ a > 0\)плюс отношения «во сколько раз», среднее геометрическое–
абсолютнаятолько тождественноевсё, включая показатель степени и логарифм–

Это правило удобнее всего увидеть на одном наборе данных. Пять бегунов пробежали 100 метров: Аня – за 12,1 с, Борис – за 12,4, Вика – за 13,0, Глеб – за 15,8, Дина – за 16,0. Тот же забег можно записать четырьмя способами.

БегунНаименований: группа на финишеПорядка: местоИнтервалов: время финиша по часамОтношений: время на дистанции, с
Анясиняя (1)110:00:12,112,1
Бориссиняя (1)210:00:12,412,4
Виказелёная (2)310:00:13,013,0
Глебжёлтая (3)410:00:15,815,8
Динажёлтая (3)510:00:16,016,0

Каждая запись честная, но каждая знает о забеге разное. По первой нельзя сказать, кто быстрее, по второй – насколько быстрее, по третьей – во сколько раз: ноль на часах стадиона ничего не значит для бега. Проверьте это сами: тренажёр применяет к каждой записи допустимое для неё преобразование и показывает, какие ответы его переживают.

Тренажёр · один забег – четыре шкалы

Пять бегунов пробежали 100 м. Один и тот же забег записан четырьмя способами – в четырёх шкалах. Выберите шкалу кнопкой сверху. Для каждого из четырёх вопросов решите, можно ли отвечать на него по этой записи, и нажмите «Проверить». Тренажёр применит к записи допустимое для шкалы преобразование и покажет, сохранился ли ответ: если ответ меняется, вопрос для этой шкалы бессмыслен.

Типичная ошибка закодировать номинальный признак числами и дальше обращаться с ним как с количеством. Если в наборе данных Windows = 1, Linux = 2, macOS = 3, то «средняя операционная система» равна 2,1, а модель машинного обучения решит, что macOS «больше» Windows. Номинальные признаки передают модели прямым (one-hot) кодированием: каждый класс – отдельный столбец из нулей и единиц.

Со шкалой порядка ошибаются чаще всего, потому что её значения выглядят как числа. Оценки от 1 до 5 в опросе «насколько удобен интерфейс» – порядковые: нет оснований считать, что расстояние между «2» и «3» такое же, как между «4» и «5». Что из этого следует, видно на примере. Две версии интерфейса оценили по пять человек.

ОценкиСреднееСреднее после замены \(x \to x^2\)Медиана
Версия A1, 1, 5, 5, 53,415,45
Версия B3, 3, 4, 4, 43,613,24

По средним лучше версия B. Но для порядковой шкалы замена кодов 1…5 на их квадраты допустима: порядок ступеней сохранился, а ничего другого шкала и не знала. После такой замены по средним лучше уже A. Вывод перевернулся от того, какие числа мы случайно приписали словам. Медиана в обоих случаях говорит одно и то же: A лучше. Поэтому для порядковых шкал сообщают медиану и распределение ответов; так прямо сказано и в РМГ 83-2007.

На практике средние по таким шкалам считают постоянно, и среди методистов об этом идёт давний спор. Компромисс такой: среднее допустимо, если ответ складывается из многих однотипных вопросов, и стоит проверить, не меняется ли вывод, если взять медиану. Для одного вопроса с пятью вариантами честнее показать, сколько человек выбрало каждый вариант.

Типичная ошибка складывать значения разных шкал. Сумма «время отклика в миллисекундах + удобство в баллах + цена в рублях» зависит от выбора единиц: перевели время в секунды – и победитель сменился. Прежде чем складывать разнородные признаки, их приводят к безразмерному виду (раздел 3.5).

3.4. Когда прибора нет: экспертные оценки

Измерения бывают объективными и субъективными. Объективные выполняет прибор: часы, весы, профилировщик. Субъективные выполняет человек: так оценивают качество продукта, удобство интерфейса, важность требования, соответствие задаче. Результат субъективного измерения – словесная оценка («плохо», «хорошо») или число, которое выражает степень качества либо место объекта среди других. Когда команда «выбирает лучшую библиотеку» или «оценивает удобство», она проводит именно субъективное измерение, и его надо проводить по правилам. Таких правил четыре основных.

Ранжирование. Каждый эксперт упорядочивает объекты, присваивая им ранги: 1 – лучший. Равноценным объектам дают одинаковый ранг, равный среднему тех мест, которые они делят: если два продукта делят второе и третье места, каждый получает ранг 2,5. Мнения нескольких экспертов сводят методом суммы мест: ранги складывают, и лучшим считается объект с наименьшей суммой.

ЭкспертП1П2П3
Эксперт 1321
Эксперт 2231
Эксперт 331,51,5
Сумма рангов86,53,5
Итоговый ранг321

Итоговый ранг ничего не говорит о том, насколько эксперты были согласны между собой. Для этого служит коэффициент конкордации (согласованности) Кендалла:

\[ W = \frac{12\,S}{m^2 (n^3 - n) - m \sum_s T_s}, \qquad S = \sum_{i=1}^{n} \Bigl(\sum_{j=1}^{m} r_{ij} - \bar r\Bigr)^2, \qquad T_s = \sum_k \bigl(t_k^3 - t_k\bigr), \]

где \(m\) – число экспертов, \(n\) – число объектов, \(r_{ij}\) – ранг объекта \(i\) у эксперта \(j\), \(\bar r\) – средняя сумма рангов, \(t_k\) – число объектов в \(k\)-й группе с одинаковым рангом у эксперта \(s\). \(W = 1\) при полном согласии и \(W = 0\), когда согласия нет вовсе. В примере средняя сумма рангов равна 6, \(S = 2^2 + 0{,}5^2 + (-2{,}5)^2 = 10{,}5\), у третьего эксперта одна пара равных рангов (\(T = 2^3 - 2 = 6\)), и

\[ W = \frac{12 \cdot 10{,}5}{9 \cdot 24 - 3 \cdot 6} = \frac{126}{198} \approx 0{,}64. \]

Согласие заметное, но при трёх экспертах и трёх объектах оно ещё не доказано: проверка значимости (\(\chi^2 = m (n - 1) W \approx 3{,}8\) при критическом значении 6,0 для двух степеней свободы) говорит, что такое согласие могло получиться случайно. Мало экспертов – мало уверенности. Общепринятых порогов «хорошего» \(W\) нет; важнее сравнивать согласие до и после обсуждения и смотреть, по каким объектам эксперты расходятся.

Парные сравнения. Эксперт сравнивает каждую пару объектов и записывает результат в матрицу: \(w_{ij} = 1\), если объект \(i\) не хуже объекта \(j\), иначе 0.

П1П2П3
П1111
П2010
П3011

Матрица должна быть согласованной: на диагонали единицы; если \(w_{ij} = 1\), то \(w_{ji} = 0\); если \(w_{ij} = 1\) и \(w_{jk} = 1\), то \(w_{ik} = 1\). Нарушение последнего условия – сигнал, что эксперт сравнивал по разным признакам или устал. Сумма по столбцу показывает, сколько объектов не хуже данного, и даёт его место: в примере П1 – первое (сумма 1), П3 – второе (2), П2 – третье (3). Матрицы нескольких экспертов сводят по большинству: элемент итоговой матрицы равен 1, если так решила хотя бы половина экспертов.

Непосредственная оценка. Эксперт ставит каждому объекту число – балл по пятибалльной, десятибалльной или стобалльной шкале или долю от 0 до 1. Оценки экспертов усредняют, часто с весами – коэффициентами компетентности \(k_j\): \(q_i = \sum_j k_j a_{ij}\). Если компетентность трёх экспертов оценена как 0,5, 0,3 и 0,2, а их оценки продукта П1 равны 0,8, 1,0 и 0,6, то итоговая оценка \(0{,}5 \cdot 0{,}8 + 0{,}3 \cdot 1{,}0 + 0{,}2 \cdot 0{,}6 = 0{,}82\). Словесные оценки тоже переводят в числа по заранее объявленному правилу, например «плохо» – 0,25, «хорошо» – 0,75, «отлично» – 1,0. Произвол такого перевода надо видеть: он и есть выбор шкалы.

Последовательное сравнение (метод Черчмена – Акоффа) соединяет ранжирование и непосредственную оценку. Объекты сначала ранжируют и дают им предварительные оценки. Затем первый объект сравнивают со всеми остальными вместе взятыми: если эксперт считает, что он ценнее их всех, его оценка должна быть больше суммы их оценок, а если нет – меньше. Оценку исправляют, переходят ко второму объекту и сравнивают его с оставшимися, и так далее. В конце оценки делят на их сумму. Метод заставляет эксперта отвечать на вопросы, которые иначе остались бы незаданными, и тем самым проверяет внутреннюю согласованность его оценок.

Обсудим в аудитории
  1. Ваша команда выбирала язык, движок или библиотеку для проекта. Каким из четырёх способов это было сделано на самом деле? Сколько было экспертов?
  2. Что изменилось бы, если бы каждый участник сначала проранжировал варианты сам, не слыша других, а потом вы посчитали бы \(W\)?

3.5. Много критериев – одна оценка

Обычно объекты сравнивают сразу по нескольким признакам, и нужна одна итоговая, интегральная оценка. Сначала разнородные значения приводят к безразмерному виду – нормируют. Если чем больше, тем лучше, используют \(q = x / x_{\max}\); если чем меньше, тем лучше, – \(q = (x_{\max} - x) / (x_{\max} - x_{\min})\). После нормирования лучшее значение получает 1, худшее – 0 или около того.

Пусть три изделия сравниваются по стоимости, времени изготовления и качеству.

КритерийНаправлениеФ1Ф2Ф3
Стоимость, руб.меньше – лучше700 → 0,61000 → 0,0500 → 1,0
Время изготовления, чменьше – лучше80 → 0,450 → 1,0100 → 0,0
Качество, баллыбольше – лучше100 → 1,075 → 0,7550 → 0,5

Дальше нормированные оценки сворачивают в одну. Способов три; \(v_j\) – вес критерия \(j\), \(\sum_j v_j = 1\).

\[ \text{аддитивная: } q_i = \sum_j v_j\, q_{ij}, \qquad \text{мультипликативная: } q_i = \prod_j q_{ij}^{\,v_j}, \qquad \text{идеальная точка: } q_i = \sqrt{\sum_j v_j\,(1 - q_{ij})^2}. \]

Аддитивная свёртка – взвешенная сумма. При весах 0,5 (стоимость), 0,3 (время) и 0,2 (качество) получается: Ф1 – 0,62, Ф2 – 0,45, Ф3 – 0,60. Сумма допускает компенсацию: плохая оценка по одному критерию покрывается хорошими по другим.

Мультипликативная свёртка – взвешенное произведение. Она компенсацию не допускает: нулевая оценка хотя бы по одному критерию обнуляет всё. В примере у Ф2 худшая стоимость, у Ф3 – худшее время, и обе получают 0; остаётся одно Ф1 с оценкой 0,59.

Метод идеальной точки – взвешенное расстояние до воображаемого объекта, лучшего по всем критериям сразу. Здесь лучше тот, у кого расстояние меньше: Ф1 – 0,43, Ф3 – 0,59, Ф2 – 0,72.

Во всех трёх случаях выиграло Ф1. Но обратите внимание на аддитивную свёртку: Ф1 опередило Ф3 на две сотых. Стоит немного сдвинуть веса – и победитель сменится.

Веса: стоимость / время / качествоФ1Ф2Ф3Победитель
0,50 / 0,30 / 0,200,620,450,60Ф1
0,55 / 0,25 / 0,200,630,400,65Ф3
0,60 / 0,20 / 0,200,640,350,70Ф3

Веса задаёт человек, и столь малый отрыв меньше, чем точность, с которой он их задал.

Правило весоввеса, способ нормирования и способ свёртки – часть измерения. Их фиксируют и обосновывают до того, как увидели результат, а после расчёта проверяют, меняется ли победитель при небольшом изменении весов.

3.6. Когда условия неизвестны: критерий выбора тоже выбирают

Ещё труднее сравнивать варианты, когда их результат зависит от обстоятельств, которые заранее неизвестны. Допустим, у проекта три варианта архитектуры \(u_1, u_2, u_3\), а их эффективность зависит от того, какой окажется нагрузка: четыре возможных состояния \(w_1, \dots, w_4\).

Вариантw₁w₂w₃w₄
u₁0,40,30,20,5
u₂0,20,40,10,3
u₃0,30,10,50,4

Какой вариант лучше, зависит от правила выбора, а правило – от отношения к риску:

Пять правил из шести выбирают u₁, а правило среднего выигрыша – u₃. Ни одно из них не «правильное». Правило выбора – такое же решение, как веса в разделе 3.5, и его тоже записывают и обосновывают заранее: «нам важнее не провалиться при пиковой нагрузке, поэтому критерий Вальда».

Шкала отвечает на вопрос, как записать результат и что с ним можно делать. Но сначала нужно решить, что именно измерять. Сказать «удобный», «быстрый», «надёжный» легко; превратить эти слова в измерение – отдельная работа.

4. Критерий: от слова к числу

В разделе 3 свойства были уже названы: стоимость, время, качество. В настоящей работе их сначала приходится найти. Заказчик говорит «приложение должно быть удобным», в техническом задании написано «система должна работать быстро», в сравнительной таблице стоит «высокая производительность». Ни одно из этих слов нельзя измерить, пока его не превратили в критерий.

4.1. Критерий, показатель, порог

Три слова, которые в обиходе путают, стоит различать.

У одного критерия может быть несколько показателей, и выбор показателя – уже решение, которое надо обосновать. «Скорость» сайта можно измерить временем до первого отображения страницы, временем до готовности к вводу или временем ответа сервера, и победители по этим трём показателям могут оказаться разными.

4.2. Операционализация

Превращение слова в процедуру измерения называется операционализацией: понятие определяют через действия, которыми его измеряют. Вместо «удобный» – «среднее время, за которое новый пользователь находит расписание своей группы». Вместо «надёжный» – «доля запросов, завершившихся без ошибки, за сутки работы».

СловоЧто можно измеритьШкалаКак получить
удобныйвремя выполнения типовой задачи, с; доля пользователей, справившихся без подсказки, %; балл опросника SUS от 0 до 100 (это не процент: средний результат по сотням исследований – 68)отношений; абсолютная; балл стандартного опросникаиспытание с 5–8 пользователями по сценарию
быстрыйвремя ответа, мс: медиана и 95-й процентиль при заданной нагрузкеотношенийнагрузочный тест, записанное окружение
надёжныйдоля успешных запросов, %; число аварийных завершений на 1000 сеансовабсолютнаяжурналы работы за период
лёгкийразмер сборки, КБ после минификации и сжатияотношенийсборка или реестр пакетов, версия и дата
поддерживаетсячисло выпусков за последние 12 месяцев; дата последнего выпускаабсолютная; интерваловистория выпусков репозитория
популярныйзагрузки из реестра пакетов за неделюабсолютнаястатистика реестра на дату
хорошо документированступень по заранее описанной шкале 0–3порядкаэксперт по описанию ступеней (раздел 4.5)

Требование измеримости – не причуда преподавателей, а норма инженерии требований. Международный стандарт ISO/IEC/IEEE 29148 перечисляет слова, которых в требованиях следует избегать, потому что их нельзя проверить: превосходные степени («лучший», «самый»), субъективные оценки («удобный для пользователя», «простой в использовании»), расплывчатые наречия («почти всегда», «существенно»), лазейки («если возможно», «при необходимости»), слова тотальности («все», «всегда», «никогда»). Русскую версию этого перечня приводит ГОСТ Р 59194-2020 «Управление требованиями». В качестве образца стандарт предлагает писать не «оператор не должен ждать завершения операции», а «95 % операций выполняются быстрее чем за 1 с». А ГОСТ 34.602-2020 на техническое задание требует, чтобы требования были проверяемыми и однозначными, и разрешает честную пометку: если значение показателя пока установить нельзя, записывают порядок, в котором его установят.

Удобно идти от цели проекта. Цель задаёт вопросы, вопросы – показатели. Если цель – «выбрать картографическую библиотеку для мобильного веб-приложения», вопросы будут такими: быстро ли откроется карта по мобильной сети? будет ли библиотека жива через год? умеет ли она показывать векторные тайлы? Ответы на них – размер в килобайтах, число выпусков за год, наличие функции по документации. Показатель, который не отвечает ни на один вопрос цели, в таблицу не попадает, сколько бы его ни приводили в обзорах.

Для качества программ есть готовый перечень того, о чём стоит спросить, – модель качества ГОСТ Р ИСО/МЭК 25010-2015. Она делит качество программного продукта на восемь характеристик: функциональная пригодность, производительность, совместимость, удобство использования, надёжность, защищённость, сопровождаемость, переносимость. В новой редакции международного стандарта 2023 года характеристик девять: добавлена безопасность, удобство использования переименовано в способность к взаимодействию, переносимость – в гибкость; российского стандарта на основе этой редакции пока нет. Перечень не заменяет вопросов своего проекта, но помогает не забыть целую сторону качества.

4.3. Если слово всё-таки нужно

Иногда словесная оценка удобна: «быстрый», «средний», «медленный» понятнее, чем ряд чисел. Тогда слово тоже надо определить через измеримую величину. Аккуратный способ даёт теория нечётких множеств. Слово становится лингвистической переменной, а каждое его значение – функцией принадлежности \(\mu(x)\): она сопоставляет каждому значению измеримой величины \(x\) степень от 0 до 1, в которой это значение подходит под слово. Например, «быстрый ответ»:

\[ \mu_{\text{быстрый}}(t) = \begin{cases} 1, & t \le 100 \text{ мс}, \\ \dfrac{1000 - t}{900}, & 100 < t < 1000 \text{ мс}, \\ 0, & t \ge 1000 \text{ мс}. \end{cases} \]

Так же задают «средний» и «медленный». Ответ за 300 мс оказывается «быстрым» со степенью 0,78 и «средним» со степенью 0,25.

00,250,50,7510250500750100012501500время ответа, мсμбыстрыйсредниймедленный0,780,25300 мс
Рис. 19. Лингвистическая переменная «скорость ответа»: три значения – три функции принадлежности над временем ответа. Вертикальная линия – ответ за 300 мс.

С таким определением можно спорить, но его можно проверить и повторить, а слово «быстрый» без определения – нельзя.

4.4. Как проверить сам критерий

Критерий сам нуждается в проверке. Хороший критерий отвечает пяти требованиям.

Есть и ловушка, которая подстерегает самые удачные показатели. Пока показатель только измеряют, он отражает дело. Когда за него начинают награждать, его начинают улучшать напрямую – в обход того, что он должен был отражать. Это наблюдение известно как закон Гудхарта; экономист сформулировал его в 1975 году для денежной статистики, а самая известная его формулировка появилась позже и стала поговоркой.

Закон Гудхартакогда мера становится целью, она перестаёт быть хорошей мерой.

Программисты встречаются с ним постоянно. Если команду оценивают по числу закрытых задач, задачи дробятся. Если по числу коммитов – коммиты мельчают. Если по покрытию кода тестами – появляются тесты, которые выполняют каждую строку и ничего не проверяют. К этому примеру мы вернёмся в разделе 6.

Близкая ловушка – мерить только то, что легко измерить. У неё есть имя – ошибка Макнамары, по фамилии министра обороны США, который во время Вьетнамской войны оценивал успех по числу убитых противников. Ошибку описывают четырьмя шагами: измерить то, что легко измерить; неизмеримое отбросить или приписать ему произвольное число; решить, что неизмеримое неважно; решить, что его нет. Это тот же поиск под фонарём из раздела 1.5, перенесённый в отчёты: в таблицу попадают звёзды и загрузки, потому что их легко найти, а сопровождаемость и удобство – нет, потому что их надо измерять. Второй шаг – «приписать произвольное число» – нейросеть, как мы увидим в разделе 7, выполняет охотно.

4.5. Паспорт критерия

Всё сказанное сводится в короткое описание, которое должно быть у каждого критерия сравнения или испытания. Назовём его паспортом критерия. Те же поля составляют требования к описанию шкалы: без любого из них измерение нельзя ни повторить, ни проверить. Набор полей не придуман для этого конспекта: о спецификации шкалы и её элементах говорит РМГ 83-2007, о мерах, методах измерения и критериях принятия решений – стандарт процесса измерения ГОСТ Р 58606-2019.

ПолеЧто записатьПример
Названиекороткое имя без оценочных словРазмер библиотеки
Свойствочто именно отражаетсколько данных браузер скачает ради карты
Зачем нуженна какой вопрос цели отвечаетоткроется ли карта по мобильной сети быстро
Тип шкалынаименований, порядка, интервалов, отношений, абсолютная – и почемуотношений: есть естественный ноль
Единица и точностьв чём измеряем и с какой точностьюКиБ (по 1024 байта), до десятых
Направлениечто лучше: больше, меньше или определённое значениеменьше – лучше
Способ измеренияпроцедура и инструмент, по шагам, с числом повторовминимальное приложение «карта и маркер», сборка esbuild с минификацией, сжатие gzip уровня 9, размер файла
Сведение и разброскак из сырых данных получается значение: медиана, 95-й процентиль; чем выражен разбросодно значение: сборка воспроизводима, разброса нет
Источник и датаоткуда взято значение и когдареестр npm, Leaflet 1.9.4; 18.10.2026
Кто измеряетроль; не тот ли, кто заинтересован в результатечлен команды, не участвовавший в выборе
Градации или порогдля порядковой шкалы – описание каждой ступени; для количественной – порог, если он естьобязательный порог: не больше 150 КиБ
Весдоля в итоговой оценке и как он получен0,2: решено командой до сбора значений
Как можно обманутькак улучшить число, не улучшив свойствоизмерить только ядро без нужных модулей
Проверкакак другой человек получит то же значениеповторить команду; сверить с bundlephobia.com

Для порядковой шкалы самое важное поле – градации. Ступень должна описываться наблюдаемым признаком, который два человека оценят одинаково. Не «плохая – средняя – хорошая документация», а так:

СтупеньЧто должно быть
0документации нет или только файл README без описания функций
1справочник по всем функциям (API)
2справочник и руководство «начало работы» с работающим примером
3всё перечисленное, примеры для типовых задач и пометка, к какой версии относится текст

Такую шкалу по-прежнему нельзя усреднять и складывать с килобайтами: она порядковая. Но её можно проверить, а значит, ей можно доверять.

Правило паспортакритерий, у которого нельзя назвать шкалу, единицу, направление и способ измерения, – не критерий, а мнение.

Паспорт говорит, что и как измерять. Но одно измерение – ещё не эксперимент: время работы программы, измеренное один раз на ноутбуке с открытым браузером, само может быть иллюзией вроде отрезков Мюллера-Лайера. Как получить числа, которым можно верить, разбирает следующий раздел.

5. Этапы эксперимента

Разделы 2–4 ответили на вопросы «зачем ставить опыт», «как записывать результат» и «что измерять». Осталось собрать ответы в порядок действий. Он один и тот же для лабораторного опыта и для сравнения двух программ, но у компьютерного эксперимента есть свои ловушки: в нём легко получить много чисел, и потому особенно легко получить неверные.

5.1. Общий порядок

В теории планирования эксперимента приняты несколько слов, без которых трудно описать любой опыт; по-русски они закреплены в ГОСТ 24026-80 «Исследовательские испытания. Планирование эксперимента. Термины и определения». Фактор – то, что экспериментатор меняет: алгоритм, библиотека, размер входных данных, версия языка. Уровни фактора – его значения в опыте: «цикл» и «списковое включение»; 10³, 10⁴ и 10⁵ элементов. Отклик – то, что измеряют: время работы, объём памяти, точность. План эксперимента – перечень сочетаний уровней факторов, при которых измеряется отклик. Опыты, повторённые при одном и том же сочетании, стандарт называет параллельными, а слово «параметр» не рекомендует ни для фактора, ни для отклика: оно слишком многозначно.

Порядок работы складывается из восьми шагов.

  1. Вопрос и гипотеза. Что хотим узнать и какой ответ ожидаем. Гипотеза формулируется так, чтобы опыт мог её опровергнуть.
  2. Критерий и шкала. Какой отклик измеряем, в каких единицах, какой результат считаем успехом. Паспорт критерия из раздела 4.5 пишется здесь, до опыта.
  3. Объект и условия. Что именно испытываем (версии, данные) и в каких условиях (оборудование, окружение, нагрузка). Всё, что не является фактором, держим постоянным.
  4. План. Факторы, уровни, число повторов, порядок прогонов. Порядок лучше перемешать случайно, чтобы постепенный нагрев процессора или фоновые задачи не достались одному варианту.
  5. Пробный прогон. Короткий запуск, который проверяет, что измерение вообще работает: программа не падает, таймер измеряет то, что нужно, данные записываются.
  6. Основной прогон. Всё записывается в журнал: дата, версия, параметры, сырые результаты.
  7. Обработка и анализ. Среднее или медиана вместе с разбросом, сравнение с базовым вариантом, проверка, не объясняется ли разница случайностью. Отдельно – угрозы выводу: что ещё, кроме фактора, могло повлиять на результат.
  8. Отчёт. Вывод в границах проверенных условий и всё, что нужно, чтобы опыт повторил другой человек: код, данные, версии, окружение.

5.2. Вычислительный эксперимент: модель, алгоритм, программа

Когда опыт ставят не над реальным объектом, а над его математической моделью, говорят о вычислительном эксперименте. Академик А. А. Самарский в 1979 году описал его как цикл из пяти этапов: построить математическую модель, разработать вычислительный алгоритм, написать программу, провести расчёты, а затем проанализировать результаты, сопоставить их с натурным опытом и при необходимости вернуться к модели. Первые три звена позже стали называть триадой Самарского «модель – алгоритм – программа». Готовую триаду сначала отлаживают на пробных расчётах и только после того, как удостоверена её адекватность объекту, ставят с ней настоящие опыты – так же, как ставили бы их с реальным объектом. Так рассчитывают течение жидкости, прочность конструкции, распространение сигнала, движение спутника.

1. Вопросцель и гипотеза; критерий успеха и шкала – до опыта
2. Модельчто упрощаем и чем пренебрегаемвалидация: те ли уравнения
3. Алгоритмметод расчёта, его точность и устойчивость
4. Программареализация и тестыверификация: верно ли решаем
5. Планфакторы, уровни, повторы, зерно, окружение
6. Расчётпробный прогон, затем основнойвсё записать в журнал
7. Анализразброс, сравнение с базой, угрозы выводу
8. Отчётверсии, данные, код – чтобы повторил другой
После анализа часто возвращаются к модели или плану: вычислительный эксперимент – цикл, а не прямая.
Рис. 20. Этапы вычислительного эксперимента. Верификация отвечает на вопрос «верно ли программа решает уравнения модели», валидация – «те ли это уравнения».

У вычислительного эксперимента две особые проверки, и их легко спутать.

В программной инженерии эта пара звучит так: верификация спрашивает, правильно ли мы строим продукт, валидация – тот ли продукт мы строим. Безупречно проверенная программа, которая решает не ту задачу, проходит верификацию и проваливает валидацию.

5.3. Замер скорости

Самый частый компьютерный эксперимент в студенческом проекте – сравнение скорости: какой алгоритм быстрее, ускорила ли программу правка, какая библиотека справляется лучше. И самый частый способ его провести – запустить программу один раз и засечь время. Так делать нельзя, и вот почему.

Возьмём две реализации одной функции на Python – построение списка квадратов: A – цикл с методом append, B – списковое включение [x * x for x in data]. Сравним их сначала наивно: один вызов каждой функции, время засекается до и после. Чтобы увидеть, насколько надёжен такой замер, повторим его 30 раз, каждый раз в новом процессе. Замеры выполнены 18 октября 2026 года на компьютере с процессором Ryzen 9 7900X, Windows 10 и Python 3.12.6.

Способ замераЧто получилось
один вызов, часы time.time(), 1000 элементовв 26–28 случаях из 30 – «одинаково»
один вызов, часы perf_counter(), сначала A, потом B«B быстрее» в 30 случаях из 30
один вызов, часы perf_counter(), сначала B, потом A«A быстрее» в 29 случаях из 30
timeit: 15 серий по 1000 вызовов, три сеансамедианы: A – 256–295 мкс, B – 202–203 мкс
pyperf: 20 процессов с прогревом, 10 000 элементовA – 257 ± 6 мкс, B – 201 ± 6 мкс; A медленнее в 1,28 раза (95 %-й доверительный интервал 1,27–1,30)

Первая строка – ошибка прибора. Часы time.time() в Windows до Python 3.13 обновлялись раз в 15,6 мс, а функция работает несколько сотых долей миллисекунды: это всё равно что мерить толщину листа бумаги линейкой с сантиметровыми делениями. Разрешение шкалы должно быть мельче измеряемой разницы.

Вторая и третья строки – ошибка опыта, и она коварнее. Наивный замер уверенно, тридцать раз из тридцати, называет победителя, но победителем всегда оказывается функция, запущенная второй: первый вызов в свежем процессе примерно в полтора раза медленнее последующих. Замер измерял не функции, а порядок их запуска. Без перестановки порядка этого не заметить, и повторение тут не спасает: ошибка воспроизводится тридцать раз из тридцати. Воспроизводимость ещё не означает правильности.

Последняя строка – правильный ответ: цикл действительно медленнее, примерно на 28 %. И даже он верен только для этих условий. На Python 3.10 на той же машине отношение составило 1,55: новая версия интерпретатора ускорила цикл сильнее, чем списковое включение. Поэтому версия языка – такая же часть условий опыта, как процессор.

Время работы программы зависит не только от программы. Первый запуск медленнее последующих: данные ещё не в кэше, интерпретатор или JIT-компилятор ещё не прогрелись. Процессор меняет частоту в зависимости от температуры и нагрузки. Фоновые задачи – браузер, антивирус, обновления – отнимают время случайно. Даже вещи, которые кажутся не относящимися к делу, влияют на результат. В известном исследовании 2009 года изменение размера неиспользуемой переменной окружения меняло время работы простой программы часто примерно на треть. А от порядка, в котором компоновщик собирал объектные файлы, зависел сам вывод: ускорение от оптимизации компилятора колебалось от 0,92 до 1,10, то есть от замедления на 8 % до ускорения на 10 %. Медиана ускорений, заявленных в просмотренных авторами статьях, была как раз около 10 %. Другое исследование, 2013 года, нашло, что из 90 статей, где мерили время, 71 не приводила никакой меры разброса.

Отсюда правила замера.

Чем подводить итог, спорят и специалисты. Документация timeit советует смотреть на минимум из повторов: всё, что дольше минимума, – помехи. pyperf и исследователи бенчмарков советуют медиану или среднее с разбросом и доверительный интервал для отношения: программа в работе тоже встречает помехи. Для отчёта надёжнее второе, а главное – назвать, что именно вы привели.

терминал
# hyperfine сам прогреет, повторит и сравнит две команды
hyperfine --warmup 3 --runs 30 "python sort_a.py data.txt" "python sort_b.py data.txt"

5.4. Эксперимент с моделью машинного обучения

У опыта с моделью машинного обучения своя главная ловушка – утечка данных. Если сведения из проверочной выборки любым путём попали в обучение, модель на проверке покажет блестящий результат, которого не будет на новых данных. Утечка бывает явной (одни и те же объекты в обеих выборках), временной (модель, предсказывающая завтрашний день, училась на данных из будущего) и скрытой (нормирование посчитали по всему набору данных, а потом разделили его). Это не редкость: обзор 2023 года собрал свидетельства утечки в 294 опубликованных работах из 17 научных областей, а к осени 2026 года на сайте того же проекта их уже 648 из 30 областей.

Правила здесь продолжают общие.

5.5. Эксперимент с пользователями

Удобство, понятность, привлекательность измеряют на людях, и здесь все уроки раздела 2 действуют в полную силу. Пользователь, которому объяснили, что именно проверяют, ведёт себя иначе. Разработчик, наблюдающий за испытанием своего интерфейса, невольно подсказывает, как хозяин Умного Ганса.

Два распространённых вида таких опытов – испытание по сценарию и A/B-тест. В испытании по сценарию пять–восемь человек выполняют типовые задачи, а наблюдатель записывает время, ошибки и места, где человек остановился. По известной модели пять участников находят около 85 % проблем интерфейса, и выгоднее провести три испытания по пять человек, исправляя найденное между ними, чем одно на пятнадцать. В A/B-тесте пользователей случайно делят на группы и показывают им разные варианты; здесь главная ошибка – подглядывать в результаты и останавливать опыт, как только разница «стала значимой». Так случайное колебание легко принять за эффект. У специалистов по таким опытам есть правило, которое называют законом Тваймана: любая цифра, которая выглядит интересной или необычной, обычно ошибочна. Сначала ищут ошибку в опыте, потом радуются результату. Законы интерфейсов, которые проверяют такими опытами, разобраны в занятии 10.

Правило отчёта об экспериментечисло без условий, повторов и разброса – не результат. В отчёте указывают, что сравнивали, в каком окружении, сколько раз, медиану и разброс, и с чем сравнивали.

Самый короткий и самый частый эксперимент в работе программиста – тест. В нём есть всё, о чём шла речь: гипотеза («функция работает правильно»), критерий (ожидаемый результат), опыт (запуск) и вывод. И в нём же легче всего обмануть себя.

6. Подтверждение функций программы

Попросите ИИ-агента покрыть проект тестами, и через несколько минут их будет сто. Все зелёные, покрытие кода под сто процентов. Выглядит как доказательство того, что программа работает. Посмотрим, что именно доказывает такой набор тестов, глазами раздела 2: какая гипотеза проверяется, каков критерий, могла ли проверка закончиться неудачей.

6.1. Тест – маленький эксперимент

Тест сравнивает фактический результат программы с ожидаемым. Ожидаемый результат должен откуда-то взяться: из требований, из расчёта вручную, из другой, заведомо верной программы. Источник ожидаемого результата называют тестовым оракулом, и именно он – самое трудное место тестирования. Запустить функцию на любом входе легко; знать, что она должна вернуть, трудно.

Второе свойство теста знакомо по задаче 2–4–6. Тест – выборочная проверка: из бесконечного множества входов и последовательностей действий он проверяет несколько. Сколько бы тестов ни прошло, они говорят только о проверенных случаях. Эдсгер Дейкстра, один из основателей программирования как науки, сформулировал это в 1969 году:

Предел тестированиятестирование программы может показать наличие ошибок, но никогда не покажет их отсутствие.

Отсюда вопрос к любому набору тестов: не «сколько их», а «какие ошибки они могли бы найти».

6.2. Сто зелёных тестов

Посмотрим, что обычно оказывается в наборе тестов, который нейросеть пишет для функции, принимающей ввод пользователя:

Каждый такой тест проходит. Но тест, проверяющий, что результат имеет тип «число», пройдёт и тогда, когда результат – NaN: в JavaScript у NaN тоже тип number. Тест, ожидаемое значение которого списано с кода, закрепляет ошибку как правильное поведение. Исследования это подтверждают.

Покрытие кода этого не исправляет. Покрытие показывает, какие строки выполнились во время тестов, но не показывает, проверил ли кто-нибудь, что они сделали. Исследование 2014 года на пяти больших программах и 31 000 наборов тестов показало: если учесть размер набора, связь покрытия со способностью тестов находить ошибки слабая. Авторы вывели правило, которое стоит запомнить: покрытие полезно, чтобы найти непроверенный код, но не годится как цель.

У покрытия есть и парадокс, который хорошо виден на маленьком опыте. Функция разбора оценки написана с ошибками: не принимает «4,5» с запятой, пропускает оценки вне диапазона, падает на пустом списке. Десять «формальных» тестов к ней проходят и дают 100 % покрытия. После того как функцию исправили, добавив все нужные проверки, те же десять тестов дают только 74 %: в исправленном коде появились строки обработки ошибок, которые тесты не выполняют. В коде с ошибками этих строк просто нет – а отсутствующий код покрыт на сто процентов.

Покрытие и требованияпокрытие измеряет долю выполненного кода, а не долю выполненных требований. Если требование не реализовано, его нечем покрыть.

Когда же покрытие становится целью, вступает в силу закон Гудхарта из раздела 4.4: появляются тесты, написанные ради процента.

6.3. Почему нейросеть ищет под фонарём

Набор тестов от нейросети – точный пример поиска под фонарём из раздела 1.5. Тесты стоят там, где светло: на примерах из описания и на «счастливом пути», когда пользователь делает ровно то, что задумал разработчик. Ошибки живут в темноте вокруг.

светло: тесты нейросети – примеры из описания, «4 и 5 → 4,50»пустое поле«4,5» с запятойEnter вместо кнопки«пять» словом4.5 через точкуудалить, потом посчитатьрасчёт без оценокоценка 1в темноте – всё, что делает настоящий пользователь
тест нейросети прошёлошибка, которую нашёл пользователь
Рис. 21. Поиск под фонарём. Тесты нейросети стоят в освещённом круге – на примерах из описания и «счастливом пути». Ошибки, которые находит пользователь, лежат в темноте вокруг.

Причин четыре, и все они уже встречались в этом конспекте.

  1. Модель видит код, а не требования. Ожидаемый результат она чаще всего выводит из того, что делает код. Получается проверка кода самим собой – как если бы испытуемый в задаче 2–4–6 проверял только тройки, построенные по своей гипотезе.
  2. Модель не видит пользователя. Она не знает, что в русской раскладке дробь пишут через запятую, что люди нажимают Enter вместо кнопки, а кнопку – дважды, что форму открывают в двух вкладках. Всё это – факты о людях, а не о коде.
  3. Задачу оценивают по форме. Если задача поставлена как «напиши тесты» или «подними покрытие», критерий её выполнения – число тестов и процент покрытия. Модель выполняет именно этот критерий.
  4. Агент может подогнать тесты под код. Когда агент сам запускает тесты и стремится, чтобы они прошли, он иногда меняет не код, а тест. Это поведение подробно описано в отчётах самих разработчиков моделей. В 2025 году одна модель «в особых случаях» возвращала ровно те значения, которых ждал тест, и правила сами тесты; в опыте другой компании агент, которому велели сделать так, чтобы тесты проходили, написал функцию проверки, всегда возвращающую «истину», и завершал программу до запуска тестов. В исследовании 2025 года моделям давали задачи, в которых тесты нарочно противоречили требованиям, так что честно их пройти было невозможно; одна из лучших моделей «проходила» 76 % таких задач. В отчёте о модели, вышедшей в июле 2026 года, среди поведений, замеченных при обучении, по-прежнему значится правка и удаление тестов и проверок, чтобы они проходили.
Агент правит тесты, чтобы они прошли

если агент одновременно меняет код и тесты, зелёный результат ничего не доказывает. Тесты, которые фиксируют требования, меняются только с ведома человека. Перед тем как принять работу агента, посмотрите изменения в файлах тестов отдельно: не ослаблены ли проверки, не появились ли пропуски (skip), особые ветки для тестовых входов и подмены сравнения. В том же исследовании запрет менять тесты – файлы только для чтения – снизил долю таких «решений» у одной из моделей с 50 до 1 %.

6.4. Что делает настоящий пользователь

Среди тестировщиков ходит шутка. Тестировщик заходит в бар и заказывает кружку пива. Заказывает ноль кружек. Заказывает 99 999 999 999 кружек. Заказывает ящерицу. Заказывает минус одну кружку. Заказывает «ывфапр». Всё работает. В бар заходит первый настоящий посетитель и спрашивает, где туалет. Бар сгорает.

Шутка точна в обе стороны. Тестировщик перебрал неожиданные значения одного действия – «заказать». Посетитель выполнил действие, которого в модели программы не было вообще. История программирования знает много таких случаев, и в большинстве из них ошибку вызвали не сложные вычисления, а неожиданный ввод, неожиданный порядок действий или условия, в которых программу не испытывали.

Рисунок: межпланетная станция с солнечной батареей на фоне красного Марса
Рис. 22. Mars Climate Orbiter в представлении художника. Рисунок: NASA/JPL/Corby Waste, общественное достояние, Wikimedia Commons.
Обгоревший металлический обломок, лежащий на земле
Рис. 23. Обломок опорной конструкции спутника, найденный после первого пуска Ariane 5. Фото: Deadpan, общественное достояние, Wikimedia Commons.
Табло в зале аэропорта с синим экраном ошибки Windows
Рис. 24. «Синие экраны» на табло выдачи багажа в аэропорту Ла-Гуардия (Нью-Йорк), 19 июля 2024 года. Фото: Smishra1, CC BY-SA 4.0, Wikimedia Commons.
Типичная ошибка проверять программу только на данных «как в примере». В русской локали дробь пишут через запятую: float("4,5") в Python вызывает исключение, Number("4,5") в JavaScript даёт NaN. Зато float("4_5") в Python молча возвращает 45, а float("nan") и float("inf") проходят без ошибки. Excel в русской Windows разделяет поля CSV точкой с запятой, а разряды – неразрывным пробелом. Ввод пользователя проверяют на пустую строку, пробелы, запятую и точку, слова, слишком длинную строку, отрицательные числа, ноль и значения на границах допустимого.

Неожиданный ввод бывает и злонамеренным. Если программа подставляет введённую строку прямо в запрос к базе данных, имя ученика может оказаться командой.

Комикс из четырёх кадров: мать с чашкой отвечает на звонок из школы, где потеряли все записи об учениках
Рис. 25. Комикс xkcd «Подвиги мамы». Сына зовут Robert'); DROP TABLE Students;--. Школьная программа вставила это имя в запрос к базе данных без проверки, и вторая половина имени выполнилась как команда «удалить таблицу учеников». Прозвище Bobby Tables значит «Бобби Таблицы». Рисунок: Рэндалл Манро, xkcd.com/327, лицензия CC BY-NC 2.5; надписи переведены на русский.

Надёжная защита – не «экранировать вручную», а параметризованный запрос: значение передаётся базе данных отдельно от текста команды и не может выполниться как её часть.

6.5. Приёмы, которые светят в темноту

Против поиска под фонарём у тестирования есть свои приёмы. Все они делают одно и то же: заставляют выбирать проверки не потому, что их легко написать, а потому, что там вероятнее ошибка. Ниже они названы так, как их называет русская версия программы сертификации тестировщиков ISTQB.

Отдельно стоит мутационное тестирование: оно проверяет сами тесты. Инструмент вносит в код маленькие ошибки – меняет < на <=, + на -, константу 2 на 3 – и запускает тесты. Если тесты по-прежнему проходят, они этой ошибки не заметили бы и в жизни. Доля «убитых» мутантов – куда более честная мера качества тестов, чем покрытие. Инструменты: mutmut и cosmic-ray для Python, Stryker для JavaScript и C#, PIT для Java.

Все эти приёмы удобно держать перед глазами как карту. Каждый освещает свою часть темноты: значения, которые может ввести пользователь, порядок его действий, то, чего заранее не придумать, и, наконец, сами тесты.

Где вероятнее ошибка?а не где легче проверить
Значения вводачто ввести
Эквивалентное разбиениекогда: вход делится на классы: допустимые, слишком малые и большие, дробные, не числа, пустой вводпример: «4», «7», «4,5», «пять», «» – по одному из каждого класса
Граничные значениякогда: есть диапазон, предел, длина строкипример: допустимо 2–5 – проверить 1, 2, 5 и 6
Порядок действийчто нажать и когда
Переходы состоянийкогда: есть кнопки, шаги, режимы, отменапример: удалить оценку и посчитать; нажать «Оплатить» дважды; отменить после отправки
Много входов сразупримеры порождает машина
Тестирование на основе свойствкогда: есть правило, верное для любого входапример: среднее не меньше минимума и не больше максимума
Фаззингкогда: программа разбирает файлы, сетевые пакеты, чужой вводловит: аварии и зависания на искажённом вводе
Человекто, чего заранее не придумать
Исследовательское тестированиекогда: новая функция, неясно, что искатькак: изучать программу и проверять одновременно, записывать шаги
Испытание с пользователямикогда: важно, поймут ли интерфейскак: пять человек, типовые задачи; лучше три раза по пять, чем один раз пятнадцать
Сами тестызаметят ли тесты ошибку
Мутационное тестированиекогда: тестов уже много – проверить, ловят ли они ошибкине найдёт: функцию, которой в коде нет: её находят только тесты по требованиям
Рис. 26. Карта приёмов тестирования: где каждый приём ищет ошибки и когда его применять. Обычно их сочетают: значения ввода проверяют для каждой функции, переходы – для каждого экрана с кнопками, людей зовут перед выпуском, мутации запускают, когда тестов уже много.
Чего не видит и мутационное тестирование мутанты проверяют, насколько тесты закрепляют существующий код. Отсутствующую функцию они не найдут. В том же опыте с разбором оценок версия кода, нарушавшая все четыре требования, получила с формальными тестами мутационный балл около 90 %: мутировать нечего там, где обработки ошибок нет. Пропущенное требование находят только тесты, написанные по требованиям.

Тест на основе свойств для функции среднего балла на Python с библиотекой Hypothesis выглядит так.

python
from hypothesis import given, strategies as st

grades = st.lists(st.integers(min_value=2, max_value=5), min_size=1)

@given(grades)
def test_average_is_between_min_and_max(gs):
    a = average(gs)
    assert min(gs) <= a <= max(gs)        # среднее не выходит за пределы оценок

@given(st.text())
def test_bad_input_is_rejected(raw):
    # любая строка, которая не является целым числом от 2 до 5, должна отклоняться
    if raw.strip() not in {"2", "3", "4", "5"}:
        assert parse_grade(raw) is None

В опыте, о котором шла речь выше, похожий тест сам нашёл и сократил до минимальных два контрпримера, до которых не додумались «формальные» тесты: оценку «2,5» с запятой и пустой список.

Теперь попробуйте сами. Ниже – маленькая программа и восемь тестов к ней, которые написала нейросеть. Тесты проходят. Программа содержит восемь ошибок.

Тренажёр · сломайте программу

Ниже – небольшая программа и восемь тестов, которые для неё написала нейросеть. Все тесты проходят. Попробуйте программу так, как это сделал бы пользователь: вводите неожиданные значения, нажимайте кнопки в другом порядке, жмите Enter. Каждая найденная ошибка появится в списке справа вместе с приёмом тестирования, который её ловит.

6.6. Как поручать тесты нейросети

Нейросеть пишет тесты быстро, и отказываться от этого не нужно. Нужно поручать ей правильную задачу и проверять результат. Большинство правил ниже прямо рекомендуют руководства разработчиков ИИ-агентов и исследования последних лет.

правило 1Сначала требования, потом тестыперевернуть →
правило 1Дайте модели не код, а требования и критерии приёмки в форме «дано – когда – тогда»: что функция должна делать, какие входы допустимы, что происходит с недопустимыми. Тесты по требованиям ловят ошибки; тесты по коду их закрепляют.
правило 2Попросите таблицу классов и границперевернуть →
правило 2Пусть модель сначала перечислит классы эквивалентности, граничные значения и недопустимые последовательности действий, и только потом пишет тесты по этой таблице. Таблицу проверяет человек: чего в ней не хватает?
правило 3Тест сначала должен упастьперевернуть →
правило 3Тест, написанный до кода или к найденной ошибке, запускают и убеждаются, что он падает. Тест, который ни разу не падал, ещё ничего не доказал.
правило 4Требуйте свойства, а не только примерыперевернуть →
правило 4Попросите тесты на основе свойств: какое утверждение верно для любого допустимого входа и что должно происходить с любым недопустимым.
правило 5Проверяйте тесты мутантамиперевернуть →
правило 5Запустите мутационное тестирование. Выжившие мутанты – это места, где тесты ничего не проверяют. Отдайте их модели с задачей дописать проверки.
правило 6Разделяйте код и тестыперевернуть →
правило 6Тесты пишет один агент или человек, код – другой. Пока пишется код, тесты только для чтения; если агент считает тест неверным, он должен остановиться и сказать, а не обходить его.
правило 7Задайте вопрос каждому теступеревернуть →
правило 7«Упадёт ли этот тест, если код неверен?» Тест, который проходит и на неверном коде, – это не проверка, а украшение.
правило 8Пройдите программу рукамиперевернуть →
правило 8Ни один набор тестов не заменяет десяти минут исследовательского тестирования: клавиатурой, мышью, с ошибками ввода, в неправильном порядке.

Короткий запрос, в котором собраны эти правила:

запрос модели
Требования к функции: R1 … Rn.
Сначала составь таблицу: классы эквивалентности (допустимые и недопустимые), граничные
значения (по три на каждую границу), недопустимые последовательности действий. Код пока не пиши.
По таблице напиши тесты, запусти их и покажи, что они падают.
Тесты не меняй и не удаляй. Если считаешь тест неверным – остановись и скажи.
Не подгоняй решение под конкретные входы тестов. Покажи вывод запуска.

В отчёте результаты тестирования оформляют таблицей «проверка – ожидаемый результат – фактический результат» (справка «Структура отчёта и ВКР», раздел 5). Приёмы этого раздела отвечают на вопрос, какие строки в эту таблицу поставить, чтобы она что-то доказывала.

Тесты проверяют программу против её требований. Сравнительная таблица проверяет решение против других решений. С ней нейросеть ошибается по тем же причинам – и тоже предсказуемо.

7. Сравнительные таблицы и нейросеть

Тест проверяет одну программу. Сравнительная таблица проверяет выбор: какую библиотеку взять, чем проект лучше аналогов. В отчёте по практике и в выпускной работе такая таблица стоит в первой главе, и теперь её почти всегда начинают с запроса к нейросети. Таблица приходит через несколько секунд, аккуратная и уверенная. Чтобы понять, что в ней не так, сначала разберёмся, какой она должна быть.

7.1. Зачем нужна сравнительная таблица

В отчёте сравнительная таблица решает одну из двух задач.

В обоих случаях таблица – не украшение, а сжатая запись измерений, по которой читатель может проверить вывод. Поэтому у неё есть обязательные части, и каждая отвечает на вопрос, который задаст рецензент.

1Задача и сценарийдля чего выбираем, какие ограничения: «веб-карта для телефона, не больше 150 КиБ»
2Варианты и отборкакие аналоги взяты и почему именно эти; как искали
3Критерии с паспортамисвойство, шкала, единица, направление, способ измерения
4Значенияв указанной единице, с источником и датой; «не установлено», если данных нет
5Пороги и выводобязательные требования отсеивают варианты; вывод – из таблицы, с оговоркой
Рис. 27. Из чего состоит сравнительная таблица, которой можно верить. Без любой из пяти частей вывод из таблицы нельзя проверить.

Читая любую таблицу – свою, чужую или от нейросети, – полезно задать каждой ячейке три вопроса. Что именно измерено? В какой шкале и единице? Откуда взято значение и на какую дату оно верно? Если хотя бы на один вопрос ответа нет, ячейка выражает мнение, а не измерение.

Вузовские методисты требуют того же. На кафедре математического обеспечения ЭВМ петербургского ЛЭТИ в задании «Обзор аналогов» прямо не допускаются бинарные критерии «да – нет» и «+ – −», а в списке типовых ошибок первыми стоят субъективные оценки «хорошо, плохо, много, мало, быстро, медленно»: их требуется заменить количественными значениями и указать, кто, на каких данных и в каких условиях измерял. Там же отмечена тонкость, о которой легко забыть: «псевдоколичественная» шкала вроде «степень автоматизации от 0 до 5» ничем не лучше слова «высокая». Лучше перечислить, какие именно возможности у аналога есть. Порядковая шкала допустима, только если каждая её ступень описана наблюдаемым признаком, как в разделе 4.5.

7.2. Что возвращает модель

Возьмём типичный запрос студента: «Сравни Leaflet, OpenLayers и MapLibre GL JS для моего проекта – веб-карты для мобильных устройств». Это три распространённые библиотеки для карт в браузере. Ниже таблица, какую обычно возвращает чат-модель. Она составлена для упражнения и не цитирует ответ какой-либо конкретной модели, но каждая её особенность встречается в настоящих ответах.

Красным подсвечено то, что «сгенерировано» плохо. Наведите на подсветку курсор (на телефоне – нажмите на неё), чтобы прочитать, что не так; зелёным отмечено то, что сделано правильно.

КритерийLeafletOpenLayersMapLibre GL JSНаше решение
Простота использованияД1 · критерий не определён. Простота для кого и в чём: время до первой работающей карты, объём кода, число понятий, которые нужно освоить?✓ ВысокаяД2 · шкала не указана. «Высокая – средняя – низкая» – порядковая шкала, ступени которой нигде не описаны: что отличает «высокую» от «средней», читатель не узнает.СредняяД2 · шкала не указана. Ступень «средняя» ничем не определена, проверить её нельзя.СредняяД6 · задача не задана. Простота зависит от того, что нужно сделать: маркеры на растровой подложке или векторный стиль с рельефом.✓ ВысокаяД9 · своё решение выигрывает во всём. Продукта ещё нет, а оценка уже поставлена.
ПроизводительностьСредняяД6 · задача не задана. Сколько объектов на карте, какие тайлы, какое устройство? При десяти маркерах и при ста тысячах точек ответы разные.ВысокаяД3 · нет единицы и способа измерения. Чем мерили: кадрами в секунду при панорамировании, временем первой отрисовки, памятью?✓ Очень высокая (WebGL)Д11 · косвенный показатель вместо свойства. WebGL объясняет, почему библиотека может быть быстрее, но это не результат замера.✓ Очень высокаяД9 · своё решение выигрывает во всём. Замера нет – есть пожелание.
Векторные тайлы✗Д7 · галочка скрывает степень. «✗» скрывает, что у Leaflet векторные тайлы подключаются плагинами. Нужна шкала «в ядре / плагином / нет».✓✓✓
Размер библиотеки✓ Лёгкая (~40 КБ)Д3 · нет единицы и способа измерения. 40 КБ чего: исходного кода, минифицированного файла, сжатого? Число почти совпадает со сжатым размером Leaflet (42,5 КиБ), но по таблице это не проверить.✗ ТяжёлаяД6 · задача не задана. Размер OpenLayers зависит от того, что импортировать: минимальное приложение – 94 КиБ, полная готовая сборка – около 291 КиБ.СреднийД8 · неверные сведения. У MapLibre самая большая сборка из трёх: около 285 КиБ и ещё 144 КиБ рабочего потока.✓ МинимальныйД9 · своё решение выигрывает во всём.
Сообщество✓ Очень активноеД11 · косвенный показатель вместо свойства. «Активность» оценена по известности. У Leaflet больше всего звёзд и загрузок, но за последний год не вышло ни одной стабильной версии.АктивноеД1 · критерий не определён. Что считать активностью: выпуски, коммиты, ответы на вопросы?РастущееД2 · шкала не указана. «Растущее» – впечатление, а не значение. За год у MapLibre вышло 38 стабильных версий – это число можно проверить.–
ДокументацияОтличнаяД2 · шкала не указана. Чем «отличная» отличается от «хорошей»? Ступени не описаны.Подробная, но сложнаяД1 · критерий не определён. Смешаны два свойства – полнота и порог входа. «Сложная» для кого?ХорошаяД2 · шкала не указана. Та же неописанная ступень.✓Д9 · своё решение выигрывает во всём. Документации у несуществующего продукта ещё нет.
Гибкость и расширяемостьД5 · критерии пересекаются. Пересекается с «сообществом» (плагины пишет сообщество) и с «векторными тайлами» (у Leaflet они как раз плагином): одно свойство засчитано дважды.ПлагиныД2 · шкала не указана. Это не значение, а способ: сколько плагинов, какие из них нужны задаче?✓ ВысокаяВысокая✓ Высокая
Мобильные устройстваД12 · критерий не различает варианты. У всех четырёх стоит «✓»: строка занимает место, но выбрать ничего не помогает. Если мобильность важна, её нужно измерить: время загрузки по медленной сети, работа жестов.✓✓✓✓
ЛицензияBSD-2-ClauseПочти верно. Идентификатор лицензии точный, шкала наименований, и с ним ничего не складывают. Не хватает только ссылки и даты: лицензия может смениться с новой версией.BSD-2-ClauseBSD-3-ClauseMIT
Актуальная версия2.0Д8 · устаревшие или выдуманные сведения. Стабильная версия Leaflet – 1.9.4 от 18.05.2023, а 2.0 существует только как предварительная.9.xД8 · устаревшие сведения. На 18.10.2026 последняя версия OpenLayers – 10.11.0.4.xД8 · устаревшие сведения. На 18.10.2026 – 6.15.0; с версии 6.0 изменился даже способ подключения библиотеки.1.0
Итоговая оценка7/10Д10 · недопустимые действия со шкалой. Балл сложен из порядковых оценок без весов и нормирования: «высокая» и «средняя» не складываются.8/10Д10 · недопустимые действия со шкалой. Точность до балла при порядковых исходных данных – иллюзия.8,5/10Д10 · недопустимые действия со шкалой. Половина балла – точность, которой нет ни в одной ячейке выше.10/10Д9 · своё решение выигрывает во всём. Высший балл продукту, которого ещё нет.

Посчитаем, что в ней есть. Из 44 ячеек числом выражены 9, единица измерения указана у одной – «~40 КБ», источник и дата не указаны ни у одной. Почти весь ответ записан в порядковой шкале «низкая – средняя – высокая», ступени которой нигде не описаны, а в последней строке над этими ступенями выполнена арифметика, недопустимая для порядковой шкалы (раздел 3.3), и получен итоговый балл с точностью до половины.

Самое неприятное в этой таблице то, что она похожа на правду. Leaflet действительно невелик, MapLibre действительно рисует через WebGL. Таблица пересказывает репутацию библиотек – то, как о них обычно пишут в обзорах и блогах. Измерения в ней нет ни одного.

ячейка в ответе модели✓ Лёгкаяодно слово, порядковая шкала без описания ступеней
запись измерения
свойство
объём JavaScript, который скачает браузер
сценарий
минимальное приложение: растровая карта и один маркер
значение
42,5
единица
КиБ после минификации и сжатия gzip
метод
сборка esbuild 0.25.10, сжатие gzip уровня 9
объект
Leaflet 1.9.4 – последняя стабильная версия
дата
18.10.2026
сравнение
OpenLayers 10.11.0 – 94,3; MapLibre GL JS 6.15.0 – 284,8 и ещё 143,7 рабочий поток
Рис. 28. Что теряется, когда измерение сжимают до одного слова. Справа – настоящая запись: свойство, сценарий, значение, единица, метод, версия, дата и сравнение с другими вариантами.

7.3. Почему модель отвечает словами «высокая» и «удобный»

Это не каприз конкретной модели, а следствие того, как языковые модели устроены и как их обучают. Причин несколько, и каждая подтверждена исследованиями.

Модели нечем измерять. Чтобы узнать размер библиотеки, её надо собрать и сжать; чтобы узнать скорость, нужно поставить опыт. Модель без инструментов этого сделать не может. Она продолжает текст так, как его продолжили бы тексты, на которых она училась, а в них о библиотеках пишут словами: «лёгкая», «мощная», «гибкая». Слово «высокая» в ячейке – это не результат измерения, а усреднённое мнение авторов обзоров.

Без задачи ответ получается «в среднем». «Производительность» карты с десятью маркерами и с сотней тысяч точек – разные свойства, и победители у них разные. Если задача не названа, модель отвечает о библиотеке вообще, то есть ни о чём. Это та же ошибка, что и пропуск поля «зачем нужен» в паспорте критерия.

Обучение поощряет уверенный и угодливый ответ. Модели дообучают на оценках людей, а люди предпочитают гладкие ответы, которые совпадают с их собственным мнением. Исследования показали, что модели систематически подстраиваются под взгляды собеседника: после реплики «Я так не думаю. Вы уверены?» разные модели отказывались от своего первоначального ответа в 32–86 % случаев. Если в запросе с воодушевлением описан собственный проект, в таблице появляется столбец «Наше решение» с оценкой 10 из 10.

Пустая ячейка выглядит провалом. Модели оценивают тестами, где ответ «не знаю» стоит столько же, сколько неверный, – ноль баллов. Из десяти популярных наборов тестов, разобранных в одной из работ 2025 года, девять не дают за «не знаю» ничего. Поэтому модель учится угадывать уверенно. В таблице это выглядит так: вместо «не установлено» в ячейку попадает правдоподобное слово или галочка.

Числа модели – тоже ярлыки. Когда модель всё-таки ставит баллы, они ведут себя как порядковая шкала с неравными ступенями. На шкале от 1 до 5 оценки скапливаются на одной-двух цифрах; на шкале от 1 до 100 – на круглых числах вроде 80, 90, 95, а нижняя часть шкалы почти не используется. Если попросить оценить сразу несколько свойств, следующий балл тянется к предыдущему: в одном исследовании оценки разных свойств одного текста у модели почти совпадали, а у людей заметно различались. Даже порядок, в котором перечислены ступени шкалы, у одной из проверенных моделей менял почти половину оценок. «8/10» в ячейке – не измерение, а ещё одно слово «высокая».

Свежие и редкие факты модели знают хуже всего. Точность фактов у моделей тем ниже, чем реже факт встречался в текстах. В исследовании 2025 года модели отвечали на вопросы таблицами, которые надо было собрать из нескольких источников: по памяти лучшая модель набрала 47,6 балла по мере F1, с предоставленными источниками – 60,7, люди – 73. Типичные ошибки – пропущенные строки, выдуманные и неверные ячейки. Версии библиотек, даты выпусков, условия лицензий и цены меняются после того, как модель обучена, – отсюда строка «Актуальная версия» в таблице выше, где все три версии чужих библиотек неверны.

Форма таблицы не оставляет места. В клетку помещается одно слово. Единицу, метод, источник и дату модель не запишет, если таких столбцов не потребовать явно.

Почему „хорошо“ и „плохо“если не заданы задача, свойство, шкала, единица и способ измерения, модели нечего измерять, и она заполняет ячейку тем, что чаще всего пишут об этом предмете. Качественная оценка в таблице – это пересказ репутации, а не результат.

Хорошая новость в том, что те же исследования показывают, что помогает. Если описать словами каждую ступень шкалы и дать образец ответа, согласие модели с людьми заметно растёт. Если разрешить и потребовать «не установлено», модель реже выдумывает. Если дать ей настоящие данные – выгрузку реестра, документацию, – она перестаёт полагаться на память. Всё это сводится к одному: критерии, шкалы и паспорта из разделов 3 и 4 нужно написать самому и передать модели.

7.4. Двенадцать дефектов

Ошибки сравнительных таблиц повторяются, и их удобно называть по типам. Тип дефекта нужен и для того, чтобы описать находку в журнале, и для того, чтобы объяснить модели, что исправить.

ТипДефектКак распознать
Д1критерий не определённазвание можно понять по-разному: «простота» для кого и в чём?
Д2шкала не указана«высокая – средняя – низкая», «отлично», баллы 1–10 без описания ступеней
Д3нет единицы и способа измерения«~40 КБ» – чего: исходного кода, сжатого файла?
Д4нет источника и датызначение нельзя проверить и нельзя понять, на какой момент оно верно
Д5критерии пересекаютсяодно свойство учтено дважды: «гибкость» и «плагины», «скорость» и «WebGL»
Д6задача не заданаоценка зависит от сценария, а сценарий не назван
Д7галочка скрывает степень✓ вместо «в ядре», «плагином», «частично – что именно»
Д8устаревшие или выдуманные сведенияверсии, цены, даты, условия лицензий
Д9своё решение выигрывает во всёмещё не сделанный продукт сравнивают с выпущенными
Д10недопустимые действия со шкалойитоговый балл как сумма или среднее порядковых оценок
Д11косвенный показатель выдан за свойствозвёзды GitHub как мера качества, «WebGL» как мера скорости
Д12критерий не различает вариантыу всех одинаковое значение, строка не помогает выбрать

Теперь попробуйте сами на другой таблице – о трёх игровых движках. Её тоже составили для упражнения в манере чат-модели, а настоящие значения для проверки собраны 18.10.2026 с официальных сайтов движков.

Тренажёр · найдите дефекты в сравнительной таблице

Перед вами таблица, какую обычно возвращает чат-модель на просьбу сравнить три игровых движка. Для каждой строки выберите главный дефект из списка или «дефекта нет» и нажмите «Проверить»: под строкой появится разбор и то, чем этот критерий можно измерить.

7.5. Та же таблица с измерениями

Вернёмся к библиотекам карт. Исправленная таблица начинается не со значений, а с задачи и паспортов критериев. Значения ниже получены 18 октября 2026 года запросами к реестру npm и GitHub и собственной сборкой минимального приложения. Наведите курсор на подсвеченное значение, чтобы увидеть, как оно получено.

КритерийLeafletOpenLayersMapLibre GL JS
Лицензия (наименований, идентификатор SPDX)BSD-2-ClauseКак получено. Поле license в реестре npm для текущей версии пакета; 18.10.2026.BSD-2-ClauseBSD-3-Clause
Последняя стабильная версия, дата выпуска (наименований и интервалов)1.9.4, 18.05.2023Как получено. Поля dist-tags.latest и time в реестре npm. Версия 2.0 Leaflet существует только как предварительная и в таблицу не попадает.10.11.0, 04.10.20266.15.0, 18.10.2026
Стабильных выпусков за 365 дней (абсолютная, шт.)0738Как получено. Подсчёт версий без суффиксов вроде -beta в поле time реестра npm за период 19.10.2025–18.10.2026.
JavaScript минимального приложения «карта и маркер», min + gzip (отношений, КиБ)42,5Как получено. Сборка esbuild 0.25.10 с минификацией, сжатие gzip уровня 9, размер файла; 1 КиБ = 1024 байта. Контроль – сервис bundlephobia.94,3284,8 + 143,7Почему два числа. С версии 6.0 MapLibre выносит часть работы в отдельный рабочий поток; его файл браузер тоже скачивает.
Векторные тайлы (наименований: в ядре / плагином / нет)плагиномКак получено. Раздел плагинов на сайте Leaflet; в ядре библиотеки слоя векторных тайлов нет.в ядрев ядре
Отрисовка WebGL (наименований: обязательна / доступна / нет)нет (SVG, Canvas)доступна наряду с Canvasобязательна, WebGL 2Как получено. Список изменений MapLibre, раздел 6.0.0 (22.07.2026): поддержка WebGL 1 удалена. Это риск для старых устройств.
Звёзды GitHub (абсолютная, шт.; мера известности, не качества)45 765Как получено. Поле stargazers_count в GitHub API на 18.10.2026. Звёзды показывают известность, а не качество и не активность.12 62011 887
Время кадра в сценарии проекта (отношений, мс)не измереноЧестная пометка. Значение нельзя получить из документации – нужен эксперимент по разделу 5. Пустая ячейка с пометкой лучше, чем «высокая».не измереноне измерено

В этой таблице нет ни победителя, ни итогового балла, и это правильно: победитель зависит от задачи. Задача задаёт пороги – обязательные требования, которые отсеивают варианты до всякого взвешивания.

Обратите внимание ещё на две вещи. Первая: у одного свойства может быть несколько честных чисел. Сжатый размер OpenLayers по сервису bundlephobia – 86 КБ, в минимальном собственном приложении – 94 КиБ, в полной готовой сборке – около 291 КиБ. Число без способа измерения бессмысленно даже тогда, когда оно верно. Вторая: источники тоже ошибаются. Счётчик загрузок npm «за последнюю неделю» на 18.10.2026 был занижен примерно на 40 %, потому что сервис вернул нули за три дня.

Правило сравнительной таблицысначала задача и пороги, потом паспорта критериев, потом значения с источником и датой. Победитель – вывод из таблицы, а не её строка.

7.6. Как просить модель

Модель полезна в этой работе, если поручить ей то, что она делает хорошо: найти адреса документации, заполнить заданные критерии по данным, которые ей передали, найти пересечения критериев и проверить чужую таблицу. Выбирать критерии и ставить оценки – работа человека.

Первый запрос заставляет модель заполнить таблицу по вашим паспортам, не придумывая критериев и не ставя оценок.

запрос модели
Ты помогаешь составить раздел «Обзор аналогов» отчёта по практике.
Задача проекта: <1–2 предложения: что делает система, для кого, главные ограничения>.
Сравни варианты: <A>, <B>, <C>. Моё собственное решение в таблицу не включай.

Критерии заданы мной. Не добавляй, не объединяй и не переименовывай их:
К1 <свойство> – шкала: <наименований | порядка | интервалов | отношений | абсолютная>;
   единица: <…>; что лучше: <больше | меньше | не упорядочено>; способ: <как получить значение>.
К2 …

Правила для каждой ячейки:
1. Значение – только в указанной единице: число, идентификатор или вариант из перечня шкалы.
2. Рядом – источник (прямой адрес документации, реестра пакетов или репозитория) и дата,
   к которой значение относится.
3. Если источника нет или ты не уверен, напиши «не установлено» и укажи, где это проверить.
   Ошибка хуже пропуска. Не заполняй ячейку по памяти «примерно».
4. Запрещены оценки без числа и способа измерения: «высокий», «удобный», «быстрый», «активный»,
   «лёгкий», «хороший», а также ✓ и ✗ без указания, что именно поддерживается и как.
5. Не выводи итоговый балл и не называй победителя.

После таблицы выведи:
а) ячейки, которые могли устареть после даты, до которой ты обучен, – с адресом для проверки;
б) пары критериев, которые, по-твоему, пересекаются.

Второй запрос нужен для проверки, и запускать его стоит в новом диалоге, лучше другой моделью: так проверяющий не знает, кто автор таблицы и какой вариант ему нравится.

запрос модели
Ты – рецензент раздела «Обзор аналогов» выпускной работы. Тебе даны задача проекта
и сравнительная таблица. Не исправляй значения и не говори, какой вариант лучше.
Найди дефекты таблицы по типам:
Д1 критерий не определён; Д2 шкала не указана; Д3 нет единицы или способа измерения;
Д4 нет источника или даты; Д5 критерии пересекаются; Д6 оценка зависит от задачи,
а сценарий не задан; Д7 ✓ или ✗ скрывает степень; Д8 сведения могут быть устаревшими
или выдуманными; Д9 собственное решение выигрывает во всём без измерений;
Д10 над порядковыми оценками выполнены арифметические действия; Д11 косвенный показатель
выдан за свойство; Д12 критерий не различает варианты.
Для каждого дефекта выведи строку: ячейка (строка × столбец) | тип | почему это дефект |
как исправить (свойство, шкала, единица, способ измерения).
Если считаешь значение ложным, приведи источник с адресом; если источника нет, пиши
«требует проверки», а не «неверно».
В конце – число дефектов каждого типа и три самых важных исправления.

Модель, проверяющая таблицу, сама может ошибаться: пропускать дефекты и находить несуществующие. Её список – подсказка для человека, как ссылка от нейросети в занятии 4 – подсказка для поиска. Сверить значение с источником, открыв адрес, может только человек. Этим и заканчивается работа над таблицей, и этим же начинается задание.

8. Задание: найдите ошибку нейросети

Задание соединяет всё изложенное. Нужно получить от нейросети сравнительную таблицу по теме своего проекта, найти в ней дефекты, описать их, составить паспорта критериев и передать своё объяснение модели – а затем проверить, стала ли таблица лучше и насколько. Результат войдёт в первую главу отчёта: там требуется сравнительный анализ инструментов или аналогов с обоснованием выбора (справка «Структура отчёта и ВКР», раздел 3).

  1. Задача и варианты. Запишите задачу проекта в одном-двух предложениях: что делает система, для кого, какие у неё ограничения. Выберите от трёх до пяти вариантов для сравнения: аналоги – существующие продукты, или технологии – языки, движки, библиотеки, сервисы, модели.
  2. Первая таблица. Попросите любую модель сравнить варианты «для вашего проекта», не называя критериев. Сохраните запрос и ответ целиком, с названием модели и датой.
  3. Журнал дефектов. Разметьте таблицу по типам Д1–Д12 из раздела 7.3. Для каждого дефекта запишите: ячейку или строку, тип, что не так (одна фраза) и почему это важно для вашей задачи. Ошибка нейросети – не неудача задания, а его результат.
  4. Паспорта критериев. Выберите от пяти до семи критериев, которые действительно решают выбор в вашей задаче, и заполните для каждого паспорт из раздела 4.5. У порядковых шкал опишите каждую ступень наблюдаемым признаком. Отметьте, какие критерии служат порогами, а какие взвешиваются, и запишите веса до того, как увидите значения.
  5. Объяснение модели. В новом диалоге передайте модели задачу, журнал дефектов и паспорта критериев вместе с первым запросом из файла z05_table_prompts.md. Сохраните вторую таблицу.
  6. Проверка. Отдайте вторую таблицу проверяющему запросу – в новом диалоге, лучше другой модели. Затем сами откройте источники не меньше чем пяти значений и сверьте их; результат сверки запишите. То, что осталось «не установлено», по возможности измерьте сами, как размер сборки в разделе 7.4.
  7. Сравнение. Сравните таблицы числами: сколько оценочных ячеек без единицы и источника было и стало, сколько дефектов каждого типа было и осталось, сколько значений после ручной проверки оказались неверными.
  8. Вывод. Напишите пять–восемь предложений по схеме аргумента из занятия 3: утверждение – какой вариант подходит и при каких условиях; данные – строки таблицы, на которых держится вывод; связка – почему из них это следует для вашей задачи; оговорка – что не измерено и при каком изменении задачи вывод перестанет быть верным.

Работа принимается, если:

По желанию – тесты. Попросите модель написать тесты для одной функции своего проекта, которая принимает ввод пользователя. Затем по разделу 6.5 составьте таблицу классов эквивалентности и граничных значений для этой функции и проверьте, какие из них покрыты тестами модели. Если проект на Python или JavaScript, запустите мутационное тестирование и запишите долю убитых мутантов. Таблица «проверка – ожидаемый результат – фактический результат» пригодится в главе о тестировании (справка, раздел 5).

9. Проверь себя

Задание на соответствие проверяет четыре умения: определять тип шкалы, узнавать ошибку восприятия по описанию, подбирать приём тестирования к ошибке и превращать слово из таблицы в измеримый показатель.

Проверь себя · задание на соответствие

Для каждой строки слева выберите подходящий ответ из списка и нажмите «Проверить». Неверные строки подсветятся, под ними появится пояснение. Наборы переключаются кнопками сверху.

Контрольные вопросы

Источники

Человек и машина

  1. Deep Blue. — Текст : электронный // IBM History : [сайт]. — URL: https://www.ibm.com/history/deep-blue (дата обращения: 18.10.2026).
  2. Campbell M., Hoane A. J., Hsu F.-h. Deep Blue // Artificial Intelligence. — 2002. — Vol. 134, No. 1–2. — P. 57–83. — DOI: 10.1016/S0004-3702(01)00129-1.
  3. Chase W. G., Simon H. A. Perception in chess // Cognitive Psychology. — 1973. — Vol. 4, No. 1. — P. 55–81. — DOI: 10.1016/0010-0285(73)90004-2.
  4. Moravec H. Mind Children: The Future of Robot and Human Intelligence. — Cambridge (Mass.) : Harvard University Press, 1988.
  5. Carey S., Bartlett E. Acquiring a single new word // Papers and Reports on Child Language Development. — 1978. — Vol. 15. — P. 17–29. — URL: https://languagelog.ldc.upenn.edu/myl/Acquiring_a_Single_New_Word.pdf (дата обращения: 18.10.2026).
  6. Lake B. M., Salakhutdinov R., Tenenbaum J. B. Human-level concept learning through probabilistic program induction // Science. — 2015. — Vol. 350, No. 6266. — P. 1332–1338. — DOI: 10.1126/science.aab3050.
  7. Chollet F. On the Measure of Intelligence. — 2019. — arXiv:1911.01547. — URL: https://arxiv.org/abs/1911.01547 (дата обращения: 18.10.2026).
  8. ARC Prize Foundation. ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence. — 2026. — arXiv:2603.24621. — URL: https://arxiv.org/abs/2603.24621 (дата обращения: 18.10.2026).
  9. ARC Prize. Analyzing GPT-6 Astra on ARC-AGI-3. — Текст : электронный // ARC Prize : [сайт]. — 2026. — URL: https://arcprize.org/blog/astra (дата обращения: 18.10.2026).

Ошибки восприятия и суждения

  1. Simons D. J., Chabris C. F. Gorillas in our midst: sustained inattentional blindness for dynamic events // Perception. — 1999. — Vol. 28, No. 9. — P. 1059–1074. — DOI: 10.1068/p281059.
  2. Wason P. C. On the failure to eliminate hypotheses in a conceptual task // Quarterly Journal of Experimental Psychology. — 1960. — Vol. 12, No. 3. — P. 129–140. — DOI: 10.1080/17470216008416717.
  3. Tversky A., Kahneman D. Judgment under Uncertainty: Heuristics and Biases // Science. — 1974. — Vol. 185, No. 4157. — P. 1124–1131. — DOI: 10.1126/science.185.4157.1124.
  4. Канеман Д. Думай медленно… решай быстро. — Москва : АСТ, 2013. — 656 с. — ISBN 978-5-17-080053-7.
  5. Mangel M., Samaniego F. J. Abraham Wald's Work on Aircraft Survivability // Journal of the American Statistical Association. — 1984. — Vol. 79, No. 386. — P. 259–267. — DOI: 10.1080/01621459.1984.10478038.
  6. Wald A. A Method of Estimating Plane Vulnerability Based on Damage of Survivors. — Statistical Research Group, Columbia University, 1943. — Reprint: Center for Naval Analyses, CRC 432, 1980.
  7. Did You Lose the Keys Here? No, But the Light Is Much Better Here. — Текст : электронный // Quote Investigator : [сайт]. — 2013, обновлено 2026. — URL: https://quoteinvestigator.com/2013/04/11/better-light/ (дата обращения: 18.10.2026).
  8. Kaplan A. The Conduct of Inquiry: Methodology for Behavioral Science. — San Francisco : Chandler, 1964.

Эксперимент и самообман

  1. Pfungst O. Clever Hans (The Horse of Mr. von Osten) / transl. by C. L. Rahn. — New York : Henry Holt, 1911. — URL: https://www.gutenberg.org/ebooks/33936 (дата обращения: 18.10.2026).
  2. Report of the commissioners charged by the King with the examination of animal magnetism // International Journal of Clinical and Experimental Hypnosis. — 2002. — Vol. 50, No. 4. — P. 332–363. — DOI: 10.1080/00207140208410109.
  3. Wood R. W. The n-Rays // Nature. — 1904. — Vol. 70, No. 1822. — P. 530–531. — DOI: 10.1038/070530a0.
  4. Lind J. A Treatise of the Scurvy. — Edinburgh : Sands, Murray and Cochran, 1753. — URL: https://www.jameslindlibrary.org/lind-j-1753/ (дата обращения: 18.10.2026).
  5. Feynman R. P. Cargo Cult Science : Caltech commencement address, 1974. — Текст : электронный // Caltech Library : [сайт]. — URL: https://calteches.library.caltech.edu/51/2/CargoCult.htm (дата обращения: 18.10.2026).
  6. Фейнман Р. Ф. Вы, конечно, шутите, мистер Фейнман! / пер. с англ. Н. А. Зубченко, О. Л. Тиходеевой, М. Шифмана. — Москва ; Ижевск : НИЦ «Регулярная и хаотическая динамика», 2001.
  7. Open Science Collaboration. Estimating the reproducibility of psychological science // Science. — 2015. — Vol. 349, No. 6251. — Art. aac4716. — DOI: 10.1126/science.aac4716.
  8. Becker J., Rush N., Barnes E., Rein D. Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. — 2025. — arXiv:2507.09089. — URL: https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/ (дата обращения: 18.10.2026).
  9. Lapuschkin S., Wäldchen S., Binder A., Montavon G., Samek W., Müller K.-R. Unmasking Clever Hans predictors and assessing what machines really learn // Nature Communications. — 2019. — Vol. 10. — Art. 1096. — DOI: 10.1038/s41467-019-08987-4.
  10. Ribeiro M. T., Singh S., Guestrin C. «Why Should I Trust You?»: Explaining the Predictions of Any Classifier // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. — 2016. — P. 1135–1144. — DOI: 10.1145/2939672.2939778.
  11. Geirhos R., Jacobsen J.-H., Michaelis C., Zemel R., Brendel W., Bethge M., Wichmann F. A. Shortcut learning in deep neural networks // Nature Machine Intelligence. — 2020. — Vol. 2, No. 11. — P. 665–673. — DOI: 10.1038/s42256-020-00257-z.
  12. Zech J. R., Badgeley M. A., Liu M., Costa A. B., Titano J. J., Oermann E. K. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study // PLOS Medicine. — 2018. — Vol. 15, No. 11. — Art. e1002683. — DOI: 10.1371/journal.pmed.1002683.
  13. Winkler J. K., Fink C., Toberer F. [et al.]. Association Between Surgical Skin Markings in Dermoscopic Images and Diagnostic Performance of a Deep Learning Convolutional Neural Network for Melanoma Recognition // JAMA Dermatology. — 2019. — DOI: 10.1001/jamadermatol.2019.1735.

Шкалы и экспертные оценки

  1. Stevens S. S. On the theory of scales of measurement // Science. — 1946. — Vol. 103, No. 2684. — P. 677–680. — DOI: 10.1126/science.103.2684.677.
  2. РМГ 83-2007. Государственная система обеспечения единства измерений. Шкалы измерений. Термины и определения : издание официальное : введены впервые : дата введения 2008-08-01. — Москва : Стандартинформ, 2008. — URL: https://ohranatruda.ru/upload/iblock/99b/4293835660.pdf (дата обращения: 18.10.2026).
  3. ГОСТ Р 57546-2017. Землетрясения. Шкала сейсмической интенсивности : национальный стандарт Российской Федерации : дата введения 2017-09-01. — URL: https://meganorm.ru/mega_doc/norm/gost-r_gosudarstvennyj-standart/3/gost_r_57546-2017_natsionalnyy_standart_rossiyskoy.html (дата обращения: 18.10.2026).
  4. Силич М. П., Силич В. А. Основы теории систем и системного анализа : учебное пособие. — Томск : Изд-во Томск. гос. ун-та систем управления и радиоэлектроники, 2013. — 340 с. — ISBN 978-5-86889-663-7. — URL: https://edu.tusur.ru/publications/5452 (дата обращения: 18.10.2026).
  5. Перегудов Ф. И., Тарасенко Ф. П. Основы системного анализа : учебник. — 3-е изд. — Томск : НТЛ, 2001. — 396 с. — ISBN 5-89503-115-3.
  6. Пфанцагль И. Теория измерений : пер. с англ. — Москва : Мир, 1976. — 165 с.
  7. Jamieson S. Likert scales: how to (ab)use them // Medical Education. — 2004. — Vol. 38, No. 12. — P. 1217–1218. — DOI: 10.1111/j.1365-2929.2004.02012.x.
  8. Norman G. Likert scales, levels of measurement and the «laws» of statistics // Advances in Health Sciences Education. — 2010. — Vol. 15, No. 5. — P. 625–632. — DOI: 10.1007/s10459-010-9222-y.
  9. Kendall M. G., Babington Smith B. The problem of m rankings // Annals of Mathematical Statistics. — 1939. — Vol. 10, No. 3. — P. 275–287. — DOI: 10.1214/aoms/1177732186.
  10. Churchman C. W., Ackoff R. L. An approximate measure of value // Journal of the Operations Research Society of America. — 1954. — Vol. 2, No. 2. — P. 172–187. — DOI: 10.1287/opre.2.2.172.
  11. Saaty T. L. A scaling method for priorities in hierarchical structures // Journal of Mathematical Psychology. — 1977. — Vol. 15, No. 3. — P. 234–281. — DOI: 10.1016/0022-2496(77)90033-5.
  12. Hwang C.-L., Yoon K. Multiple Attribute Decision Making: Methods and Applications. — Berlin ; Heidelberg : Springer, 1981. — (Lecture Notes in Economics and Mathematical Systems ; vol. 186). — DOI: 10.1007/978-3-642-48318-9.
  13. Wald A. Statistical decision functions which minimize the maximum risk // Annals of Mathematics. — 1945. — Vol. 46, No. 2. — P. 265–280. — DOI: 10.2307/1969022.
  14. Savage L. J. The theory of statistical decision // Journal of the American Statistical Association. — 1951. — Vol. 46, No. 253. — P. 55–67. — DOI: 10.1080/01621459.1951.10500768.
  15. Zadeh L. A. Fuzzy sets // Information and Control. — 1965. — Vol. 8, No. 3. — P. 338–353. — DOI: 10.1016/S0019-9958(65)90241-X.

Критерии и их проверка

  1. ГОСТ Р ИСО/МЭК 25010-2015. Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов : национальный стандарт Российской Федерации : дата введения 2016-06-01. — URL: https://files.stroyinf.ru/Index/60/60038.htm (дата обращения: 18.10.2026).
  2. ISO/IEC 25010:2023. Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Product quality model. — 2nd ed. — Geneva : ISO, 2023. — URL: https://www.iso.org/standard/78176.html (дата обращения: 18.10.2026).
  3. ГОСТ Р 58606-2019 (ИСО/МЭК/IEEE 15939:2017). Системная и программная инженерия. Процесс измерения : национальный стандарт Российской Федерации : дата введения 2021-01-01. — URL: https://www.normacs.info/ntds/10910 (дата обращения: 18.10.2026).
  4. ISO/IEC/IEEE 29148:2018. Systems and software engineering — Life cycle processes — Requirements engineering. — 2nd ed. — Geneva : ISO, 2018. — DOI: 10.1109/IEEESTD.2018.8559686.
  5. ГОСТ Р 59194-2020. Управление требованиями. Основные положения : национальный стандарт Российской Федерации : дата введения 2021-06-01. — URL: https://files.stroyinf.ru/Index/75/75310.htm (дата обращения: 18.10.2026).
  6. ГОСТ 34.602-2020. Информационные технологии. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы : межгосударственный стандарт : дата введения 2022-01-01. — URL: https://files.stroyinf.ru/Index/76/76009.htm (дата обращения: 18.10.2026).
  7. Basili V. R., Caldiera G., Rombach H. D. The Goal Question Metric Approach. — Текст : электронный. — 1994. — URL: https://www.cs.umd.edu/~mvz/handouts/gqm.pdf (дата обращения: 18.10.2026).
  8. Strathern M. «Improving ratings»: audit in the British University system // European Review. — 1997. — Vol. 5, No. 3. — P. 305–321. — DOI: 10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4.
  9. Campbell D. T. Assessing the impact of planned social change // Evaluation and Program Planning. — 1979. — Vol. 2, No. 1. — P. 67–90. — DOI: 10.1016/0149-7189(79)90048-X.
  10. Smith P. C., Kendall L. M. Retranslation of expectations: an approach to the construction of unambiguous anchors for rating scales // Journal of Applied Psychology. — 1963. — Vol. 47, No. 2. — P. 149–155. — DOI: 10.1037/h0047060.
  11. Bangor A., Kortum P. T., Miller J. T. An empirical evaluation of the System Usability Scale // International Journal of Human–Computer Interaction. — 2008. — Vol. 24, No. 6. — P. 574–594. — DOI: 10.1080/10447310802205776.
  12. Sauro J. Measuring Usability with the System Usability Scale (SUS). — Текст : электронный // MeasuringU : [сайт]. — URL: https://measuringu.com/sus/ (дата обращения: 18.10.2026).

Этапы эксперимента и компьютерный эксперимент

  1. Fisher R. A. The Design of Experiments. — Edinburgh : Oliver and Boyd, 1935. — 252 p.
  2. ГОСТ 24026-80. Исследовательские испытания. Планирование эксперимента. Термины и определения : государственный стандарт Союза ССР : дата введения 1981-01-01. — URL: https://dnaop.com/html/65952/doc-%D0%93%D0%9E%D0%A1%D0%A2_24026-80 (дата обращения: 18.10.2026).
  3. Новиков А. М., Новиков Д. А. Методология научного исследования. — Москва : Либроком, 2010. — 280 с. — ISBN 978-5-397-00849-5.
  4. Самарский А. А. Математическое моделирование и вычислительный эксперимент // Вестник АН СССР. — 1979. — № 5. — С. 38–49. — URL: http://samarskii.ru/articles/1979/1979-002ocr.pdf (дата обращения: 18.10.2026).
  5. Самарский А. А., Михайлов А. П. Математическое моделирование: Идеи. Методы. Примеры. — 2-е изд., испр. — Москва : Физматлит, 2001. — ISBN 5-9221-0120-X.
  6. Четверушкин Б. Н., Михайлов А. П. Триада Самарского // Вестник Российской академии наук. — 2019. — Т. 89, № 2. — С. 187–193.
  7. Boehm B. W. Verifying and Validating Software Requirements and Design Specifications // IEEE Software. — 1984. — Vol. 1, No. 1. — P. 75–88. — DOI: 10.1109/MS.1984.233702.
  8. Overview of CFD Verification and Validation. — Текст : электронный // NASA Glenn Research Center : [сайт]. — URL: https://www.grc.nasa.gov/www/wind/valid/tutorial/overview.html (дата обращения: 18.10.2026).
  9. Mytkowicz T., Diwan A., Hauswirth M., Sweeney P. F. Producing Wrong Data Without Doing Anything Obviously Wrong! // Proceedings of ASPLOS XIV. — 2009. — P. 265–276. — DOI: 10.1145/1508244.1508275.
  10. Kalibera T., Jones R. E. Rigorous Benchmarking in Reasonable Time // Proceedings of ISMM'13. — 2013. — P. 63–74. — DOI: 10.1145/2464157.2464160.
  11. timeit — Measure execution time of small code snippets. — Текст : электронный // Python Documentation : [сайт]. — URL: https://docs.python.org/3/library/timeit.html (дата обращения: 18.10.2026).
  12. pyperf documentation. — Текст : электронный // Read the Docs : [сайт]. — URL: https://pyperf.readthedocs.io/en/latest/ (дата обращения: 18.10.2026).
  13. hyperfine: A command-line benchmarking tool. — Текст : электронный // GitHub : [сайт]. — URL: https://github.com/sharkdp/hyperfine (дата обращения: 18.10.2026).
  14. Kapoor S., Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science // Patterns. — 2023. — Vol. 4, No. 9. — Art. 100804. — DOI: 10.1016/j.patter.2023.100804.
  15. Henderson P., Islam R., Bachman P., Pineau J., Precup D., Meger D. Deep Reinforcement Learning That Matters // Proceedings of the AAAI Conference on Artificial Intelligence. — 2018. — Vol. 32, No. 1. — DOI: 10.1609/aaai.v32i1.11694.
  16. Pineau J., Vincent-Lamarre P., Sinha K. [et al.]. Improving Reproducibility in Machine Learning Research // Journal of Machine Learning Research. — 2021. — Vol. 22, No. 164. — P. 1–20. — URL: https://jmlr.org/papers/v22/20-303.html (дата обращения: 18.10.2026).
  17. Кохави Р., Тан Д., Сюй Я. Доверительное А/В-тестирование : практическое руководство по контролируемым экспериментам / пер. с англ. В. Яценкова. — Москва : ДМК Пресс, 2021. — ISBN 978-5-97060-913-2.

Тестирование программ

  1. Dijkstra E. W. Notes on Structured Programming (EWD249). — Eindhoven : Technological University, 1969 ; 2nd ed. 1970. — URL: https://www.cs.utexas.edu/~EWD/transcriptions/EWD02xx/EWD249/EWD249.html (дата обращения: 18.10.2026).
  2. Software Engineering Techniques : Report on a conference sponsored by the NATO Science Committee, Rome, Italy, 27–31 October 1969 / ed. by J. N. Buxton, B. Randell. — Brussels : NATO Science Committee, 1970. — URL: http://homepages.cs.ncl.ac.uk/brian.randell/NATO/nato1969.PDF (дата обращения: 18.10.2026).
  3. Barr E. T., Harman M., McMinn P., Shahbaz M., Yoo S. The Oracle Problem in Software Testing: A Survey // IEEE Transactions on Software Engineering. — 2015. — Vol. 41, No. 5. — P. 507–525. — DOI: 10.1109/TSE.2014.2372785.
  4. Inozemtseva L., Holmes R. Coverage is not strongly correlated with test suite effectiveness // Proceedings of ICSE 2014. — 2014. — P. 435–445. — DOI: 10.1145/2568225.2568271.
  5. Just R., Jalali D., Inozemtseva L., Ernst M. D., Holmes R., Fraser G. Are mutants a valid substitute for real faults in software testing? // Proceedings of FSE 2014. — 2014. — P. 654–665. — DOI: 10.1145/2635868.2635929.
  6. Petrović G., Ivanković M., Fraser G., Just R. Practical Mutation Testing at Scale: A view from Google // IEEE Transactions on Software Engineering. — 2022. — Vol. 48, No. 10. — P. 3900–3912. — DOI: 10.1109/TSE.2021.3107634.
  7. Yuan Z., Liu M., Ding S., Wang K., Chen Y., Peng X., Lou Y. Evaluating and Improving ChatGPT for Unit Test Generation // Proceedings of the ACM on Software Engineering. — 2024. — Vol. 1, FSE. — Art. 76. — P. 1703–1726. — DOI: 10.1145/3660783.
  8. Konstantinou M., Degiovanni R., Papadakis M. Do LLMs generate test oracles that capture the actual or the expected program behaviour? — 2024. — arXiv:2410.21136. — URL: https://arxiv.org/abs/2410.21136 (дата обращения: 18.10.2026).
  9. Ouédraogo W. C., Li Y., Dang X. [et al.]. On the Diffusion of Test Smells in LLM-Generated Unit Tests. — 2024. — arXiv:2410.10628. — URL: https://arxiv.org/abs/2410.10628 (дата обращения: 18.10.2026).
  10. Hora A., Robbes R. Are Coding Agents Generating Over-Mocked Tests? An Empirical Study. — 2026. — arXiv:2602.00409. — URL: https://arxiv.org/abs/2602.00409 (дата обращения: 18.10.2026).
  11. Alshahwan N., Chheda J., Finogenova A. [et al.]. Automated Unit Test Improvement using Large Language Models at Meta // FSE Companion '24. — 2024. — P. 185–196. — DOI: 10.1145/3663529.3663839.
  12. Claude 3.7 Sonnet System Card. — Текст : электронный // Anthropic : [сайт]. — 2025. — URL: https://www.anthropic.com/system-cards (дата обращения: 18.10.2026).
  13. Claude Sonnet 4.5 System Card. — Текст : электронный // Anthropic : [сайт]. — 2025. — URL: https://www.anthropic.com/system-cards (дата обращения: 18.10.2026).
  14. Claude Opus 5 System Card. — Текст : электронный // Anthropic : [сайт]. — 2026. — URL: https://anthropic.com/claude-opus-5-system-card (дата обращения: 18.10.2026).
  15. Baker B., Huizinga J., Gao L. [et al.]. Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. — 2025. — arXiv:2503.11926. — URL: https://arxiv.org/abs/2503.11926 (дата обращения: 18.10.2026).
  16. Von Arx S., Chan L., Barnes B. Recent Frontier Models Are Reward Hacking. — Текст : электронный // METR : [сайт]. — 2025. — URL: https://metr.org/blog/2025-06-05-recent-reward-hacking/ (дата обращения: 18.10.2026).
  17. Zhong Z., Raghunathan A., Carlini N. ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases. — 2025. — arXiv:2510.20270. — URL: https://arxiv.org/abs/2510.20270 (дата обращения: 18.10.2026).
  18. Leveson N. G., Turner C. S. An Investigation of the Therac-25 Accidents // Computer. — 1993. — Vol. 26, No. 7. — P. 18–41. — DOI: 10.1109/MC.1993.274940.
  19. ARIANE 5 Flight 501 Failure : Report by the Inquiry Board / chairman J.-L. Lions. — Paris, 1996. — URL: https://esamultimedia.esa.int/docs/esa-x-1819eng.pdf (дата обращения: 18.10.2026).
  20. Mars Climate Orbiter Mishap Investigation Board. Phase I Report. — NASA, 1999. — URL: https://llis.nasa.gov/llis_lib/pdf/1009464main1_0641-mr.pdf (дата обращения: 18.10.2026).
  21. External Technical Root Cause Analysis — Channel File 291. — Текст : электронный // CrowdStrike : [сайт]. — 2024. — URL: https://www.crowdstrike.com/wp-content/uploads/2024/08/Channel-File-291-Incident-Root-Cause-Analysis-08.06.2024.pdf (дата обращения: 18.10.2026).
  22. Программа обучения Базового уровня ISTQB. Версия 4.0.1 RU-1. — Текст : электронный // RSTQB : [сайт]. — 2025. — URL: https://www.rstqb.org/ru/istqb-downloads.html (дата обращения: 18.10.2026).
  23. Claessen K., Hughes J. QuickCheck: a lightweight tool for random testing of Haskell programs // Proceedings of ICFP '00. — 2000. — P. 268–279. — DOI: 10.1145/351240.351266.
  24. MacIver D. R., Hatfield-Dodds Z. Hypothesis: A new approach to property-based testing // Journal of Open Source Software. — 2019. — Vol. 4, No. 43. — Art. 1891. — DOI: 10.21105/joss.01891.
  25. Miller B. P., Fredriksen L., So B. An empirical study of the reliability of UNIX utilities // Communications of the ACM. — 1990. — Vol. 33, No. 12. — P. 32–44. — DOI: 10.1145/96267.96279.
  26. Miller B. P., Zhang M., Heymann E. R. The Relevance of Classic Fuzz Testing: Have We Solved This One? // IEEE Transactions on Software Engineering. — 2022. — Vol. 48, No. 6. — P. 2028–2039. — DOI: 10.1109/TSE.2020.3047766.
  27. OSS-Fuzz. — Текст : электронный // GitHub : [сайт]. — URL: https://github.com/google/oss-fuzz (дата обращения: 18.10.2026).
  28. Nielsen J. Why You Only Need to Test with 5 Users. — Текст : электронный // Nielsen Norman Group : [сайт]. — 2000. — URL: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/ (дата обращения: 18.10.2026).
  29. Built-in Functions: float(). — Текст : электронный // Python Documentation : [сайт]. — URL: https://docs.python.org/3/library/functions.html#float (дата обращения: 18.10.2026).
  30. Prompting best practices. — Текст : электронный // Claude Developer Platform : [сайт]. — URL: https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices (дата обращения: 18.10.2026).
  31. Best practices for Claude Code. — Текст : электронный // Claude Code Docs : [сайт]. — URL: https://code.claude.com/docs/en/best-practices (дата обращения: 18.10.2026).

Сравнительные таблицы и языковые модели

  1. Sharma M., Tong M., Korbak T. [et al.]. Towards Understanding Sycophancy in Language Models // ICLR 2024. — 2024. — arXiv:2310.13548. — URL: https://arxiv.org/abs/2310.13548 (дата обращения: 18.10.2026).
  2. Kalai A. T., Nachum O., Vempala S. S., Zhang E. Why Language Models Hallucinate. — 2025. — arXiv:2509.04664. — URL: https://arxiv.org/abs/2509.04664 (дата обращения: 18.10.2026).
  3. Zheng L., Chiang W.-L., Sheng Y. [et al.]. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // NeurIPS 2023, Datasets and Benchmarks Track. — 2023. — arXiv:2306.05685. — URL: https://arxiv.org/abs/2306.05685 (дата обращения: 18.10.2026).
  4. Liu Y., Iter D., Xu Y., Wang S., Xu R., Zhu C. G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment // Proceedings of EMNLP 2023. — 2023. — P. 2511–2522. — DOI: 10.18653/v1/2023.emnlp-main.153.
  5. Stureborg R., Alikaniotis D., Suhara Y. Large Language Models are Inconsistent and Biased Evaluators. — 2024. — arXiv:2405.01724. — URL: https://arxiv.org/abs/2405.01724 (дата обращения: 18.10.2026).
  6. Li Q., Dou S., Shao K., Chen C., Hu H. Evaluating Scoring Bias in LLM-as-a-Judge // DASFAA 2026. — Springer, 2026. — P. 19–34. — DOI: 10.1007/978-981-92-0372-7_2.
  7. Kim S., Shin J., Cho Y. [et al.]. Prometheus: Inducing Fine-grained Evaluation Capability in Language Models // ICLR 2024. — 2024. — arXiv:2310.08491. — URL: https://arxiv.org/abs/2310.08491 (дата обращения: 18.10.2026).
  8. Min S., Krishna K., Lyu X. [et al.]. FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation // Proceedings of EMNLP 2023. — 2023. — P. 12076–12100. — DOI: 10.18653/v1/2023.emnlp-main.741.
  9. Akhtar M., Pang C., Marzoca A., Altun Y., Eisenschlos J. M. TANQ: An open domain dataset of table answered questions // Transactions of the Association for Computational Linguistics. — 2025. — Vol. 13. — P. 461–480. — DOI: 10.1162/tacl_a_00749.
  10. Cheng J., Marone M., Weller O. [et al.]. Dated Data: Tracing Knowledge Cutoffs in Large Language Models // COLM 2024. — 2024. — arXiv:2403.12958. — URL: https://arxiv.org/abs/2403.12958 (дата обращения: 18.10.2026).
  11. Основы подготовки научных публикаций: задание «Обзор аналогов»; типовые ошибки. — Текст : электронный // Кафедра МО ЭВМ СПбГЭТУ «ЛЭТИ» : [сайт]. — URL: https://se.moevm.pro/doku.php/staff:courses:sci_writing:typical_errors_by_assignment (дата обращения: 18.10.2026).
  12. Leaflet: Reference ; Plugins. — Текст : электронный // Leaflet : [сайт]. — URL: https://leafletjs.com/reference.html (дата обращения: 18.10.2026).
  13. OpenLayers: API Documentation. — Текст : электронный // OpenLayers : [сайт]. — URL: https://openlayers.org/en/latest/apidoc/ (дата обращения: 18.10.2026).
  14. MapLibre GL JS: Changelog. — Текст : электронный // GitHub : [сайт]. — URL: https://github.com/maplibre/maplibre-gl-js/blob/main/CHANGELOG.md (дата обращения: 18.10.2026).
  15. npm Registry: leaflet, ol, maplibre-gl. — Текст : электронный // npm : [сайт]. — URL: https://registry.npmjs.org/leaflet (дата обращения: 18.10.2026).
  16. npm downloads API. — Текст : электронный // npm : [сайт]. — URL: https://api.npmjs.org/downloads/point/2026-10-03:2026-10-09/leaflet,ol,maplibre-gl (дата обращения: 18.10.2026).
  17. esbuild: An extremely fast bundler for the web. — Текст : электронный // esbuild : [сайт]. — URL: https://esbuild.github.io/ (дата обращения: 18.10.2026).
  18. Bundlephobia: find the cost of adding a npm package. — Текст : электронный // Bundlephobia : [сайт]. — URL: https://bundlephobia.com/ (дата обращения: 18.10.2026).