Наши любимые дети

Меня впечатляют выверенные интерфейсы в программах. Мне доставляет физическое удовольствие правильное расположение кнопок в окнах, меня прет от контролов, заточенных под максимальную эффективность операций, я задерживаю дыхание от восторга, когда сложные операции делают простыми в использовании, результаты со сложной структурой и богатым смыслом показывают предельно понятным способом, а огромные массивы данных разрешают окинуть одним взглядом. Это круто, это всегда результат большой работы.

Есть одна софтина для подбора моделей распределений по данным, сделанная ровно для этого и умеющая это хорошо. Называется она EasyFit, если кому интересно. Как она сделана — это просто песня! Предельно просто загрузить данные, воспользоваться описательной статистикой, проверить согласие с диким количеством распределений по критериям Колмогорова, Андерсона-Дарлинга и Пирсона, сортировать результаты по тому или иному критерию. В программе есть отличный справочник с наглядными интерактивными графиками функций распределения, плотности, выживания и риска, в хелпе есть подробные описания распределений (с формулами!). И перечисленное — далеко не все фишки интерфейса, заложенные создателями. Тут надо тыкать в кнопочки и пункты меню, чтобы наслаждаться. А для самых отважных есть COM-интерфейсы пугающей элегантности.

Местами меня брала ревность. Как же так, такие классные и простые идеи придумал не я! Еще, местами мне казалось, что создатели откуда-то взяли исходники нашей системы, настолько схожи были многие вещи. В любом случае, я до сих пор под впечатлением.

Позже я сел за написание статьи и решил перепроверить собственную идентификацию моделей при помощи изифита, благо сделать три клика мышью не составляет проблемы. Тревожная барабанная дробь — и результаты не совпали! Сразу пригодился хэлп. Я проверил, что под распределениями мы понимаем одни и те же законы, и стал смотреть на описания критериев... и дальше я буду цитировать:

"Chi-Squared Test... Though the number of degrees of freedom can be calculated as k-c-1 (where c is the number of estimated parameters), EasyFit calculates it as k-1 since this kind of test is least likely to reject the fit in error." В вольном переводе на русский язык, они говорят, что хотя статистика критерия распределена иначе, чем Χ^2 с k-1 степенью свободы, они все равно используют k-1, т.к. боятся отвергнуть гипотезу по ошибке. Если здесь еще возможны разнотолки по поводу истинного распределения статистики Пирсона и правильности использования критериев типа Хи-квадрат при проверке сложных гипотез, то про критерий Колмогорова у них написано однозначно:

"The standard tables of critical values used for this test are only valid when testing whether a data set is from a completely specified distribution. If one or more distribution parameters are estimated, the results will be conservative: the actual significance level will be smaller than that given by the standard tables, and the probability that the fit will be rejected in error will be lower." Резюмируя этот отрывок, реальный достигаемый уровень значимости может быть меньше показанного. А если говорить по существу, в таких случаях он не просто меньше, а радикально меньше. Для критерия Андерсона-Дарлинга ситуация чуть лучше:

"In general, critical values of the Anderson-Darling test statistic depend on the specific distribution being tested. However, tables of critical values for many distributions (except several the most widely used ones) are not easy to find.

The Anderson-Darling test implemented in EasyFit uses the same critical values for all distributions. These values are calculated using the approximation formula, and depend on the sample size only. This kind of test (compared to the "original" A-D test) is less likely to reject the good fit, and can be successfully used to compare the goodness of fit of several fitted distributions."

Здесь хотя бы учитывается зависимость распределения от объема выборки, но если говорить по правде, то красивая таблица с результатами идентификации оказывается полностью бесполезной. И, кстати, это является однозначным свидетельством, что создатели не смотрели в наш код :)

Это не антиреклама изифита, это пост расстройства по поводу несоответствия формы и содержания. И (сдержанного) оптимизма по поводу собственной возможности реализовать красивый и правильный интерфейс.

Читайте также

Последние новости