ДОПОЛНЕНИЕ 1.
МЕТОДЫ ОБНАРУЖЕНИЯ "РАЗЛАДКИ" СЛУЧАЙНЫХ ПРОЦЕССОВ И ИХ ПРИМЕНЕНИЕ ДЛЯ АНАЛИЗА ИСТОРИЧЕСКИХ ТЕКСТОВ
В данном разделе цитируются фрагменты работы Б.Е.Бродского и Б.С.Дарховского. (Б.С.Дарховский - математик, профессор, доктор физико-математических наук, г.Москва; Б.Е.Бродский - математик, кандидат физико-математических наук, профессор, г.Москва. Б.С.Дарховский и Б.Е.Бродский - специалисты в области теории вероятностей и математической статистики)
В работе обсуждается возможность применения методов обнаружения моментов изменений вероятностных характеристик случайных процессов для анализа исторических текстов. Приводятся основные идеи развиваемого авторами непараметрического подхода к соответствующим статистическим задачам.
Развиваемые А.Т.Фоменко методы анализа нарративных текстов позволили дать количественные ответы на ряд вопросов, представляющих интерес для историков. В частности, оказалось возможным математически корректно поставить следующую интересную историческую проблему. Известно, что многие древние исторические источники (летописи, хроники и т.д.) составлены из отдельных фрагментов (кусков) разной природы. Например, эти отдельные куски могли быть написаны в разное время разными авторами (в разных странах), а потому могут существенно отличаться друг от друга своим характером, языком и стилем изложения, степенью подробности, эмоциональной окраской и т.д. Затем могло случиться так, что эти фрагменты были объединены каким-то более поздним хронистом в одну книгу. После этого первоначальное происхождение фрагментов забывалось, и они начинали существовать как единая летопись. С течением времени в результате многократной переписки книг, под влиянием различных "редакторов" и в силу многих других причин, первоначальные внешние различия между отдельными фрагментами постепенно стирались.Возникает естественный и важный (прежде всего для историка) вопрос: можно ли, опираясь на статистический анализ различных частотных характеристик, выявить сегодня внутри "единого большого текста" эти первичные составные части, куски, то есть можно ли вновь "разрезать" большой текст на его первичные древние фрагменты-первоисточники?
А.Т.Фоменко и А.Н.Ширяев высказали гипотезу, что каждый отдельный фрагмент является стохастически однородным, точнее, представляет собой (если его перевести в числовую последовательность, что мы здесь предполагаем уже выполненным - вопрос о том, как это сделать, обсуждается в Дополнении 2) отрезок стационарного временно'го ряда, причем разные фрагменты отвечают разным стационарным рядам, отличающимся друг от друга теми или иными вероятностными характеристиками.
Эта гипотеза оказалась полезной при анализе конкретных исторических текстов. Соответствующие результаты содержатся в Дополнении 2. Здесь же мы подробнее остановимся на идеологии решения возникающего класса статистических задач.
Эту область математической статистики можно назвать так: методы обнаружения изменений вероятностных свойств случайных процессов и полей. Речь идет о следующих двух классах проблем.
ПЕРВОЕ. Пусть предъявлена выборка (реализация) случайного процесса (поля). Всякая статистическая обработка этой выборки с целью построения модели, оценки параметров и т.п. основана на предположении (оно лежит в основе математической статистики), что оцениваемый феномен в процессе сбора данных не изменялся. Поэтому предварительным этапом любой статистической обработки должен быть этап проверки подобной однородности. Таким образом, вопрос здесь ставится так: является ли предъявленная выборка статистически однородной в смысле неизменности своих вероятностных характеристик? Если ответ на этот вопрос положителен, то далее следует заниматься обычной статистической обработкой в зависимости от тех целей, которые ставит исследователь. Если же ответ отрицателен, то возникает задача обнаружения моментов изменения вероятностных характеристик и разбиения исходной выборки на несколько статистически однородных кусков.
Описанный класс задач получил название ретроспективных (апостериорных) задач о "разладке". Поясним, что "разладка" - это краткий термин для любого изменения вероятностных характеристик.
ВТОРОЙ класс проблем описывается следующим образом. Пусть информация о случайном процессе (его измерение) поступает последовательно во времени. Допустим, что в некоторый, заранее неизвестный, момент происходит изменение какой-либо вероятностной характеристики процесса (в общем случае, какой-либо функции распределения). Спрашивается, как обнаружить произошедшее изменение скорейшим образом после того, как оно возникло (ясно, что сделать это заранее - "предсказать будущее" - в принципе нельзя), но так, чтобы при этом ложные сигналы тревоги не были слишком частыми. Частота таких сигналов может быть ограничена заданной величиной. Эта задача получила название задачи о скорейшем обнаружении "разладки".
Первые работы в указанной области были опубликованы еще в 30-х годах. См. описание в [1111] работы Шьюхарта, посвященной задаче скорейшего обнаружения. Однако, строгой теории тогда построено не было. В 50-х годах появились работы Пейджа [1325], [1326], где предложен метод обнаружения "разладки" как в ретроспективном, так и в скорейшем варианте. Этот метод, получивший впоследствии название метода кумулятивных сумм, и основанный на последовательном вычислении функции правдоподобия, оказался удобным с точки зрения организации расчетов и практически эффективным. Примерно в это же время А.Н.Колмогоров дал строгую постановку задачи о скорейшем обнаружении момента "разладки" для винеровского процесса, сформулировав ее как некоторую вероятностную экстремальную проблему. Эта проблема решена А.Н.Ширяевым, который нашел в указанной ситуации оптимальный метод обнаружения. Итог исследованиям А.Н.Ширяева в этой области подведен в книге [976].
Интерес к проблематике задач о "разладке" стал возрастать с середины 60-х годов, что вызывалось потребностями приложений. При этом основные усилия исследователей направлялись на то, чтобы разработать методы, использующие как можно меньше априорной информации. Дело в том, что оптимальные и близкие к ним методы основаны на точном знании функций распределения до и после момента "разладки" и функции распределения момента "разладки" (если он случаен). Такую информацию трудно получить во многих интересных практических приложениях. В связи с этим обстоятельством стали развиваться минимаксные методы (позволяющие избавиться от информации о функции распределения момента "разладки") и непараметрические методы, позволяющие отказаться от информации о распределениях случайной последовательности. Большие обзоры работ по этой проблематике за последние 15-20 лет содержатся в работах [392], [1406], [1230].
Работы авторов настоящей работы были в числе первых исследований в области непараметрических методов решения задач о "разладке". С самого начала мы стремились синтезировать такие методы, которые можно достаточно легко применять для решения практических задач. В этом отношении именно непараметрические методы, не использующие априорную информацию о распределениях, представляются наиболее подходящими.
Итог нашим исследованиям в рассматриваемой области математической статистики подведен в книге [1051]. Здесь мы изложим основные идеи нашего подхода применительно к ретроспективным методам обнаружения "разладки", так как именно эти методы использовались для анализа исторических текстов.
Наша методология основана на двух основных идеях. Первая состоит в том, что обнаружение изменения любой функции распределения или какой-либо иной вероятностной характеристики может быть (с любой степенью точности) сведено к обнаружению изменения математического ожидания в некоторой новой случайной последовательности, сформированной из исходной. Поясним это положение на следующем примере. Пусть анализируется случайная последовательность
Семейство~(\ref{d1}) представляет собой обобщенный вариант статистики Колмогорова--Смирнова, которая используется для проверки совпадения или различия функций распределения у двух выборок (при фиксированном $n$). Можно показать, что статистики вида~(\ref{d1}) асимптотически (при 
и сохранении соотношения между объемами "склеенных" реализаций) минимаксны (т.е. минимизируют максимально возможную вероятность ошибки оценивания момента "разладки") по порядку.
Указанные идеи - подробнее см. [1051] - воплощены в комплексе прикладных программ VERDIA для персональной ЭВМ типа IBM-PC. Этот комплекс позволяет в диалоговом режиме обнаруживать "разладки" произвольной случайной последовательности. При помощи комплекса VERDIA нами был проведен анализ ряда конкретных исторических текстов. Результаты этого анализа изложены в следующем Дополнении 2 к настоящей книге.
