В России разработали ПО для восстановления архивных документов
Ученые Санкт-Петербургского государственного университета промышленных технологий и дизайна (СПбГУПТД) создали и запатентовали программное обеспечение на базе искусственного интеллекта, которое автоматически восстанавливает структуру и содержание исторических документов с дефектами. Данную информацию сообщает портал Ferra.
Система, использующая методы компьютерного зрения и языкового моделирования, восстанавливает как структуру, так и содержание материалов, включая утраченный текст, сохраняя оригинальный контекст и стиль. В рамках экспериментального исследования были оцифрованы архивные документы Ленинградского института текстильной и легкой промышленности им. С.М. Кирова за 1968 год.
Программа состоит из визуального и лингвистического модулей. Первый модуль отвечает за диагностику повреждений и подготовку изображений, второй - за распознавание символов и восстановление текста. Одной из главных особенностей разработки является способность системы обрабатывать сложные архивные издания с многоколоночной версткой, такие как старые газеты. Для этого была обучена собственная языковая модель, учитывающая расположение блоков на странице и последовательность текста.
Модель была дообучена на подшивке газеты "Кадры стране" за 1968 год, что позволило системе освоить типографские особенности и артефакты печати той эпохи. Это обеспечило высокую точность распознавания, включая корректную обработку специфической лексики и орфографических норм.
Процесс работы программы включает поэтапную обработку: сначала система анализирует скан и разделяет его на смысловые блоки, затем проводит визуальную очистку фрагментов, повышая контрастность и устраняя микроразрывы. На завершающем этапе языковая модель выполняет структурное и смысловое восстановление, корректно объединяя слова и выстраивая последовательность абзацев и заголовков.
Программа предназначена для архивов, библиотек и исследователей, занимающихся массовой оцифровкой исторических фондов. В будущем планируется адаптация технологии для юриспруденции и криминалистики, а также для страхования при обработке документов, поврежденных в чрезвычайных ситуациях.
