Характерные признаки изображения

Следующим важным элементом метода совмещения является тип используемых характерных признаков изображения. По этому критерию выделяют два существенно отличающихся подхода: методы, основанные на площадях, и методы, основанные на деталях изображения. В первом случае характерными признаками изображения являются сами пиксели с соответствующими им значениями интенсивностей. Во втором случае в качестве характерных признаков могут выступать точки контуров, структурные или геометрические элементы, пятна текстур и даже конкретные объекты физического мира (т.н. совмещение изображений, основанное на знаниях). При этом каждая деталь на изображении задает опорную точку с соответствующими координатами. В методах, основанных на площадях, основной информацией являются интенсивности пикселей, поэтому задача сводится к минимизации целевой функции, задаваемой уравнением 3 или аналогичным уравнением. В случае методов, основанных на деталях изображений, целью является нахождение соответствия между опорными точками, то есть необходимо минимизировать целевую функцию, задаваемую уравнением 5.

Существуют различные точки зрения на вопрос о том, какой из двух подходов является более перспективным. Разные авторы, называют различные преимущества и недостатки, свойственные каждому из подходов.

Так, методы, основанные на площадях, признаются наиболее общими, поскольку не накладывают ограничений на контекст изображений. Также с их помощью можно получать наиболее точные совмещения, так как при этом может эффективно использоваться вся информация с изображения. При необходимости для подчеркивания характерных деталей может быть введено бинарное маскирование или другие процедуры взвешивания, что приводит к большей робастности этих методов. Однако в методах, основанных на площадях, не производится разделение инвариантной информации и информации, меняющейся от изображения к изображению, поэтому их применение затруднительно в ряде приложениях. Из-за использования всего объема исходных данных они трудоемки с вычислительной точки зрения, и с их помощью зачастую бывает затруднительно вести поиск глобального преобразования с большим числом параметров.

Совмещение изображений с использованием различного рода структурных элементов признается менее трудоемким с вычислительной точки зрения, так как размерность входных данных в этом подходе сильно снижена. Поскольку структурные элементы не используют напрямую значения интенсивностей, они гораздо более устойчивы к таким отличиям совмещаемых изображений, как изменение освещения, сезонные изменения, изменение типа сенсора и другие, что делает их гораздо более робастными в ряде приложений. Однако само выделение подобных признаков на изображении является трудной задачей. Для многих классов изображений это является серьезным недостатком, поскольку точность регистрации может оказаться не лучше, чем точность, достигаемая при первоначальном выборе опорных точек. Число структурных элементов и точность положения соответствующих им опорных точек обычно ограничены. Поэтому структурные элементы не несут информации о локальных смещениях, а глобальное преобразование с их помощью может определяться достаточно грубо.

В методах, основанных на деталях изображений, важным аспектом является построение адекватного описания изображения. В процессе построения описания должна выявляться релевантная информация о содержимом изображения, то есть та информация, которая не зависит от условий съемки, а отражает пространственные взаимосвязи между физическими объектами сцены.Поэтому методы, основанные на деталях изображений, представляют несомненную ценность в вопросах интерпретации и понимания изображений, а эффективность работы этих методов, основанных на той или иной модели изображения, может служить критерием адекватности данной модели.

Некоторые авторы пытаются использовать преимущества каждого из двух подходов, сначала производя неточное, но робастное, совмещение методом, основанным на деталях изображений, а затем уточняя глобальное преобразование и определяя поле сдвигов методом, основанным на площадях. Производятся попытки построить многоуровневую систему совмещения изображений, использующую различные представления изображения с постепенно возрастающей степенью абстракции. Однако и в таких системах существует свобода выбора характерных признаков изображения для каждого уровня. Например, в методах, основанных на площадях, отдельные пиксели можно объединять в единые области, которые используются в качестве шаблонов для совмещения. Для получения непрерывных полей деформации используются теоретические модели, в которых каждый пиксель может обладать собственным смещением. В методах, основанных на деталях изображений, выбор еще более широк. В качестве контурного представления изображения применяются совокупности точек, находящихся на перепадах яркости, границы областей с однородной текстурой или их остов. Соответственно, и структурные элементы, построенные на столь различной контурной информации, будут разными. К сожалению, обоснование использования тех или иных алгоритмов построения описания изображений (выбор конкретных структурных элементов) на данный момент остается на уровне эвристических соображений.