Полностью автоматический метод сегментации футбольных полей

В этом разделе обобщаются результаты, полученные с помощью предлагаемой стратегии сегментации игрового поля. Сначала в разделе «Анализ полученных результатов» анализируется качество полученных результатов, а также влияние на это качество каждого из этапов, составляющих стратегию. Далее в разделе «Анализ параметров» обсуждается выбор параметров для получения наилучших результатов. В разделе «Ограничения» обсуждаются ограничения стратегии. Наконец, в разделе «Сравнение с другими стратегиями» наши результаты сравниваются с результатами, полученными с использованием других стратегий сегментации.

Для анализа качества нашей стратегии использовались изображения из следующих двух общедоступных баз данных, которые, насколько нам известно, являются единственными, которые предоставляют файлы наземной истины, которые включают двоичные маски, указывающие области изображений, соответствующие игровому полю:

• LaSoDa: Именованная база данных Football (LaSoDa) состоит из 60 изображений с высоким разрешением и полным разрешением (\(1920\1080 раз\) Pixel) соответствует пяти матчам, сыгранным на полях с разными характеристиками (разное положение камеры, разный оттенок травы). Эти изображения показывают разные уровни увеличения (от изображений, показывающих только целевую область, до изображений, показывающих более половины шага) и были получены с помощью четырех различных типов камер (основная камера, боковая камера, конечная камера и аэрофотокамера). Кроме того, он включает в себя сложные условия освещения (соответствие дня и ночи и сильный контраст между освещенными солнцем и затененными участками). Этот набор данных доступен по адресу https://www.gti.ssr.upm.es/data/lasoda.

• База данных Homayounfar: предлагаемая база данных в⁵¹ Состоит из 395 изображений высокого разрешения (\(1280\х720\) пикселей) с двадцати матчей на стадионах с разной текстурой травы и условиями освещения. В отличие от LaSoDa, все его изображения были получены с помощью основной камеры (той, что чаще всего используется в футбольных трансляциях, расположенной примерно по средней линии) и имеют одинаковые уровни увеличения. Однако она более разнообразна, чем фотографии LaSoDa, в плане оттенков травы и наличия теней.

Качество измерялось на уровне пикселей путем поиска (\(\textrm{запись}\)), положения (\(\textrm{предварительно}\)) и F-оценка (\(Ф\)) Следующее:

куда \(\textrm{tp}\)И \(\textrm{fn}\)И \(\textrm{fp}\) являются, соответственно, величинами истинно положительных, ложноотрицательных и ложноположительных результатов. Обратите внимание, что оценка F также известна как оценка F1 или коэффициент подобия игры в кости (DSC).

С точки зрения вычислительной стоимости стратегии, самым дорогим шагом на сегодняшний день является хорошо известный EM-алгоритм, который используется для аппроксимации PDF \(грамм\). Тем не менее, литература указывает, что можно запустить EM для задачи нашего масштаба (графики, состоящие всего из нескольких сотен точек данных) в течение нескольких миллисекунд.⁵². Таким образом, мы считаем возможным заставить нашу систему работать в режиме реального времени на видеофрагментах.

Проанализируйте полученные результаты

В таблице 1 приведены результаты, полученные для каждого из 25 матчей, в которых были распределены 455 проанализированных тестовых изображений (изображения, соответствующие всем этим результатам, доступны по адресу https://www.gti.ssr.upm.es/data/playing-field-segmentation). Эти результаты соответствуют следующим случаям:

• Случай 1: Маска результатов \(\ шляпа {M} _ {\ textrm {PF}} \) (после проведения зеленого колориметрического анализа).

• Случай 2: результаты маски \(\ тильда {M} _ {\ textrm {PF}} \) (после проведения анализа хроматических искажений).

• Случай 3: результаты маски \(М _ {\ textrm {PF}} \) (Окончательные результаты).

Кроме того, на рисунке 7 показаны некоторые репрезентативные результаты, полученные на изображениях с различными условиями освещения, оттенками травы, уровнями увеличения и цветами на рекламных щитах и ​​стендах.

Некоторые репрезентативные результаты были получены с предложенной стратегией. Оригинальные фотографии из⁴⁶ И⁵³.

Высокие значения извлечения, полученные после применения анализа зеленой цветности (случай 1), показывают, что этот первый этап анализа правильно идентифицирует подавляющее большинство пикселей, составляющих игровое поле. Однако ложные обнаружения из-за присутствия голубых или желтых областей приводили к значительно более низким значениям разрешения, особенно в случае изображений некоторых совпадений (например, совпадения 3) в базе данных Homayounfar, где преобладающим цветом на стендах является желтый или голубой. .

Большинство этих ложных срабатываний исчезают после применения анализа хроматических искажений (случай 2), что приводит к значительному увеличению точности.

Окончательные результаты (случай 3) показывают, что после применения анализа на уровне области достигается улучшение как полноты, так и точности. Это связано с тем, что пробелы, вызванные присутствием игроков на поле, были заполнены, кроме того, устранены ложные открытия, вызванные небольшими участками на трибунах с цветами, похожими на цвета травы.

Анализ параметров

Ранее мы упоминали, что стратегия основана на трех параметрах, которые необходимо настроить вручную (один на этапе предварительной обработки и два на этапе анализа на уровне пикселей). В этом подразделе анализируется влияние этих параметров на качество результатов.

Результаты, представленные в таблице 1, были получены комбинацией параметров, которые привели к наивысшему общему F-показателю. Эти параметры сведены в Таблицу 2, а графики на Рисунке 8 показывают различия в качестве результатов при изменении любого из них. Из этих графиков можно сделать следующие выводы:

• коэффициент пропорциональности, определяющий диаметр структурирующего элемента, используемого для предварительной обработки, \(\ альфа _ {е} \): хотя получить наилучшие результаты можно с помощью \ (\ альфа _ {е} = 0,5 \), при более высоких значениях этого параметра качество снижается очень незначительно. С другой стороны, если \(\ альфа _ {е} \) очень низкий (например, \ (\ альфа _ {е} = 0,25 \)) или предварительная обработка не применялась (например, \(\альфа _{е}=0\)), падение качества очень заметно, так как белые полосы плохо интегрируются в траву.

• Максимальное количество распределений Гаусса в оценке PDF для зеленого, \(N_{\textrm{G}}\): Для значений больше 2 качество очень похожее, только немного лучше в случае \(N_{\textrm{G}}=6\).

• максимально допустимое искажение цвета, \(Т _ {\ textrm {с}} \): Качество результатов очень высокое \(Т _ {\ textrm {с}} \) в относительно широком диапазоне (\(T _ {\ textrm {c}} \ в \ влево[ 0.15, 0.4\right]\)). За пределами этого диапазона качество значительно снижается.

Качество результатов зависит от значений параметров, на которых основана предлагаемая стратегия.

Этот анализ показывает, что ни один из параметров не имеет особого значения для стратегии, так как все они имеют удивительно широкие диапазоны значений, в которых качество результатов очень похоже.

детерминанты

Следует отметить, что предложенная стратегия сегментации основана на предположении, что игровое поле представляет собой самую большую зеленую составляющую изображения.

Таким образом, он может дать сбой в сценариях, когда игровое поле также окружено большими участками зелени.

Хотя такие ситуации нередки на профессиональных стадионах (обычно трибуны окрашены в разные цвета из-за количества занимающих их зрителей), они могут возникать на стадионах с зелеными трибунами и с небольшим количеством болельщиков или без них, или в других местах. — Профессиональные поля окружены не павильонами, а растительностью.

На рисунке 9 показан пример такого определения, где верхний ряд изображений показывает результаты, полученные на стадионе с пустыми зелеными трибунами, а нижний ряд изображений показывает результаты на том же стадионе, но с большим количеством зрителей на сидячих местах.

Результаты получены на стадионе с зелеными трибунами: без зрителей (верхний ряд изображений) и с некоторым количеством зрителей (нижний ряд изображений). Оригинальные фотографии из⁵⁴ И⁵⁵.

Сравните с другими стратегиями

Предлагаемая стратегия сравнивалась с четырьмя методами сегментации игрового поля, которые представляют собой три типа стратегий, описанных в разделе «Связанные работы»:

• M1: метод на основе RGB, используемый в^37И3839который основан на правиле \(G>R>B\).

• M2: метод на основе RGB, недавно предложенный в⁴⁰кто пользуется правилами \(Г>Р\) И \(Г>Р\).

• M3: метод на основе оттенка, используемый для стратегий в^{32И33И34И3536}который основан на отделении доминирующей моды от остальных данных в гистограмме компонента оттенка.

• М4: граммиспользуемый утвержденный метод^31,44который основан на анализе файла pdf на наличие зеленого цвета.

Сравнения проводились, если последующая обработка на уровне площади не применялась (обозначается как Случай 2 в разделе «Анализ полученных результатов») и не применялась последующая обработка (Условие 3). Как упоминалось в разделе «Связанные работы», стратегии, в которых используются эти подходы, предусматривают различные этапы после лечения в зависимости от региона. Чтобы провести справедливое сравнение методов и учитывая, что только последующая обработка в предлагаемой стратегии не зависит от заранее определенных пороговых значений, наша последующая обработка применялась ко всем методам при оценке Случая 3.

Поскольку область основного тона, видимая на любом изображении, всегда представляет собой одну выпуклую область, многие из сравниваемых нами стратегий применяют выпуклую оболочку в качестве заключительного этапа постобработки на уровне области. По этой причине мы решили включить в сравнения четвертый случай (случай 4), в котором выпуклая структура применяется как последний этап постобработки.

Графики на рис. 10 сравнивают общее качество, полученное с помощью нашей стратегии и четырех ранее описанных методов в трех упомянутых случаях. На этих графиках, кроме значений \(\textrm{запись}\)И \(\textrm{предварительно}\)И \(Ф\)диапазон значений для каждой из этих переменных, а также стандартное отклонение \(Ф\) (\(е _ {\ textrm {стд}} \)).

Резюме качества, полученного с помощью нашей стратегии и 4 других методов сегментации. Столбики погрешностей указывают наилучший и наихудший результат для каждой меры во всем наборе данных, демонстрируя надежность нашего предложения.

Результаты до применения постобработки (случай 2) показывают, что наша стратегия, как правило, дает наилучшие результаты. Методы М1 и М3 приводят к большому количеству ложноотрицательных результатов на изображениях, имеющих участки игрового поля с сильными тенями (см. рис. 11). В изображениях, где несущие включают области с плохой цветовой информацией (т. е. красный, зеленый и синий каналы очень похожи), методы M1 и M2 дают много ложных срабатываний (см. рис. 12). Что касается метода M4, он не работает на изображениях с областями цвета, которые не могут быть должным образом отфильтрованы в зеленом цветовом пространстве (например, небо на рис. 12 или рекламные щиты на рис. 13).

Полученные результаты представлены на изображении с сильными тенями. исходное изображение из⁴⁶.

Результаты, полученные для изображения с плохой информацией о цвете на вставках. исходное изображение из⁴⁶.

Результаты, полученные на изображении с голубыми рекламными панелями. исходное изображение из⁴⁶.

Графики на рис. 10 также показывают, что после включения постобработки (случай 3) качество результатов для пяти сравниваемых стратегий улучшается (при этом наша стратегия по-прежнему дает наилучшие результаты).

Что касается случая 4, то, как и ожидалось, за счет включения выпуклой структуры в постобработку улучшается полнота всех методов. Однако это улучшение не компенсирует ухудшение значений точности (т. е. значения F-показателя ухудшаются). Предлагаемый метод наименее подвержен влиянию снижения качества.

Наконец, мы должны принять во внимание, что наша стратегия — это не только та, которая дает наилучший общий балл (самый высокий F-показатель), но и та, которая обеспечивает наименьшее значение для \(е _ {\ textrm {стд}} \)что указывает на то, что наши результаты являются наиболее последовательными.