{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "Блог Антона Репушко: заметки с тегом ресёч", "_rss_description": "Блог Антона Репушко", "_rss_language": "ru", "_itunes_email": "", "_itunes_categories_xml": "", "_itunes_image": "", "_itunes_explicit": "", "home_page_url": "https:\/\/repushko.com\/tags\/resyoch\/", "feed_url": "https:\/\/repushko.com\/tags\/resyoch\/json\/", "icon": "https:\/\/repushko.com\/user\/userpic@2x.jpg?1608852798", "author": { "name": "Антон Репушко", "url": "https:\/\/repushko.com\/", "avatar": "https:\/\/repushko.com\/user\/userpic@2x.jpg?1608852798" }, "items": [ { "id": "49", "url": "https:\/\/repushko.com\/all\/openeds2020\/", "title": "Дневник соревнования OpenEDS 2020", "content_html": "

Мы со Святославом Скобловым<\/a> 2 месяца решали OpenEDS 2020 Challenge<\/a>, где в одном треке заняли первое место, а во втором восьмое. Про второй трек тут не будет, потому что он скучный и не очень интересный. И ещё нас изредка консультировал Вова Михеюшкин по всяким CV-вопросам. Может быть кому-то тоже будет интересно почитать, как проходят соревнования по ML.<\/p>\n

Про соревнование<\/h2>\n

На основе датасета OpenEDS2020<\/a>, собранного Facebook Reality Labs<\/a>, запустили два трека. Оба связаны с VR\/AR, Oculus и всем таким. Треки шли в рамках воркшопа к ECCV 2020<\/a>.<\/p>\n

\n\"\"\n
Один из тысяч кадров<\/div>\n<\/div>\n

В первом треке<\/b> даны последовательности по 100 (трейн) и 55 (валидация) фотографий глаз с gaze-векторами каждого кадра. Представьте, что вы умеет стрелять лазерами из глаз. Вот отнормированный вектор из вашего зрачка до объекта на VR\/AR экране и есть gaze-vector.
\nЧастота записи последовательности — 100Гц. В тесте были те же последовательности по 50 кадров, но уже без настоящих векторов. Общая задача — научиться предсказывать по 50 кадрам последовательности в тесте следующие 5 кадров (т.e. 50мс). Нужно это для foveated rendering<\/a>.<\/p>\n

Во втором треке<\/b> нужно было сегментировать части глаза (бэкграунд, склеру, радужку и зрачок) по кривой разметке 5% данных в каждой последовательности из 200 кадров. Многие (по отзывам других участников) боролись именно с кривой разметкой, мы же начали решать второй трек за 2 недели до конца и не слишком преуспели, хотя разрыв между топом очень маленький. Важнее и интереснее для нас был именно первый трек.<\/p>\n

Технические особенности<\/h2>\n

Соревнование проводилось на платформе EvalAI<\/a>. Там можно скрывать свои сабмиты, но перед этим на какую-то долю секунды они попадают на общую таблицу. Поэтому было решено написать своего бота, который бы мониторил изменения лидерборда, генерировал красивые картинки и присылал их в наш общий диалог. С помощью него мы могли трекать и отслеживать настоящих лидеров, а не те результаты, которые были показаны вручную.
\nБыл только 1 сабмит в день, каждую ночь предыдущая возможность сабмита сгорала.<\/p>\n

\n\"\"\n
Команда BTSD скрыла свой сабмит<\/div>\n<\/div>\n

Своего железа у нас было не очень много, поэтому мы время от времени арендовали машины на vast.ai<\/a>. Потратили на это около 230 долларов за 2 месяца соревнования.<\/p>\n

Дневник<\/h2>\n

1 июня<\/i>
\nСоздан чат в Телеграме, начали разбираться в предметной области, с платформой, читать правила. Выяснили, как части глаза называются на английском. Создали репозиторий на Гитхабе и настроили всем доступы.<\/p>\n

\n\"\"\n<\/div>\n

3 июня<\/i>
\nВыкачиваются данные, визуально посмотрели gaze-вектора. Появляется идея классическими CV-методами поисков контуров искать зрачок на изображении и смотреть на изменение его положение внутри склеры. Разбираемся в типах движения глаза (саккады, скольжения, статичное положение и т. д.). Наконец-то понимаем вообще в чём суть трека.<\/p>\n

4 июня<\/i>
\nНашли pupil-labs<\/a>, с помощью оборудования которых Facebook генерировал свой датасет. Ничего полезного, но очень интересно.
\nНаучились находить зрачок обычными CV методами. В итоге это потом использовалось только в визуализациях.<\/p>\n

\n\"\"\n<\/div>\n

Пытались добавить ещё всяких контуров, но ничего не получилось.<\/p>\n

\n\"\"\n
Оригинальный кадр<\/div>\n<\/div>\n
\n\"\"\n
Посчитанный контур<\/div>\n<\/div>\n

Важное решение<\/b>: посчитали правильным разделить пайплайн на две части: gaze-estimator (модель, которая по кадру предсказывает его gaze-вектор) и gaze-predictor (модель, которая по истории gaze-векторов предсказывает gaze-вектора следующих 5 кадров).<\/p>\n

6 июня<\/i>
\nНачали визуализировать вектора, чтобы посмотреть на всю последовательность целиком. Нам нужен gaze-predictor, но насколько сложным он будет? Если в данных в основном статичное положение глаза, то тогда сложная модель тут не нужна (так в итоге и оказалось).<\/p>\n

\n\"\"\n
Глаз практически неподвижен<\/div>\n<\/div>\n
\n\"\"\n
А тут уже двигается<\/div>\n<\/div>\n

Где-то тут было решено для обучения эстиматора (модели, которая будет по кадру предсказывать gaze-вектор) использовать аугментации<\/a>. Но проблема в том, что при изменении изображения нужно будет менять и изначальный вектор: вращаешь изображение -> вращаешь вектор. Решили патчить albumentations<\/a>.<\/p>\n

\n\"\"\n
Проекция вектора<\/div>\n<\/div>\n

11 июня<\/i>
\nНачали гонять первые модели, оптимизировать параметры. Стали разбираться с предиктором. Попробовали всякие стандартные штуки для форкаста временных рядов типа prophet<\/a>, но они предсказуемо не зашли из-за специфики данных: нельзя вытащить сезонность (которой нет), другие фичи вроде дней недели, времени и прочего, что активно эксплуатируется в таких местах.
\nОбучили первый resnet для эстиматора.<\/p>\n

12 июня<\/i>
\nСкор первого трека: 0.1556<\/b><\/p>\n

\n\"\"\n
Сделали первый сабмит (команда baccaddes)<\/div>\n<\/div>\n

Начали глубже разбираться с метрикой и сравнивать предикты модели с реальными данными, чтобы понять, где косяк. Настроили честную локальную валидацию эстиматора.<\/p>\n

15 июня<\/i>
\nСкор первого трека: 0.0786<\/b><\/p>\n

Засабмитили улучшенную модель (VAR поверх хорошего эстиматора).
\nЭто приблизило нас к остальным на ЛБ.<\/p>\n

16 июня<\/i>
\nСкор первого трека: 0.0747<\/b><\/p>\n

Написан и запущен Big Brother — бот, который следит за ЛБ. С этого момента до конца соревнования он работал с одним перебоем на полдня, после без ошибок.
\nЗасабмитили скользящее среднее по 5 последним кадрам.<\/p>\n

\n\"\"\n
Бот отрабатывает как надо<\/div>\n<\/div>\n

17 июня<\/i><\/p>\n

\n\"\"\n
Начали смотреть глазами на глаза (это анимация одной последовательности)<\/div>\n<\/div>\n

Посмотрели на статические генераторы таких данных (NVGaze и UnityEyes). В итоге для сореванования их так и не использовали.<\/p>\n

22 июня<\/i>
\nПредикт эстиматора очень грязный: колбасит вектора между кадрами и получается, что между ними как будто бы сильное движение глаза.<\/p>\n

28 июня<\/i>
\nПодумали, что было бы классно научиться группировать авторов одних и тех же последовательностей (количество участников при сборе датасета на порядки меньше числа последовательностей), чтобы вытаскивать оттуда какие-то фичи специфичные для конкретного участника. Эту идею так и не доделали.<\/p>\n

Начали думать про классическое CV снова: хотели вытаскивать крайние точки глаз и прочее.<\/p>\n

Обучили LSTM для предиктора. Сработало чуточку хуже средних по 5 кадрам.<\/p>\n

29 июня<\/i>
\nЗакончили патчить albumentations.<\/p>\n

\n\"\"\n
Оригинальный кадр<\/div>\n<\/div>\n
\n\"\"\n
Сработавший Vertical Flip (и пересчитанный вектор)<\/div>\n<\/div>\n
\n\"\"\n
Живой ShiftScaleRotate<\/div>\n<\/div>\n

1 июля<\/i>
\nНачали подозревать, что в тесте всё таки в основном статика. И что самый большой буст тут даст улучшение эстиматора, а не предиктора.<\/p>\n

Нафигачили для эстиматора аугментаций.<\/p>\n

4 июля<\/i>
\nСкор первого трека: 0.0613<\/b><\/p>\n

Стали думать, как сделать интереснее предиктор. Взяли потыкать darts<\/a> — это такой враппер над всякими стандартными моделями для форкаста.<\/p>\n

Запустили старый метод среднего по кадрам (или какую-то оч простую эвристику) над данными нового эстиматора. Очень сильно улучшились.<\/p>\n

5 июля<\/i>
\nСкор первого трека: 0.0570<\/b><\/p>\n

Выучили пачку effnet’ов (до этого был resnet). Начали дробить на фолды и мешать предикты с разных фолдов.<\/p>\n

Сняли тачку на vast.ai<\/a>.<\/p>\n

Посмотрели на тестовые данные на основе более-менее нормальных предиктов эстиматора. Оказалось, что какая-то динамика в последних 10 кадрах последовательности есть всего в 600-700 последовательностях из 6400.<\/p>\n

Засабмитил старые методы предикта на среднем фолдов effnet’а. Почти до самого конца это было нашим лучшим результатом и первым местом на ЛБ.<\/p>\n

9 июля<\/i>
\nОбучили mobnet. Стали экспериментировать с предиктором: ExponentialSmoothing, VAR, ARIMA и т. д.
\nМетоды ничего не докинули, а некоторые и ухудшили скор относительно просто среднего.
\nСкор самого предиктора при этом был очень хороший, около 0.000400+ на кадр по их метрике.<\/p>\n

Первый раз открыли данные второго трека, порисовали маски.<\/p>\n

\n\"\"\n<\/div>\n

10 июля<\/i>
\nЗасабмитили скользящее среднее по 3 кадрам на куче разных фолдов — не сработало.<\/p>\n

Постарались достраивать вектора регрессией. Тоже не сработало.<\/p>\n

11 июля<\/i>
\nНачали играться с фильтрами над сигналом, чтобы сгладить разницу предиктов эстиматора между соседними кадрами. Получалось хорошо, использовали фильтр Савицки-Голая<\/a>. Кажется, что всякие неровности эстиматора очень красиво сглаживаются.<\/p>\n

\n\"\"\n<\/div>\n

12 июля<\/i>
\nРазбирались с предиктором. Выяснили, что наша регрессия багованная и искали ошибку в разнице валидаций друг у друга. Нашли. Смотрели глазами на фильтрованные предикты и думали, что делать дальше.<\/p>\n

14 июля<\/i>
\nНарисовали красивые картинки градиентов по разным осям между двумя соседними кадрами по предиктам на всём тесте. Выяснили, что у нас действительно всё — статика. Поэтому опять же нет смысла во всяких сложных моделях предиктора.<\/p>\n

\n\"\"\n<\/div>\n

Выяснили, что локальная метрика эстиматора напрямую коррелирует с результатами на ЛБ и что результат одного хорошего фолда лучше, чем его же со смесью фолдов чуть-чуть хуже. Опять упёрлись в то, что надо дотюнивать эстиматор. Вернулись к resnet’у.<\/p>\n

14 июля — 23 июля<\/i>
\nСкор первого трека: 0.0552<\/b><\/p>\n

Разбирались с сегментацией, удивлялись кривой разметке, сложным случая с закрытыми глазами и т. д.<\/p>\n

Вытюнили 1 фолд для эстиматора до ошибки 0.000197 (в 3 раза лучше прошлых). В предиктор засунули простую эвристику: если статика, то скользящее среднее по 2 последним кадрам, а если была динамика в последних 5 кадрах, то добавляем градиент дальше до упора (из-за особенностей движения глаза, там бОльшая часть движений — линейная).<\/p>\n

23 июля — 29 июля<\/i>
\nТюнили и думали над сегментацией. Смотрели на то, как нам применить синтетические данные в сегментаци. Генерировали синтетику.<\/p>\n

\n\"\"\n
Типичный несуществующий глаз<\/div>\n<\/div>\n

Из интересного: один сабмит пропустили, потому что кое-кто заснул от усталости и не слышал звонков с просьбой прислать данные. Два сабмита в два дня были сделаны за 30 и 20 секунд до сгорания.<\/p>\n

\n\"\"\n
Кусочек каких-то сравнений моделей по сегментации<\/div>\n<\/div>\n

30 июля — 31 июля<\/i>
\nСкор первого трека: 0.0537<\/b><\/p>\n

Смотрели и думали над всякими сложными случаями в сегментации<\/p>\n

\n\"\"\n<\/div>\n
\n\"\"\n<\/div>\n

По первому треку доучили остальные бленды эстиматора, сблендили и засабмитили. Так и осталось нашим лучшим результатом.<\/p>\n

По сегментации остались на 8ом месте.<\/p>\n

Что хотели попробовать, но не попробовали<\/h2>\n