{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "Блог Антона Репушко: заметки с тегом соревнования", "_rss_description": "Блог Антона Репушко", "_rss_language": "ru", "_itunes_email": "", "_itunes_categories_xml": "", "_itunes_image": "", "_itunes_explicit": "", "home_page_url": "https:\/\/repushko.com\/tags\/sorevnovaniya\/", "feed_url": "https:\/\/repushko.com\/tags\/sorevnovaniya\/json\/", "icon": "https:\/\/repushko.com\/user\/userpic@2x.jpg?1608852798", "author": { "name": "Антон Репушко", "url": "https:\/\/repushko.com\/", "avatar": "https:\/\/repushko.com\/user\/userpic@2x.jpg?1608852798" }, "items": [ { "id": "49", "url": "https:\/\/repushko.com\/all\/openeds2020\/", "title": "Дневник соревнования OpenEDS 2020", "content_html": "

Мы со Святославом Скобловым<\/a> 2 месяца решали OpenEDS 2020 Challenge<\/a>, где в одном треке заняли первое место, а во втором восьмое. Про второй трек тут не будет, потому что он скучный и не очень интересный. И ещё нас изредка консультировал Вова Михеюшкин по всяким CV-вопросам. Может быть кому-то тоже будет интересно почитать, как проходят соревнования по ML.<\/p>\n

Про соревнование<\/h2>\n

На основе датасета OpenEDS2020<\/a>, собранного Facebook Reality Labs<\/a>, запустили два трека. Оба связаны с VR\/AR, Oculus и всем таким. Треки шли в рамках воркшопа к ECCV 2020<\/a>.<\/p>\n

\n\"\"\n
Один из тысяч кадров<\/div>\n<\/div>\n

В первом треке<\/b> даны последовательности по 100 (трейн) и 55 (валидация) фотографий глаз с gaze-векторами каждого кадра. Представьте, что вы умеет стрелять лазерами из глаз. Вот отнормированный вектор из вашего зрачка до объекта на VR\/AR экране и есть gaze-vector.
\nЧастота записи последовательности — 100Гц. В тесте были те же последовательности по 50 кадров, но уже без настоящих векторов. Общая задача — научиться предсказывать по 50 кадрам последовательности в тесте следующие 5 кадров (т.e. 50мс). Нужно это для foveated rendering<\/a>.<\/p>\n

Во втором треке<\/b> нужно было сегментировать части глаза (бэкграунд, склеру, радужку и зрачок) по кривой разметке 5% данных в каждой последовательности из 200 кадров. Многие (по отзывам других участников) боролись именно с кривой разметкой, мы же начали решать второй трек за 2 недели до конца и не слишком преуспели, хотя разрыв между топом очень маленький. Важнее и интереснее для нас был именно первый трек.<\/p>\n

Технические особенности<\/h2>\n

Соревнование проводилось на платформе EvalAI<\/a>. Там можно скрывать свои сабмиты, но перед этим на какую-то долю секунды они попадают на общую таблицу. Поэтому было решено написать своего бота, который бы мониторил изменения лидерборда, генерировал красивые картинки и присылал их в наш общий диалог. С помощью него мы могли трекать и отслеживать настоящих лидеров, а не те результаты, которые были показаны вручную.
\nБыл только 1 сабмит в день, каждую ночь предыдущая возможность сабмита сгорала.<\/p>\n

\n\"\"\n
Команда BTSD скрыла свой сабмит<\/div>\n<\/div>\n

Своего железа у нас было не очень много, поэтому мы время от времени арендовали машины на vast.ai<\/a>. Потратили на это около 230 долларов за 2 месяца соревнования.<\/p>\n

Дневник<\/h2>\n

1 июня<\/i>
\nСоздан чат в Телеграме, начали разбираться в предметной области, с платформой, читать правила. Выяснили, как части глаза называются на английском. Создали репозиторий на Гитхабе и настроили всем доступы.<\/p>\n

\n\"\"\n<\/div>\n

3 июня<\/i>
\nВыкачиваются данные, визуально посмотрели gaze-вектора. Появляется идея классическими CV-методами поисков контуров искать зрачок на изображении и смотреть на изменение его положение внутри склеры. Разбираемся в типах движения глаза (саккады, скольжения, статичное положение и т. д.). Наконец-то понимаем вообще в чём суть трека.<\/p>\n

4 июня<\/i>
\nНашли pupil-labs<\/a>, с помощью оборудования которых Facebook генерировал свой датасет. Ничего полезного, но очень интересно.
\nНаучились находить зрачок обычными CV методами. В итоге это потом использовалось только в визуализациях.<\/p>\n

\n\"\"\n<\/div>\n

Пытались добавить ещё всяких контуров, но ничего не получилось.<\/p>\n

\n\"\"\n
Оригинальный кадр<\/div>\n<\/div>\n
\n\"\"\n
Посчитанный контур<\/div>\n<\/div>\n

Важное решение<\/b>: посчитали правильным разделить пайплайн на две части: gaze-estimator (модель, которая по кадру предсказывает его gaze-вектор) и gaze-predictor (модель, которая по истории gaze-векторов предсказывает gaze-вектора следующих 5 кадров).<\/p>\n

6 июня<\/i>
\nНачали визуализировать вектора, чтобы посмотреть на всю последовательность целиком. Нам нужен gaze-predictor, но насколько сложным он будет? Если в данных в основном статичное положение глаза, то тогда сложная модель тут не нужна (так в итоге и оказалось).<\/p>\n

\n\"\"\n
Глаз практически неподвижен<\/div>\n<\/div>\n
\n\"\"\n
А тут уже двигается<\/div>\n<\/div>\n

Где-то тут было решено для обучения эстиматора (модели, которая будет по кадру предсказывать gaze-вектор) использовать аугментации<\/a>. Но проблема в том, что при изменении изображения нужно будет менять и изначальный вектор: вращаешь изображение -> вращаешь вектор. Решили патчить albumentations<\/a>.<\/p>\n

\n\"\"\n
Проекция вектора<\/div>\n<\/div>\n

11 июня<\/i>
\nНачали гонять первые модели, оптимизировать параметры. Стали разбираться с предиктором. Попробовали всякие стандартные штуки для форкаста временных рядов типа prophet<\/a>, но они предсказуемо не зашли из-за специфики данных: нельзя вытащить сезонность (которой нет), другие фичи вроде дней недели, времени и прочего, что активно эксплуатируется в таких местах.
\nОбучили первый resnet для эстиматора.<\/p>\n

12 июня<\/i>
\nСкор первого трека: 0.1556<\/b><\/p>\n

\n\"\"\n
Сделали первый сабмит (команда baccaddes)<\/div>\n<\/div>\n

Начали глубже разбираться с метрикой и сравнивать предикты модели с реальными данными, чтобы понять, где косяк. Настроили честную локальную валидацию эстиматора.<\/p>\n

15 июня<\/i>
\nСкор первого трека: 0.0786<\/b><\/p>\n

Засабмитили улучшенную модель (VAR поверх хорошего эстиматора).
\nЭто приблизило нас к остальным на ЛБ.<\/p>\n

16 июня<\/i>
\nСкор первого трека: 0.0747<\/b><\/p>\n

Написан и запущен Big Brother — бот, который следит за ЛБ. С этого момента до конца соревнования он работал с одним перебоем на полдня, после без ошибок.
\nЗасабмитили скользящее среднее по 5 последним кадрам.<\/p>\n

\n\"\"\n
Бот отрабатывает как надо<\/div>\n<\/div>\n

17 июня<\/i><\/p>\n

\n\"\"\n
Начали смотреть глазами на глаза (это анимация одной последовательности)<\/div>\n<\/div>\n

Посмотрели на статические генераторы таких данных (NVGaze и UnityEyes). В итоге для сореванования их так и не использовали.<\/p>\n

22 июня<\/i>
\nПредикт эстиматора очень грязный: колбасит вектора между кадрами и получается, что между ними как будто бы сильное движение глаза.<\/p>\n

28 июня<\/i>
\nПодумали, что было бы классно научиться группировать авторов одних и тех же последовательностей (количество участников при сборе датасета на порядки меньше числа последовательностей), чтобы вытаскивать оттуда какие-то фичи специфичные для конкретного участника. Эту идею так и не доделали.<\/p>\n

Начали думать про классическое CV снова: хотели вытаскивать крайние точки глаз и прочее.<\/p>\n

Обучили LSTM для предиктора. Сработало чуточку хуже средних по 5 кадрам.<\/p>\n

29 июня<\/i>
\nЗакончили патчить albumentations.<\/p>\n

\n\"\"\n
Оригинальный кадр<\/div>\n<\/div>\n
\n\"\"\n
Сработавший Vertical Flip (и пересчитанный вектор)<\/div>\n<\/div>\n
\n\"\"\n
Живой ShiftScaleRotate<\/div>\n<\/div>\n

1 июля<\/i>
\nНачали подозревать, что в тесте всё таки в основном статика. И что самый большой буст тут даст улучшение эстиматора, а не предиктора.<\/p>\n

Нафигачили для эстиматора аугментаций.<\/p>\n

4 июля<\/i>
\nСкор первого трека: 0.0613<\/b><\/p>\n

Стали думать, как сделать интереснее предиктор. Взяли потыкать darts<\/a> — это такой враппер над всякими стандартными моделями для форкаста.<\/p>\n

Запустили старый метод среднего по кадрам (или какую-то оч простую эвристику) над данными нового эстиматора. Очень сильно улучшились.<\/p>\n

5 июля<\/i>
\nСкор первого трека: 0.0570<\/b><\/p>\n

Выучили пачку effnet’ов (до этого был resnet). Начали дробить на фолды и мешать предикты с разных фолдов.<\/p>\n

Сняли тачку на vast.ai<\/a>.<\/p>\n

Посмотрели на тестовые данные на основе более-менее нормальных предиктов эстиматора. Оказалось, что какая-то динамика в последних 10 кадрах последовательности есть всего в 600-700 последовательностях из 6400.<\/p>\n

Засабмитил старые методы предикта на среднем фолдов effnet’а. Почти до самого конца это было нашим лучшим результатом и первым местом на ЛБ.<\/p>\n

9 июля<\/i>
\nОбучили mobnet. Стали экспериментировать с предиктором: ExponentialSmoothing, VAR, ARIMA и т. д.
\nМетоды ничего не докинули, а некоторые и ухудшили скор относительно просто среднего.
\nСкор самого предиктора при этом был очень хороший, около 0.000400+ на кадр по их метрике.<\/p>\n

Первый раз открыли данные второго трека, порисовали маски.<\/p>\n

\n\"\"\n<\/div>\n

10 июля<\/i>
\nЗасабмитили скользящее среднее по 3 кадрам на куче разных фолдов — не сработало.<\/p>\n

Постарались достраивать вектора регрессией. Тоже не сработало.<\/p>\n

11 июля<\/i>
\nНачали играться с фильтрами над сигналом, чтобы сгладить разницу предиктов эстиматора между соседними кадрами. Получалось хорошо, использовали фильтр Савицки-Голая<\/a>. Кажется, что всякие неровности эстиматора очень красиво сглаживаются.<\/p>\n

\n\"\"\n<\/div>\n

12 июля<\/i>
\nРазбирались с предиктором. Выяснили, что наша регрессия багованная и искали ошибку в разнице валидаций друг у друга. Нашли. Смотрели глазами на фильтрованные предикты и думали, что делать дальше.<\/p>\n

14 июля<\/i>
\nНарисовали красивые картинки градиентов по разным осям между двумя соседними кадрами по предиктам на всём тесте. Выяснили, что у нас действительно всё — статика. Поэтому опять же нет смысла во всяких сложных моделях предиктора.<\/p>\n

\n\"\"\n<\/div>\n

Выяснили, что локальная метрика эстиматора напрямую коррелирует с результатами на ЛБ и что результат одного хорошего фолда лучше, чем его же со смесью фолдов чуть-чуть хуже. Опять упёрлись в то, что надо дотюнивать эстиматор. Вернулись к resnet’у.<\/p>\n

14 июля — 23 июля<\/i>
\nСкор первого трека: 0.0552<\/b><\/p>\n

Разбирались с сегментацией, удивлялись кривой разметке, сложным случая с закрытыми глазами и т. д.<\/p>\n

Вытюнили 1 фолд для эстиматора до ошибки 0.000197 (в 3 раза лучше прошлых). В предиктор засунули простую эвристику: если статика, то скользящее среднее по 2 последним кадрам, а если была динамика в последних 5 кадрах, то добавляем градиент дальше до упора (из-за особенностей движения глаза, там бОльшая часть движений — линейная).<\/p>\n

23 июля — 29 июля<\/i>
\nТюнили и думали над сегментацией. Смотрели на то, как нам применить синтетические данные в сегментаци. Генерировали синтетику.<\/p>\n

\n\"\"\n
Типичный несуществующий глаз<\/div>\n<\/div>\n

Из интересного: один сабмит пропустили, потому что кое-кто заснул от усталости и не слышал звонков с просьбой прислать данные. Два сабмита в два дня были сделаны за 30 и 20 секунд до сгорания.<\/p>\n

\n\"\"\n
Кусочек каких-то сравнений моделей по сегментации<\/div>\n<\/div>\n

30 июля — 31 июля<\/i>
\nСкор первого трека: 0.0537<\/b><\/p>\n

Смотрели и думали над всякими сложными случаями в сегментации<\/p>\n

\n\"\"\n<\/div>\n
\n\"\"\n<\/div>\n

По первому треку доучили остальные бленды эстиматора, сблендили и засабмитили. Так и осталось нашим лучшим результатом.<\/p>\n

По сегментации остались на 8ом месте.<\/p>\n

Что хотели попробовать, но не попробовали<\/h2>\n
    \n
  • Не использовали никакую синтетику, а скорее всгео надо было бы. Можно и в обоих треках<\/li>\n
  • Надо было учить LSTM на чистых данных (в том числе из теста и из трейна) и сразу на векторах. Наши эвристики в итоге были по каждой оси отдельно<\/li>\n<\/ul>\n", "date_published": "2020-08-04T21:38:13+03:00", "date_modified": "2020-08-17T15:21:44+03:00", "image": "https:\/\/repushko.com\/pictures\/099.png", "_date_published_rfc2822": "Tue, 04 Aug 2020 21:38:13 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "49", "_e2_data": { "is_favourite": true, "links_required": [], "og_images": [ "https:\/\/repushko.com\/pictures\/099.png", "https:\/\/repushko.com\/pictures\/lb.jpg", "https:\/\/repushko.com\/pictures\/eye.jpg", "https:\/\/repushko.com\/pictures\/pupil_center.jpg", "https:\/\/repushko.com\/pictures\/countur_orig.jpg", "https:\/\/repushko.com\/pictures\/countur.jpg", "https:\/\/repushko.com\/pictures\/static_gaze.jpg", "https:\/\/repushko.com\/pictures\/saccade.jpg", "https:\/\/repushko.com\/pictures\/vector_visualize.jpg", "https:\/\/repushko.com\/pictures\/submit.jpg", "https:\/\/repushko.com\/pictures\/submit_bot.jpg", "https:\/\/repushko.com\/pictures\/ezgif.com-video-to-gif.gif", "https:\/\/repushko.com\/pictures\/orig.jpg", "https:\/\/repushko.com\/pictures\/flipped.jpg", "https:\/\/repushko.com\/pictures\/shift_scale_rotate.jpg", "https:\/\/repushko.com\/pictures\/mask.jpg", "https:\/\/repushko.com\/pictures\/savgol_2.jpg", "https:\/\/repushko.com\/pictures\/gradient_x.jpg", "https:\/\/repushko.com\/pictures\/unity_eye.jpg", "https:\/\/repushko.com\/pictures\/sega.png", "https:\/\/repushko.com\/pictures\/sega2.jpg", "https:\/\/repushko.com\/pictures\/sega3.jpg" ] } }, { "id": "20", "url": "https:\/\/repushko.com\/all\/junction-2019\/", "title": "Junction 2019 — русские, русские, русские, VK", "content_html": "
    \n\"\"\n<\/div>\n

    Был на выходных на Junction-2019 (топовый европейский хакатон в Хельсинки), а это заметка фактами по свежим следам.<\/p>\n

    Выжимка<\/h2>\n

    Русские, русские, автобусы из Питера, иностранцы придумывают, как интегрировать VK с AliExpress 🤯, ещё русские, детская безопасность в интернете, клёвое название нашего проекта, купленные шрифты, Люси в восторге, треки не очень, старость.<\/p>\n

    Чуть более развёрнуто<\/h2>\n

    Похоже Junction окончательно стал главной выездной площадкой для IT-шников в СНГ. Русскоговорящих было по ощущениям больше половины. Приглашения для визы генерил скриптик на сайте, это ли не победа над бюрократией?<\/p>\n

    Вспомнил, что он же в 2016 был моим первым выездным IT-мероприятием и атмосфера была совсем другой: пиццабургеры, Yousician с укулеле, на которых можно было играть ночью, лазерный луч через всё пространство мероприятия. Тогда это чувствовалось как что-то близкое, организованное такими же как и ты. Сейчас — построенный бизнес, который (видимо успешно) штампует мероприятия для студентов и ищет спонсоров. Ну и призы подросли.<\/p>\n

    Чувствовалась старость и лень: зачем не спать всю ночь, когда после сна ты сможешь что-то пофиксить за 20 минут? Зачем не спать, когда в понедельник на работу?<\/p>\n

    Победители<\/h2>\n
      \n
    1. Приложение для авторизации детей, которые ещё не умеют читать и писать (а потреблять контент хочется) в соцсетях. Суть в том, что ты придумываешь историю с вымышленными персонажами, и вот эта твоя история и становится паролем.<\/li>\n
    2. Симуляция потоков людей на мероприятии. Создали комнатку в игровом движке, наплодили агентов, хакнули A* алгоритм и ПОБЕЖАЛИ ВСЕ НА ВЫХОД ПОЖАРНАЯ ТРЕВОГА УПС, ТЫ СГОРЕЛ И НЕ ДОБЕЖАЛ. Демка выглядела классно.<\/li>\n
    3. Оказывается, фины очень много тратят на гэмблинг. Ребята сделали рулетку на телефоне, где проигранные деньги отправляются тебе на банковский счёт и вернутся к тебе только через год.<\/li>\n<\/ol>\n

      sad but true<\/h2>\n

      В итоге мы с Дашей набросали вдвоём маленькое демо приложения для личного контроля финансов, собрав в кучку все лучшие идеи, которые нашлись в других приложениях (типа burnout-char’a для отслеживания твоего ежедневного бюджета). Сервер я уже грохнул, так что есть только скрины. Возможно как-то допилим и сделаем интеграцию со своими банковскими аккаунтами. Оказывается в Европе это сильно проще, чем с российскими банками.<\/p>\n

      Называется sad but true, потому что в миллениальном настоящем денег у тебя сильно меньше, чем приходит с ЗП на карту: это на квартирку, это на Netflix, а за Spotify кто заплатит, Пушкин? Вот и хочется, чтобы оно там само где-то считалось, списывалось, советовало как сэкономить, а ты повиновался бы бездушным if-else и средним по окнам в временных рядах.<\/p>\n

      Фронтендик на Svelte оказался удобным. Мне как глупому `if err!= nil ` бэкендеру прям самое то.<\/p>\n

      \n
      \n\"\"\n\"\"\n\"\"\n<\/div>\n<\/div>\n", "date_published": "2019-11-18T16:11:17+03:00", "date_modified": "2020-02-03T14:01:50+03:00", "image": "https:\/\/repushko.com\/pictures\/Screenshot-from-2019-11-17-07-41-05.png", "_date_published_rfc2822": "Mon, 18 Nov 2019 16:11:17 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "20", "_e2_data": { "is_favourite": false, "links_required": [ "system\/library\/jquery\/jquery.js", "system\/library\/fotorama\/fotorama.css", "system\/library\/fotorama\/fotorama.js" ], "og_images": [ "https:\/\/repushko.com\/pictures\/Screenshot-from-2019-11-17-07-41-05.png", "https:\/\/repushko.com\/pictures\/Screenshot-from-2019-11-17-07-31-28.png", "https:\/\/repushko.com\/pictures\/Screenshot-from-2019-11-17-07-31-41.png", "https:\/\/repushko.com\/pictures\/Screenshot-from-2019-11-17-07-31-55.png" ] } }, { "id": "12", "url": "https:\/\/repushko.com\/all\/santander-2019\/", "title": "Santander 2019 на Kaggle: 52 место", "content_html": "

      С коллегами из ODS<\/a> заняли 52ое место в соревновании на Kaggle среди 8800 команд.
      \nSantander в этот раз молодцы: обошлось почти без ликов.<\/p>\n

      Данные были странные и несколько тысяч команд застряли на скоре 0.901. В итоге сильно докинула частотность значения признака и хороший тюнинг.<\/p>\n

      Kaggle = веселье.<\/p>\n", "date_published": "2019-04-20T22:47:40+03:00", "date_modified": "2019-06-09T01:18:54+03:00", "_date_published_rfc2822": "Sat, 20 Apr 2019 22:47:40 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "12", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [] } } ], "_e2_version": 3565, "_e2_ua_string": "E2 (v3565; Aegea)" }