https://repushko.com/tags/dtp-helper/ Блог Антона Репушко Антон Репушко ru E2 (v3565; Aegea) Антон Репушко Блог Антона Репушко 47 https://repushko.com/all/data-cleaning-stat-gibdd-ru/ Thu, 25 Jun 2020 23:15:15 +0300 Антон Репушко https://repushko.com/all/data-cleaning-stat-gibdd-ru/ <p>Год назад <a href="https://repushko.com/all/dtp-stat-helpers/">написал скрипты</a> для очистки данных статистики ДТП, потому что изначальные данные (именно GPS-координаты) были очень грязными и их практически нельзя было визуализировать. Сорцы на Гитхабе <a href="https://github.com/repushko/dtp_stat_helpers">имеются</a>.</p> <p>Сейчас скрипты временно неработоспособны, так как Яндексовский геокодер теперь требует ключ для использования API, но скоро я их поправлю.</p> <p>Я расскажу про красивый и аккуратный способ, как нам точку с неправильными координатами аккуратно подвинуть прямо на улицу, где произошло ДТП.</p> <div class="e2-text-picture"> <img src="https://repushko.com/pictures/graph_explanation.jpg" width="1280" height="960" alt="" /> <div class="e2-text-caption">Алгоритм очистки данных</div> </div> <h2>Описаниме по шагам</h2> <p>Изначально нам дана синяя точка слева внизу. Это GPS-координаты, которые мы получили из исходных данных. Наша основная зацепка — адрес. Он заполняется вручную и обычно верный.</p> <p><b>Шаг 1.</b> Воспользуемся геокодером. Это такая программа, которая переводит географическое название (город/село/улицу + дом) в географические координаты. Я обычно пользуюсь <a href="https://tech.yandex.com/maps/geocoder/">геокодером Яндекса</a>, потому что он точнее для СНГ, но ещё есть <a href="https://nominatim.org/">бесплатный от OpenStreetMap</a>. Так мы получаем чистую координату дома по адресу (красная точка на рисунке).</p> <p><b>Шаг 2.</b> В OSM хранится граф дорог, при этом они привязаны к географическим координатам (у графа есть точное положение на плоскости). И есть классная особенность: мы можем ввести координаты точки на плоскости и получить кусок графа в радиусе n от этой точки. Общая идея такая:</p> <ul> <li>вводим координаты дома после геокодирования -> получаем круг примерно как на картинке,</li> <li>выбираем все дороги, попавшие в радиус (можно считать их просто линиями),</li> <li>строим перпендикуляры из точки до каждой из линий (на рисунке x и y),</li> <li>выбираем кратчайший (в нашем случае x),</li> <li>наша красная точка получает новые координаты (уже на ребре графа из OSM) и становится жёлтой точкой,</li> <li>profit.</li> </ul> <p>Так мы кривые координаты ДТП по одному лишь адресу аккуратно перенесли прямо на улицу. Теперь при визуализации всё будет аккуратно и ровно.</p>