Ubuntu и nvidia-container-toolkit
Из неочевидного: для того, чтобы в Docker-контейнерах заработал доступ к GPU, нужно использовать docker-ce, а не docker из Snap. Это связано с тем, что пакеты из snap’a работают в песочнице snap’a и не имеют прямого доступа к системе.