Илон Маск упомянул, что в Тесле прототипы сеток набрасываются на Python, а реализуются и работают на голом железе или C/C++. Интересно конечно, у них свой рантайм для них, или какие-то инженеры успешные эксперименты переписывают?

В любом случае мысль, что рантайм NN (обработка запросов и т. д.) должен быть максимально близко к железу очень правильная. Поэтому не люблю упаковывать модели в проде в Flask-контейнеры или какую-то ещё python-обёртку сверху.

Вообще кажется есть тренд на производительный ML (отчасти из-за работы в реальном времени) и на фоне этого TensorRT/OpenVINO и подобные штуки будут всё популярнее.

Эх, когда-то даже писал шаблон сервиса на Go, чтобы xgboost-модельки гонять.