и в догонку, сравнивал ли кто-то OXXN runtime с альтернативами? Хочется минимальный латенси иметь (если убрать из уравнения саму модельку и как она собрана)

тут очень много зависит от того где будешь инференсе проводить, рекомендация тестировать на том, что будет использоваться в дальнейшем не проде