No tengo experiencia con ese tipo de servidores, pero según mi experiencia con servidores digamos "headless", los de OVH con GPU seguro que pueden hacer un buen trabajo. Eso sí, no son baratos. Yo exploraría también la opción de comprar un mini PC con APU de AMD moderna, como la Ryzen 9 7940HS, que permite codificar en formatos de vídeo (los de nueva generación incluidos) a buena velocidad. Tienes mini PC con estos chips por en torno a los 500-800 euros y puedes configurarlos para que funcionen a modo de "servidor" doméstico.