Obrigado pela sugestão, por vários motivos eu particularmente não gosto da ideia de ter tudo junto principalmente tudo na unity que foi projetada para ser um motor gráfico, um dos motivos seria ter o código do servidor junto do client.
Acho interessante o conceito de kcp mais ainda me sinto mais seguro com o TCP, por isso uso uma versão customizada do Telepathy que foi projetada para o fim que eu realmente preciso e foi criada pelo próprio MirrorNetwork.