Depois de vasculhar o Google e mexer na configuração, a solução acabou sendo muito mais simples:
- No MagicaVoxel, pressione tab para ir para o modo Mundial.
- Pressione Mover > Ground para mover o modelo para o solo.
- Salve e exporte, e tudo estará alinhado novamente :)