企业级开源大模型部署平台 GPUStack 实战教程
最近切换了年初大模型部署的 Xinference 平台，归因还是因为资源占用太高了，并且镜像拉取太慢，特别是部署比较新的模型导致适配跟不上，反正各种奇奇怪怪的问题，于是就切换成了新新开源的 GPUStack，目前已经稳定运行了两周，使用稳定，所以写一篇文章记录一下实战折腾过程，希望针对于有企业因为数据敏感需要私有部署大模型提供实操经验，排除哪些趟过的坑。
最近切换了年初大模型部署的 Xinference 平台，归因还是因为资源占用太高了，并且镜像拉取太慢，特别是部署比较新的模型导致适配跟不上，反正各种奇奇怪怪的问题，于是就切换成了新新开源的 GPUStack，目前已经稳定运行了两周，使用稳定，所以写一篇文章记录一下实战折腾过程，希望针对于有企业因为数据敏感需要私有部署大模型提供实操经验，排除哪些趟过的坑。