xinference安装报错踩坑

xinference是一款流行度很高的本地模型部署框架，它可以非常方便地赋能本地RAG和Agent的构建，与ollama相比，它自带了web ui管理界面，除了TEXT EMBEDDING LLM之外，它还支持SPEECH2TEXT，TTS，RERANK模型的部署，可谓功能非常强大，但是美中不足的是，它的安装却一波三折，现整理下来供诸君避坑。

建议在linux系统安装，win下推理存在问题

正常安装流程

1.安装xinference库，实现模型推理。

pip install "xinference[all]"

2.启动xinference

在安装完相应的环境后，启动xinference以进行模型部署。

通过命令行执行

xinference-local --host 0.0.0.0 --port 9997

来启动xinference，启动后访问：IP:9997 即可进入xinference主界面。

报错及解决方法

问题1：cython

Python package installation error: missing Cython dependency

解决：

pip install cython

问题2：pynini

执行命令后：

pip install "xinference[all]"

报错信息：ERROR: Failed to build installable wheels for some pyproject.toml based projects (pynini)

解决：

conda install -c conda-forge pynini=2.1.5

问题3:NameError

NameError: Field name "schema" shadows a BaseModel attribute; use a different field name with "alias='schema'".

解决：

pip install openai==1.39.0

问题4：RuntimeError

RuntimeError: Cluster is not available after multiple attempts

原因：xinference-local --host 0.0.0.0 --port 9997中ip地址0.0.0.0无法使用，可能是windows的锅

xinference-local --host localhost --port 9997