AI00 RWKV Server是一個基於RWKV模型的推理API服務器。支持VULKAN推理加速，可以在所有支持VULKAN的GPU上運行。不用N卡！ ！ ！ A卡甚至集成顯卡都可加速！ ！ ！無需臃腫的pytorch、CUDA等運行環境，小巧身材，開箱即用！兼容OpenAI的ChatGPT API接口。 100% 開源可商用，採用MIT協議。

English | 中文| 日本語

AI00 RWKV Server是一個基於RWKV模型的推理API服務器。

支持VULKAN推理加速，可以在所有支持VULKAN的GPU上運行。不用N卡！ ！ ！ A卡甚至集成顯卡都可加速！ ！ ！

無需臃腫的pytorch、CUDA等運行環境，小巧身材，開箱即用！

兼容OpenAI的ChatGPT API接口。

100% 開源可商用，採用MIT協議。

如果您正在尋找一個快速、高效、易於使用的LLM API服務器，那麼AI00 RWKV Server是您的最佳選擇。它可以用於各種任務，包括聊天機器人、文本生成、翻譯和問答。

立即加入AI00 RWKV Server社區，體驗AI的魅力！

交流QQ群：30920262

💥特色

• 基於RWKV模型，具有高性能和準確性
• 支持VULKAN推理加速，不用該死的CUDA也能享受GPU加速！支持A卡、集成顯卡等一切支持VULKAN的GPU
• 無需臃腫的pytorch、CUDA等運行環境，小巧身材，開箱即用！
• 兼容OpenAI的ChatGPT API接口

⭕用途

• 聊天機器人
• 文本生成
• 翻譯
• 問答
• 其他所有你能想到的LLM能幹的事

👻其他

安裝、編譯和使用

📦直接下載安裝

1. 直接從Release 下載最新版本

2. 下載模型後把模型放在assets/models/路徑，例如assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st

3. 在命令行運行

   $ ./ai00_rwkv_server --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st

4. 打開瀏覽器，訪問WebUI
   http://127.0.0.1:3000

📜從源碼編譯

1. 安裝Rust

2. 克隆本倉庫

   $ git clone https://github.com/cgisky1980/ai00_rwkv_server.git
   $ cd ai00_rwkv_server

3. 下載模型後把模型放在
   assets/models/路徑下，例如assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st

4. 編譯

5. 編譯完成後運行

   $ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st 

6. 打開瀏覽器，訪問WebUI
   http://127.0.0.1:3000

📝支持的啟動參數

• --model: 模型路徑
• --tokenizer: 詞表路徑
• --port: 運行端口

📙目前可用的API

API 服務開啟於3000 端口, 數據輸入已經輸出格式遵循Openai API 規範。

• /v1/models
• /models
• /v1/chat/completions
• /chat/completions
• /v1/completions
• /completions
• /v1/embeddings
• /embeddings

📙WebUI 截圖

📝TODO List

👥Join Us

我們一直在尋找有興趣幫助我們改進項目的人。如果你對以下任何一項感興趣，請加入我們！

• 💀編寫代碼
• 💬提供反饋
• 🔆提出想法或需求
• 🔍測試新功能
• ✏翻譯文檔
• 📣推廣項目
• 🏅其他任何會對我們有所幫助的事

無論你的技能水平如何，我們都歡迎你加入我們。你可以通過以下方式加入我們：

• 加入我們的Discord 頻道
• 加入我們的QQ 群
• 在GitHub 上提交問題或拉取請求
• 在我們的網站上留下反饋

我們迫不及待地想與你合作，讓這個項目變得更好！希望項目對你有幫助！

Thanks

感謝cryscan的辛勤付出，為項目做出了傑出的貢獻。

感謝下面項目的編寫者們做出的傑出工作

感謝下面又好看又有眼光又優秀的傑出人士對項目的支持和無私奉獻

• 來自QQ 群

  

• 來自Github

• 來自Discord

我們很感激您的幫助，我們很高興能與您合作。

Stargazers over time