Nfrx: Gerbang Aman untuk Layanan AI Pribadi dan Kolam Pekerja Terdistribusi
Nfrx, dari Gaspardpetit, berfungsi sebagai gerbang pertukaran inferensi dan kumpulan pekerja terdistribusi. Ini mengekspos layanan AI pribadi dengan aman melalui API publik yang kompatibel dengan OpenAI. Dibangun terutama dengan Go, Nfrx menghubungkan berbagai sistem AI, termasuk runtime LLM seperti Ollama dan vLLM. Ini memungkinkan organisasi untuk membuat alat AI internal mereka dapat diakses tanpa mengekspos infrastruktur lokal. Nfrx didistribusikan melalui gambar Docker dan sebagai biner telanjang, menawarkan fleksibilitas penyebaran untuk fungsi kategori mcp-nya.
Alternatif yang Direkomendasikan Teratas
Apa yang dihubungkan oleh Nfrx?
Nfrx berfungsi sebagai gerbang pertukaran inferensi dan kumpulan pekerja terdistribusi, menghubungkan ke berbagai layanan dan sistem AI. Ini bertindak sebagai alat server MCP, yang berada di depan runtime LLM yang ada seperti Ollama, vLLM, atau Open-WebUI. Nfrx mendukung pengalihan panggilan Model Context Protocol, memungkinkan pengguna untuk mengekspos layanan AI pribadi termasuk runtime LLM, berbagai alat, dan proses RAG. Ini memungkinkan integrasi aman dari kemampuan AI internal.
Fitur dan alat inti
Nfrx menyediakan API chat/completions yang kompatibel dengan OpenAI untuk interaksi klien. Untuk interaksi Model Context Protocol, klien dapat memanggil metode MCP menggunakan "POST /api/mcp/id/{id}". Selain itu, Nfrx menyertakan antarmuka plugin kecil, memungkinkan modul baru untuk mendaftarkan rute, metrik, dan status. Antarmuka ini memperluas kemampuannya, memungkinkan integrasi modul kustom untuk kebutuhan organisasi tertentu dalam gerbang pertukaran inferensi.
Untuk siapa ini?
Nfrx menyasar individu dan organisasi yang perlu mengekspos layanan AI pribadi, seperti runtime LLM, alat kustom, atau proses RAG, melalui API publik yang aman dan kompatibel dengan OpenAI. Ini ideal bagi mereka yang ingin membuat kemampuan AI internal dapat diakses tanpa secara langsung mengekspos mesin lokal mereka ke internet publik. Ini termasuk pengembang dan tim yang mengelola beban kerja AI terdistribusi. Lewati ini jika Anda tidak perlu mengekspos layanan AI pribadi secara publik.
Cara memulai
Server mengautentikasi menggunakan API_KEY yang diteruskan sebagai variabel lingkungan. Konektor klien mengautentikasi dengan CLIENT_KEY, juga variabel lingkungan, saat menghubungi server Nfrx melalui HTTP atau WebSockets.
Kasus penggunaan
- Mengekspos runtime LLM lokal seperti Ollama, vLLM, atau Open-WebUI secara aman agar dapat diakses melalui API publik yang kompatibel dengan OpenAI.
- Memungkinkan klien untuk memanggil metode MCP pribadi dengan meneruskan panggilan melalui server Nfrx publik.
- Menyediakan gerbang yang dapat diskalakan dan seimbang beban untuk berbagai mesin AI heterogen dan proses RAG kustom.
Nfrx menawarkan solusi yang aman dan dapat disesuaikan untuk mengekspos layanan AI internal melalui API publik yang kompatibel dengan OpenAI. Ini mendukung berbagai runtime LLM dan proses RAG kustom, bertindak sebagai gerbang pertukaran inferensi yang fleksibel. Platform ini memungkinkan akses aman ke kemampuan AI pribadi tanpa paparan mesin secara langsung. Pengembang dapat memperluas fungsionalitasnya melalui antarmuka plugin. Mulailah dengan mengatur Nfrx untuk mengekspos instance Ollama lokal melalui API yang kompatibel dengan OpenAI.
