1分鐘對接500個大模(mo)型?這才叫(jiao) AI 開發!
你(ni)是小阿(a)巴,剛入職的 AI 應用開發工程師(shi)。

屑老(lao)板說:公(gong)司最近要做一個智能客(ke)服系統,小阿巴,你是新(xin)人,所以這個重任(ren)就(jiu)交給你了!故天將降大任(ren)于新(xin)人也~

你(ni)一聽,心想:不就是調個(ge) API 的事兒嘛(ma),有(you)啥難的?
于是你擼(lu)起袖子(zi)就開(kai)始寫(xie)代碼(ma),先接入(ru)了 OpenAI 的 GPT 模型。
剛剛搞定,屑老(lao)板說:還(huan)要加上 Claude 模(mo)型,聽說它在(zai)某些場景下(xia)表(biao)現更好(hao)。
于是你又寫了一堆(dui)調用 Claude 模型的(de)代碼。
結果剛寫完,屑老板(ban)又說:嗯(ng),聽過(guo)國產(chan)的通義千(qian)問也不錯,也一起接入吧!

你皺了皺眉,心想:又得寫調用這個模型的代碼了,老(lao)板你是(shi)不是(shi)有(you)點過分了。。。
屑老板仿佛聽到了你的心聲:
-
哦,對了,調用(yong) AI 是有成本的,得(de)做好用(yong)戶鑒權
-
哦哦,為了(le)防(fang)止(zhi)惡意用戶(hu)瘋狂(kuang)調(diao)用 AI,還得做好限流控制(zhi)
-
哦哦哦,AI 生(sheng)成的內(nei)容(rong)可能有(you)問(wen)題(ti),還(huan)得校驗(yan)內(nei)容(rong)安全
-
哦(e)哦(e)哦(e)哦(e)!還要(yao)保證系(xi)統穩定(ding),不能(neng)(neng)因(yin)為(wei)某(mou)個模型掛(gua)了(le)就導致(zhi)整個服(fu)務都不能(neng)(neng)用
-
哦(e)(e)(e)哦(e)(e)(e)哦(e)(e)(e)哦(e)(e)(e)哦(e)(e)(e)!!咱這個項(xiang)目肯定能(neng)火,還得考慮(lv) AI 怎么抗住大量請求(qiu)
-
哦(e)(e)(e)哦(e)(e)(e)哦(e)(e)(e)哦(e)(e)(e)哦(e)(e)(e)哦(e)(e)(e)!!!還得能(neng)讓咱們(men)觀察(cha)到 AI 的(de)調用次(ci)數和成本(ben),好降本(ben)增效啊
-
哦(e)(e)哦(e)(e)哦(e)(e)哦(e)(e)哦(e)(e)哦(e)(e)哦(e)(e)。。。
你看著(zhu)漸漸發狂的老板,開(kai)始懷疑(yi)人生:調個 AI 接口怎么這么復雜?

?? 本文對應視頻版:
什(shen)么是 AI 網關?
這(zhe)(zhe)時,號稱 “AI 小王子” 的魚(yu)皮走了過來,看到你(ni)愁(chou)眉(mei)苦臉的樣子,笑(xiao)道:怎么,這(zhe)(zhe)很難么?
你有些(xie)不爽(shuang):你這是站著說(shuo)話不腰疼,這么多(duo)要求,不得寫一大坨代碼?
魚皮:老板說的這些場景,都可以通過 AI 網關 解決呀~
你疑惑地問:網關?那是啥?
魚皮(pi):網關就像是火車站(zhan)的檢(jian)(jian)票(piao)口(kou),所有乘客都(dou)要先(xian)經過檢(jian)(jian)票(piao)口(kou),檢(jian)(jian)票(piao)員會(hui)檢(jian)(jian)查你的車票(piao),然后指引(yin)你去正確的站(zhan)臺(tai)。

在系統(tong)(tong)架構中(zhong),前端用戶發(fa)來的請求(qiu)要先經(jing)過(guo)網(wang)關(guan)(guan),網(wang)關(guan)(guan)會統(tong)(tong)一處理(li)用戶認證、攔截(jie)惡意請求(qiu)、控制流(liu)量、監控統(tong)(tong)計請求(qiu)等等,然(ran)后(hou)把請求(qiu)轉發(fa)到后(hou)端服務器進行處理(li)。

你點(dian)了點(dian)頭:哇哦,這(zhe)樣一來,如果我后端有多個(ge)服務,不用給每(mei)個(ge)服務單(dan)獨寫這(zhe)些功能了。
魚(yu)皮:沒錯,而且如果一個后端服務(wu)掛了,網關(guan)還可以自動(dong)將請求轉發到其他服務(wu)。

你(ni)有些好奇了:那你(ni)剛(gang)剛(gang)提到的(de) AI 網關又是(shi)什么(me)?
魚皮:傳統(tong)的 API 網(wang)關通常放在你的應用和各(ge)種后端服(fu)務(wu)之間;而 AI 網(wang)關是專門(men)為 AI 應用設計的,放在你的應用和各(ge)種 AI 模型服(fu)務(wu)之間(比如 OpenAI、通義千問、DeepSeek 等(deng)等(deng))。

你的應用只需要發送 標準請求 給(gei) AI 網關,它就會自動幫你完成用戶鑒權、限流控制、安(an)全防(fang)護(hu)、故障轉移、負載均衡、監控統計(ji)等一系列復雜的(de)操作,并且將請求轉發(fa)給(gei) AI 大模型(xing)進行(xing)處(chu)理。

如果(guo)你要對接不同的(de)(de)大(da)模(mo)型,只需要修改標準請求中的(de)(de)大(da)模(mo)型名(ming)稱,AI 網關就會(hui)幫你完成路由,不用(yong)針(zhen)對每種(zhong)模(mo)型寫一套(tao)對接的(de)(de)代碼啦~

你歡(huan)呼雀躍(yue):這也太強了,有了 AI 網關(guan),老板提到的所有問題(ti)都能解決了!那(nei)現(xian)在有哪些 AI 網關(guan)產(chan)品可(ke)以用呢?

AI 網關選型
很多 AI 玩家第一個接觸到的 AI 網關可能是

很(hen)多 AI 工具都(dou)支持配置 OpenRouter,對(dui)于普通的 AI 使用者來說(shuo),可以(yi)通過它使用到更多的大模型、更穩定(ding)的服務(wu)。

你問到:那(nei)還有專門(men)面向(xiang)開發者的(de) AI 網(wang)關(guan)產品嗎?
魚皮(pi)點(dian)點(dian)頭:當然,現在(zai)市面上已經有不少成熟的 AI 網(wang)關產品了。比如你(ni)上網(wang)一搜,排名靠前的是下面幾個:
1)
2)
3)

4)

你撓(nao)了撓(nao)頭:看起(qi)來也(ye)太(tai)復雜了吧(ba),我應該怎么(me)上手(shou) AI 網(wang)關呢?
魚皮:別擔心,我們可(ke)以(yi)從相對簡單的 Vercel AI Gateway 開(kai)始(shi)學習(xi)。光說不練(lian)假把式,給我 2 分鐘,帶你實戰(zhan)掌握 Vercel AI Gateway 的用法~
Vercel AI Gateway 實戰
1、注冊并(bing)獲取 API Key
首先打開

然后在控制(zhi)臺創(chuang)建 API Key,注意不要泄露哦(e):

2、官方 Demo
接下(xia)來,你可以通過官方(fang)提供的快速開始教程來創(chuang)建(jian)項(xiang)目并跑通 AI 對話的 Demo:

簡單來說就 4 個步驟:
-
創建新項目
-
安(an)裝 AI SDK 和 AI Gateway 的(de)依賴(lai)包
-
配置環境變量,填入 API Key 配置信息
-
編(bian)寫(xie)示(shi)例 Demo 代碼
3、減壓小(xiao)能手項目
但是官方(fang)提供的(de) Demo 有點過于簡(jian)單了,我們(men)不妨(fang)利用 AI 來做(zuo)一個(ge)《減壓小(xiao)能手》網站項目吧(ba),讓(rang)用戶可(ke)以和專門幫人減壓的(de) AI 聊天。
這(zhe)里(li)我選用的 AI 開發工具是(shi) Cursor,直(zhi)接(jie)讓 AI 幫(bang)我生成(cheng)符合要求(qiu)的完整前(qian)端(duan) + 后端(duan)代碼(ma)。

由于 Vercel AI Gateway 是比較新的(de)玩意,AI 可能不(bu)理解它的(de)用法(fa),所以(yi)我直接把 Vercel AI Gateway 的(de)官方文檔扔給 Cursor,讓(rang)他(ta)通過文檔來學習用法(fa)。

完(wan)整(zheng)提示詞(ci)如下:
你是一位專業的程序員,請幫我開發《減壓小能手》網站,用戶可以通過和專門幫人減壓的 AI 聊天來緩解壓力。
?
## 開發要求
?
1. 需要包含完整的前端和后端,后端使用 Node.js
2. 使用 Vercel 的 AI Gateway 實現 AI 能力,需要先通過官方文檔來獲取盡可能多的用法://vercel.com/docs/ai-gateway/getting-started
3. 以完成核心功能為目標,確保項目可以正常運行,不用輸出文檔、也不要做任何多余的功能
4. 整體網站界面采用讓人放松的(de)淺(qian)色,響應式適(shi)配(pei)各種(zhong)尺寸的(de)設備
點擊執行后,AI 會先調用 MCP 工具從網頁中獲取到信息,這里我用的是 Firecrawl MCP:

大概 6 分鐘(zhong)左(zuo)右,AI 完(wan)成(cheng)(cheng)了全部代碼的(de)生(sheng)成(cheng)(cheng)。可惜(xi)這里 AI 不是很聽話,還是給(gei)我生(sheng)成(cheng)(cheng)了一(yi)堆文檔,比生(sheng)成(cheng)(cheng)代碼本(ben)身的(de)時間都多(duo)!

然后在根目錄下創建 .env 環境變量配置文(wen)件,填(tian)入(ru) AI Gateway 的 API Key:

最(zui)后,安裝依(yi)賴并執行(xing)啟動腳(jiao)本:

訪問 localhost:3000 就能看到項目啦:

有一(yi)說一(yi),效果可真不錯,又給了我一(yi)點點動力(li)再(zai)多(duo)寫(xie)幾(ji)個字哈哈:

你感(gan)嘆(tan)道:有(you)了 AI + AI 網關這套(tao)組(zu)合拳,開發 AI 項(xiang)目也(ye)太(tai)快了吧!
魚皮點點頭:沒錯,而且(qie)整個過程中我們(men)不(bu)用擔心(xin)某個模(mo)型掛掉,網關(guan)會自動處理這些問題(ti)。

4、更多(duo)特性
不僅如此,Vercel AI Gateway 支持(chi)非常多的(de)(de)國內(nei)外大模(mo)型,不同模(mo)型的(de)(de)計(ji)費標準(zhun)都不一(yi)樣:

你(ni)還可(ke)以配置(zhi)自己的模型 API Key:

此外,還提供了 可觀測性 等企業級功能,幫你了(le)解 AI 的(de)調(diao)用(yong)情況和成(cheng)本分析:

你雙眼(yan)放光:哇塞(sai),那我以(yi)后開發(fa) AI 項目就用它了!
魚皮無奈地搖(yao)了搖(yao)頭(tou):小(xiao)阿巴,你(ni)要記住 “沒有(you)銀彈”。
如果(guo)你(ni)(ni)(ni)的(de)個(ge)人項目(mu)只需要(yao)簡單地調(diao)用單個(ge) AI 模型,直接調(diao)用 API 就夠了;如果(guo)你(ni)(ni)(ni)個(ge)人或(huo)團隊的(de)小項目(mu)需要(yao)用到 AI 網關的(de)特性(比(bi)如集成多個(ge)模型),那么可以選用 Vercel AI Gateway;而如果(guo)你(ni)(ni)(ni)要(yao)開(kai)發企業級應用,對(dui)安(an)全(quan)性和(he)穩(wen)定性要(yao)求(qiu)很高,選用 Higress 或(huo)者 Kong 這種更專(zhuan)業的(de)網關更合適,能幫你(ni)(ni)(ni)少寫(xie)億點點屎山代(dai)碼 ??!

結局
幾(ji)個月(yue)后,你用 AI 網關(guan)重構了公司的智能(neng)客服系統,效果(guo)非常好。
你(ni)感慨道:這(zhe)就是站在巨人(ren)的肩膀上啊,果然不要重復造(zao)輪子,懶(lan)人(ren)推(tui)動(dong)世界進(jin)步!

魚皮(pi)嬌嗔(chen):所以這就是你(ni)懶(lan)得給我點贊的理由???


傳統的 API 網關通常放在你的應用和各種后端服務之間;而 AI 網關是專門為 AI 應用設計的,放在你的應用和各種 AI 模型服務之間(比如 OpenAI、通義千問、DeepSeek 等等)。