樓主的意思是 Client 來自網路, 要將 Client 需求分散給不同的 Server, 是 AP load balance.
我管理過類似的架構, 基本上來說要有一個派工程式 Dispatcher, 對於每一個 Client 需求,
找出空閒的 Server, 將需求與回覆網址 Pass 給 Server, 由 Server 來處理.
單一 Server 架構
Client --> Server --> Client
多 Server 架構, 每一台 電腦執行一個 Server 程式
Client --> Dispatcher --> Server n --> Client
這裏 Server 與 Dispatcher 都是程式.
Dispatcher 可以放在其中一台 Server 電腦中執行, 也可以是一台獨立電腦中.
Dispatcher 好比是銀行的櫃台服務號碼機, 引導顧客到空閒的櫃台辦事.
我以前工作的 Client 電腦是數百台,
使用 Unix 系統會比 NT Server 穩太多了.
已離開這個領域很久了.
希望以上說明對樓主有用
我是耀輝 , https://www.facebook.com/yhkuan