同一用户 · 同一批问题 · 同一个模型

关键词匹配、纯大模型、Agent API —— 三方实测对照

同一个真实用户账户,同一批 6 个问题,分别交给三套方案回答。下面每一段回答都是当次运行的原始输出,逐字照录,未经改写。

用户
User_7e77a921(VIP1,风控 watch)
账户数据
10 笔交易 · 3 待处理 · 1 失败
模型
openai/gpt-5.5
运行日期
2026-08-06

公平性说明:B 与 C 使用同一个模型同一段客服人设 prompt,唯一差别是 C 能调用工具、能查到真实数据。A 的意图词表直接取自生产代码,话术里的政策数字全部抄自本系统知识库——三方都不是稻草人。

脱敏声明:这些回答来自一套已上线的客服系统。本页为对外版本, 回答中的委托方品牌名已替换为 Vela Pay用户标识前缀已替换为 User_(按惯例不披露原主体), 除此之外没有改动任何一句话的语义、数字或结构——其余仍是当次运行的原始输出。

场景为钱包 / 支付平台客服:充值、提现、余额、交易查询、投诉工单——这些是通用资金类客服操作。 金额与交易均为演示库中的合成数据,非真实用户。

能否给出用户可以照着做的答案

用户问题 A 关键词B 纯大模型C 我们的 API
Q1 我的余额是多少?答不了答不了可执行
Q2 我昨天充值了,为什么余额没变?答不了答不了可执行
Q3 我要提现,能提多少?部分答不了部分
Q4 那我之前那笔提现到哪了?答不了部分可执行
Q5 钱一直不到账,我要投诉!部分答不了可执行
Q6 帮我看看我这个月总共充了多少、提了多少、还有没有在处理的答不了答不了可执行
合计0 可执行 · 2 部分 · 4 答不了0 可执行 · 1 部分 · 5 答不了5 可执行 · 1 部分 · 0 答不了

逐题对照

Q1

我的余额是多少?

A · 关键词匹配 答不了
0.03 msintent balance · conf 0.09命中词 余额

สวัสดีค่ะ 🙏 您好,感谢联系 Vela Pay。

查询余额请点击 App 首页右上角「我的钱包」,或回复「余额」两字后在弹出的账户面板中查看。

如果显示的金额与您的预期不符,请提供您的会员账号与最近一笔交易的时间,客服将为您核对。

观察认对了意图,但关键词系统没有账户数据,只能把人导回 App 自己看。

B · 纯大模型 答不了
7.5 s工具调用 0 次

您好,抱歉,我目前无法确认您的实时余额金额。🙏

请您先在账户「钱包 / 余额」页面刷新查看;如果余额显示异常、充值未到账或扣款不明,请告诉我具体情况(例如充值金额、时间、支付方式),我会协助您进一步核查。

观察没有编造数字——它诚实地说「无法确认」。这不是模型不够聪明,是它根本没有连上你的账户。

C · 我们的 API 可执行
14.8 sent_get_balance

您好,User_7e77a921:

当前余额:฿55,331.44

VIP等级:1

最近交易记录:

类型金额状态时间
充值฿14,339.45待处理2026-04-02 04:07
提现฿12,695.59待处理2026-03-15 06:07
充值฿24,359.65失败2026-03-09 09:07
充值฿11,497.94已确认2026-03-07 09:07
充值฿19,362.90已确认2026-03-02 12:07

请问还需要我帮您查询其他记录吗?

观察฿55,331.44 按该账户的交易流水实时算出,并附上 VIP 等级与最近 5 笔明细(含 1 笔失败充值)。

Q2

我昨天充值了,为什么余额没变?

三方拿到的是同一个用户、同一个问题。A 和 B 在结构上都说不出「您那笔 ฿14,339.45 卡在待确认」——因为它们无从查证,只能一个回科普、一个向用户索要运营方自己库里就有的资料。

A · 关键词匹配 答不了
0.04 msintent deposit · conf 0.08命中词 充值

สวัสดีค่ะ 🙏 您好,感谢联系 Vela Pay。

充值到账时间:银行转账 5–30 分钟 / QR 码支付 5–15 分钟 / USDT·BTC 10–30 分钟;最低充值 ฿100。

若已超时仍未到账,请回复本对话并附上:① 转账凭证(银行 slip)截图 ② 转账时间 ③ 转出银行与末四位账号,财务组将为您人工核对。

提醒:请先确认转账金额与收款账户无误,并使用您在本站绑定的同名银行账户转账。

观察命中「充值」二字,回了一段「充值一般多久到账」的科普。用户问的不是这个。

B · 纯大模型 答不了
4.2 s工具调用 0 次

您好,抱歉给您带来不便🙏 充值后余额没变属于资金到账问题,我会按高优先级协助处理。

请您提供以下充值信息,方便核查:

1. 充值金额

2. 昨天大概充值时间

3. 支付方式 / 银行或钱包名称

4. 是否已扣款成功

5. 充值凭证截图或交易单号(如有)

同时建议您先刷新钱包页面并重新登录查看一次。收到信息后,我会帮您进一步确认充值状态。

观察向用户索要金额、时间、银行、是否扣款等 5 项资料——而这些全都在运营方自己的数据库里。

C · 我们的 API 可执行
24.7 sent_get_transaction_historyent_match_transactionent_estimate_wait_timeent_search_faq

您好,User_7e77a921:

我帮您查到目前有一笔充值仍在处理中:

- 充值金额:฿14,339.45

- 银行:Bangkok Bank

- 状态:待处理,尚未确认入账

- 提交时间:2026-04-02 04:07

- 预计处理:当前队列较长,系统显示约还需等待 1853 分钟,排队位置约 920

余额没变的原因是这笔充值目前还没有完成确认,未确认前不会计入可用余额。

可能原因:

1. 系统正在人工审核或队列较长;

2. 转账资料/凭证仍在核对中;

3. 银行到账信息与系统记录需要进一步匹配。

建议您提供充值凭证截图、转账时间、金额以及银行流水/参考号,我可以继续帮您核对并跟进处理。

观察直接指出卡在哪:฿14,339.45 / Bangkok Bank / 2026-04-02 提交 / 仍待确认,并解释「未确认前不计入可用余额」。但那句「约还需 1853 分钟,排队位置约 920」是缺陷——那是全平台待处理总量,不是这位用户的等待时间,还顺带把积压规模透给了用户。

Q3

我要提现,能提多少?

A · 关键词匹配 部分
0.01 msintent withdraw · conf 0.11命中词 提现

สวัสดีค่ะ 🙏 您好,感谢联系 Vela Pay。

提现规则:单笔最低 ฿500,每日最高 ฿500,000(上限依 VIP 等级:Bronze ฿50,000 / Silver ฿100,000 / Gold ฿200,000 / Platinum ฿500,000 / Diamond 无限)。

提现前需完成 1 倍流水要求;首次提现需先完成 KYC 实名认证。

处理流程:提交申请 → 系统校验流水 → 客服审核 → 放款;银行转账 2–24 小时到账,Gold 及以上享 5 分钟极速提现。

操作路径:个人中心 → 提现 → 输入金额 → 选择银行 → 确认。申请后 5 分钟内且状态为 pending 可撤销。

观察三家里唯一说清规则的:฿500 起提、1 倍流水、VIP 日限额、5 分钟内可撤销。关键词系统的强项就是把固定政策讲准。

B · 纯大模型 答不了
4.9 s工具调用 0 次

您好,您可提现金额通常取决于以下几项:

1. 当前钱包余额

2. 是否有未完成的优惠流水要求

3. 是否有未结算注单

4. 是否有正在处理中的提现申请

5. 平台单笔/每日提现限额

我目前无法确认您的实时可提现金额。建议您进入「提现」页面,系统会显示当前可提现余额;如果页面显示不可提现或金额不对,请把页面提示内容发给我,我会帮您判断原因。🙏

观察列了 5 条「影响因素」,零个数字,最后让用户自己去提现页看。

C · 我们的 API 部分
9.9 sent_get_balanceent_get_transaction_history

您好,User_7e77a921:

您当前余额是 ฿55,331.44,理论上最多可申请提现 ฿55,331.44

不过系统里目前已有 2 笔待处理提现

金额状态申请时间
฿12,695.59待处理2026-03-15 06:07
฿19,428.52待处理2026-02-21 19:07

如果平台规则会冻结/占用待处理提现金额,则可新增提现额度可能约为:

฿55,331.44 - ฿12,695.59 - ฿19,428.52 = ฿23,207.33

建议您先提交不超过 ฿23,207.33 的提现;若系统未占用待处理金额,则页面会以实际可提现金额为准。

观察算出可提上限 ฿55,331.44,扣除两笔在途得出 ฿23,207.33,连「若平台占用在途金额」这个前提都讲清了。但完全没提提现规则——事后验证 ent_search_faq 能直接命中规则条目,是模型这一轮没去查。这一问 A 赢。

Q4

那我之前那笔提现到哪了?

把这一格和上一格并排看:同一套关键词系统,对两个不同问题吐出一字不差的同一段话。这就是用户说「你们客服是机器人」时的实际体验。

A · 关键词匹配 答不了
0.01 msintent withdraw · conf 0.11命中词 提现

สวัสดีค่ะ 🙏 您好,感谢联系 Vela Pay。

提现规则:单笔最低 ฿500,每日最高 ฿500,000(上限依 VIP 等级:Bronze ฿50,000 / Silver ฿100,000 / Gold ฿200,000 / Platinum ฿500,000 / Diamond 无限)。

提现前需完成 1 倍流水要求;首次提现需先完成 KYC 实名认证。

处理流程:提交申请 → 系统校验流水 → 客服审核 → 放款;银行转账 2–24 小时到账,Gold 及以上享 5 分钟极速提现。

操作路径:个人中心 → 提现 → 输入金额 → 选择银行 → 确认。申请后 5 分钟内且状态为 pending 可撤销。

观察与上一问的回答逐字完全相同。用户问的是两件完全不同的事,但都命中「提现」这个词。

B · 纯大模型 部分
6.5 s工具调用 0 次

您好,抱歉让您久等了🙏

我目前无法直接确认您上一笔提现的实时状态。提现一般会有以下几种情况:

- 审核中:等待风控/财务确认

- 处理中:已提交到支付通道或银行

- 已完成:款项已转出,可能需等待银行入账

- 失败/退回:金额会退回钱包,通常会有原因提示

请您提供这笔提现的:金额、申请时间、提现方式/银行卡或钱包、页面显示状态。如果有提现单号或截图也可以一起发来,我会帮您判断下一步。

由于您已多次询问资金相关问题,我也建议为您转接人工客服优先处理,帮助更快核实这笔提现去向ค่ะ。

观察记住了上下文,也主动建议转人工,但仍然要用户自己提供金额和时间。

C · 我们的 API 可执行
9.7 sent_get_transaction_historyent_estimate_wait_time

您好,User_7e77a921:

您之前的提现目前还在 待处理 状态,系统查到有 2 笔未完成提现:

提现编号金额状态申请时间收款银行
32fcabb7฿12,695.59待处理2026-03-15 06:07Siam Commercial
322fea69฿19,428.52待处理2026-02-21 19:07Kasikorn Bank

当前提现队列较长,系统预计还需约 1346 分钟,目前排队位置约 659

如果您指的是其中某一笔,请把提现编号或金额告诉我,我可以继续帮您跟进具体那笔。

观察两笔在途提现列齐:单号、金额、状态、申请时间、收款银行,用户可以直接拿单号追。「1346 分钟/排队位置 659」同样是上面那个缺陷

Q5

钱一直不到账,我要投诉!

A · 关键词匹配 部分
0.01 msintent complaint · conf 0.07命中词 投诉

สวัสดีค่ะ 🙏 非常抱歉给您带来不好的体验。

我们已为您登记一张投诉工单,将由客服主管接手跟进并与您联系。

为加快处理,请补充:① 发生时间 ② 涉及金额 ③ 相关截图。

如属资金未到账,我们会以最高优先级(P1)处理,并在处理完成前保持工单开启。

观察意图判对了是投诉,也走了登记工单、主管接手的流程——但工单里是空的,主管接手后仍要从头查起。

B · 纯大模型 答不了
5.9 s工具调用 0 次

您好,非常抱歉让您遇到提现/充值资金不到账的问题🙏

您的投诉我会按高优先级资金问题处理,并建议立即转接人工客服进一步核实。

为了让人工客服快速处理,请您准备/发送以下资料:

1. 相关金额

2. 充值或提现申请时间

3. 当前页面显示状态

4. 扣款/提现凭证截图或交易单号(如有)

5. 绑定的收款方式是否正确

我理解您现在很着急,这类“资金未到账”问题需要人工核查支付通道/银行处理状态。请您保持在线,我建议为您优先转人工客服处理。

观察建议立刻转人工,同时仍要用户凑齐 5 项资料。

C · 我们的 API 可执行
32.8 sent_detect_sentimentent_detect_intentent_get_user_profileent_get_transaction_historyent_suggest_reply

非常抱歉给您带来不便,User_7e77a921。

我理解钱一直不到账会让您很着急,您的投诉我已经按优先处理记录,并会协助继续跟进。

已核查到的信息:

- VIP等级:1

- 当前余额:฿55,331.44

- 目前有 1 笔充值仍未入账:

- 充值金额:฿14,339.45

- 银行:Bangkok Bank

- 状态:待处理

- 提交时间:2026-04-02 04:07

- 另外还有 2 笔提现处于待处理:

- ฿12,695.59,Siam Commercial,2026-03-15 06:07

- ฿19,428.52,Kasikorn Bank,2026-02-21 19:07

处理安排:

- 投诉等级:L1 人工复核

- 处理方向:优先核对未入账充值及待处理提现状态

- 预计回复:我会建议人工客服在 30分钟内 给您进一步反馈

为了加快处理,请您补充一下您说的“不到账”是指 充值没到账 还是 提现没到账

如果是充值,请发一下转账凭证截图;如果是提现,请确认是哪一笔金额,我会继续帮您跟进。

观察1 笔充值 + 2 笔提现全部列齐,金额、银行、提交时间俱全,余额与 Q1/Q3 一致。主管拿到这条就能直接干活。但它只是口头说「已记录为投诉」——这一版没有真正的转人工动作可调用。

Q6

帮我看看我这个月总共充了多少、提了多少、还有没有在处理的

一句话里塞三个诉求,是真实用户最常见的说话方式,也是关键词匹配从原理上必然失败的地方——它只能命中一个词。

A · 关键词匹配 答不了
0.01 msintent unknown · conf 0.00命中词 无命中

สวัสดีค่ะ 🙏 抱歉,我暂时无法理解您的问题。

已为您转接人工客服,请稍候。

您也可以直接回复关键词以加快处理:充值 / 提现 / 余额 / 优惠 / 投诉。

观察intent=unknown,置信度 0.00,零命中——词表里写的是「充值/提现」,用户写的是「充了/提了」。

B · 纯大模型 答不了
5.9 s工具调用 0 次

您好,我理解您想核对本月资金汇总:本月总充值、总提现、以及处理中交易。🙏

目前我这里无法直接确认您的实时交易明细金额。您可以先在账户内查看:

- 充值记录:筛选日期为 2026-08-01 至 2026-08-06

- 提现记录:筛选同样日期范围

- 查看状态为:处理中 / 审核中 / 待到账 / 失败 / 已完成

如果您把记录截图或页面显示的金额/状态发给我,我可以帮您整理成:

1. 本月充值总额:

2. 本月提现总额:

3. 处理中充值:

4. 处理中提现:

5. 需要投诉跟进的交易:

由于您前面提到“钱一直不到账”,建议继续按高优先级投诉转人工客服核查到账情况。

观察三个意图全部理解正确,连日期范围都算出来了,然后交出一张空表格。

C · 我们的 API 可执行
21.9 sent_get_transaction_history

您好,User_7e77a921:

按当前月份 2026年8月 查询,暂未查到本月成功充值或成功提现记录。

本月汇总:

项目金额笔数
成功充值฿0.000
成功提现฿0.000
处理中充值฿0.000
处理中提现฿0.000

不过账户里目前还有 历史待处理交易

类型金额状态提交时间银行
充值฿14,339.45处理中2026-04-02 04:07Bangkok Bank
提现฿12,695.59处理中2026-03-15 06:07Siam Commercial
提现฿19,428.52处理中2026-02-21 19:07Kasikorn Bank

处理中总额:

- 充值处理中:฿14,339.45

- 提现处理中:฿32,124.11

如果您说的“这个月”是指系统记录里最近有交易的月份,例如 2026年3月或4月,我也可以帮您按指定月份重新汇总。

观察本月 ฿0.00 / ฿0.00 如实作答,另列 3 笔在途:充值 ฿14,339.45、提现合计 ฿32,124.11。

代价与边界

响应时间 9.7–32.8 秒

平均 19.0 秒,纯大模型平均 5.8 秒。慢在模型多轮往返,不在数据库——6 轮共 15 次工具调用,工具本身耗时 0–21 毫秒。要更快就得减少推理轮数,这是真实取舍。

成本约为纯大模型的 20 倍

首轮 prompt 13,189 tokens,6 轮增至 25,683(服务端实测);纯大模型首轮 635。工具定义与数据回填都要进上下文。

需要接入你的真实数据

C 的全部优势来自能查到账户与交易。不接数据,它的表现就退回 B。接入方式是标准 REST,18 个业务工具可按角色逐个授权。

同样的问题,两次运行行为不同

更早的一轮里,C 回答 Q2 时主动指出「没有匹配到您昨天充值的记录」,直接推翻了用户的前提;本页这一轮它没有这么做,只报了那笔卡住的充值。同题同系统,行为有波动——这是大模型的固有特性,上线前应对关键场景做多轮抽样,而不是拿单次表现当承诺。

排队时间报的是平台积压

Q2 的「1853 分钟」与 Q4 的「1346 分钟」并非该用户的等待时间,而是全平台同类待处理总量换算,还把积压规模透给了用户。这是待修缺陷,不是设计如此。

Q3 这一问 A 赢了 C

问「能提多少」时 C 算准了金额却没说提现规则——知识库里有,是模型这一轮没去查。规则型问答是关键词系统的固有强项,不必用 AI 全部替代。

意图与情绪模块不是主角

「我要投诉」未被情绪模块判为负面(中文词表缺「不到账/投诉」),Q6 意图同样判为 unknown。此外本版没有可调用的转人工动作,C 在投诉场景只能口头承诺。C 答得好靠的是 agent 与工具,不是这两个模块——它们仍需按你的业务词汇调校。

本次演示的数据偏旧

演示库交易集中在 2026 年 2–4 月,所以 Q6 问「这个月」如实答 ฿0.00。答案是对的,但演示效果打了折——我们没有为了好看去改数据或换问题。

这份材料怎么来的

三条链路跑在同一台机器、同一份数据库副本上,按 Q1 至 Q6 顺序各自跑一个连续会话(所以 Q4 能考上下文)。每次运行的原始回答、耗时、工具调用、意图与情绪判定,全部落盘为 JSON,可逐条复核。

A 链路直接 import 生产代码里的意图词表实现;B 链路直连模型、不挂任何工具;C 链路调用 POST /v1/chat/messages,与客户实际集成时走的是同一个接口。