T/CBA 220—2021 远程银行人工智能客服评价指标规范-团体标准
目录
| 标准详细信息 | |
|---|---|
| 标准状态 | 现行 |
| 标准编号 | T/CBA 220—2021 |
| 中文标题 | 远程银行人工智能客服评价指标规范 |
| 英文标题 | Specification for evaluating indicators of AI customer service of the remote banking |
| 国际标准分类号 | 03.060 |
| 中国标准分类号 | |
| 国民经济分类 | J662 货币银行服务 |
| 发布日期 | 2021年09月16日 |
| 实施日期 | 2021年09月16日 |
| 起草人 | 潘光伟、刘峰、高峰、张庚、伊贵英、李宽、成星、任旭华、赵成刚、胡冬梅、刘鑫、吕林、仲峻锋、陈嘉、马铁军、周红艳、王立华、郭丛娜、李丹丹、刘梅、龙平、赵磊、马娟、熊洪营、王爱泽、吕盛蕾、陈炳基、李文娟、吴宏恩、林莉、袁倩、王山、濮丽佳、韩春笋、彭修文、章剑弘、李金龙、张萍、梁毅、林秀如、张淼、田多、金蕾蕾 |
| 起草单位 | 中国银行业协会、中国建设银行股份有限公司、广发银行股份有限公司、中国工商银行股份有限公司、交通银行股份有限公司、中国邮政储蓄银行股份有限公司、中信银行股份有限公司、上海浦东发展银行股份有限公司、中国民生银行股份有限公司、华夏银行股份有限公司、平安银行股份有限公司、兴业银行股份有限公司、北京银行股份有限公司、杭州银行股份有限公司 |
| 范围 | |
| 主要技术内容 | 4.1 评价指标的范围 4.1.1 性能指标，用于衡量人工智能客服语音识别及语义理解能力，主要包括语音识别准确率、问题识别率、意图理解准确率等。 4.1.2 运营效果指标，用于衡量人工智能客服在客户体验提升、服务分流等方面的能力，主要包括交互准确率、问题解决率、智能分流率等。 4.2 评价指标的方法 4.2.1 抽样法 根据交互样本标注数据推算人工智能客服评价指标的方法。按照GB/T 21664-2008规定，假设事项发生率为50%、绝对误差为1%时，所需的必要样本量为1万。完成样本抽取后，与标注人员对本单位业务流程判定的结果进行对比，一致即为正确。 4.2.2 报表法 根据系统运营数据计算人工智能客服评价指标的方法。典型的系统运营数据包括进线量、交互数、客户评价数、转人工进线量。 4.3 评价指标的内容 4.3.1 语音识别准确率 4.3.1.1 指标释义 标注有效交互中，语音识别正确的字数在人工智能客服转写总字数中的占比。该指标主要适用于语音交互AI。 4.3.1.2 计算口径 4.3.1.2.1 适用语种 主要为中华人民共和国国家通用语言文字（普通话和规范汉字），包含阿拉伯数字及常用英文。在测算时，阿拉伯数字、单独英文字母（如：e缴费、ETC），一个数字或字母按一个文字计算；英文单词（如：card），一个单词按一个文字计算；标点符号不计算在内。 注：中华人民共和国国家通用语言文字必须符合《中华人民共和国国家通用语言文字法》的要求。 4.3.1.2.2 计算方法 语音识别准确率采用抽样法计算。 4.3.1.2.3 标注有效交互 标注有效交互指抽样标注交互中剔除无效语音后的交互。无效语音由标注人员在测听过程中参考判定规则进行判断，详见表1。 |
| 是否包含专利信息 | 否 |
| 标准文本 | 查看 |
| 团体详细信息 | |||
|---|---|---|---|
| 团体名称 | 中国银行业协会 | ||
| 登记证号 | 511000005000187252 | 发证机关 | 中华人民共和国民政部 |
| 业务范围 | 加强自律 规范经营 协调争议 维护权益 专业培训 咨询服务 | ||
| 法定代表人/负责人 | 潘光伟 | ||
| 依托单位名称 | |||
| 通讯地址 | 北京市西城区金融大街20号B座11-12号 | 邮编 : 100033 | |