​（文/祝非尔）随着大模型技术的快速发展，其在金融领域的应用已成为推动行业变革的重要力量，构建标准化、系统化的金融能力评测框架是衡量大模型金融场景能力的重要途径。然而，现有的评测工作主要侧重于对大模型在某些特定金融场景下的能力评估，且由于数据质量与多样性的不足导致其应用场景较为有限，因此无法有效评估大模型在金融领域的泛化能力。同时，现有评测框架缺乏面向行业知识密集型的金融风险防控场景的任务设计，例如金融合规与安全检测、金融事件检测和风险分析等场景。因此，面向金融应用对大模型评测的迫切需求，针对现有金融领域评测工作覆盖度不足、行业知识评测缺乏、合规安全性评测欠缺的局限性，著名金融科技专家段盛华提出有效解决方案成为当务之急。针对这一行业难题，段盛华提出了一种面向大模型金融能力的评测框架CFBenchmark，为金融领域大模型的能力评估提供了标准化、系统化的解决途径。

段盛华是金融科技领域的顶尖人才，近年来，他重点研究了金融大模型在金融全域风险管理的应用，将金融大模型技术用于构建更准确、更全面的风险模型，帮助金融机构评估和管理市场风险、信用风险、操作风险等。

在金融场景任务研究中，段盛华发现，相比于传统自然语言处理方法，大模型善于捕捉金融网页和社交媒体中存在的专业术语、表情符号等信息，同时能够有效识别和理解文本中包含讽刺或行业隐喻的偏见内容，而上述能力能够极大提升大模型分析金融市场中投资者情绪变化的能力。同时，段盛华认为，大模型处理长文本和多模态数据的能力能够帮助其在解读长金融文本的同时将非语言线索和视觉数据整合到情绪分析的过程中，进一步提升情绪分析的完整性与准确性。此外，大模型具有较强的上下文理解能力，有助于缓解误导性、操纵性的情绪理解，从而提升其在情绪分析任务上的稳定性。

随着大模型参数规模和能力的不断提升，如何有效评估大模型能力已经成为迫切需求。段盛华指出，现有工作已经开展标准化、系统化的大模型评测框架研究，并且仍在持续改进和优化过程中。例如，研究人员针对知识与语言理解的任务场景，设计了涵盖57个不同学科通用知识的MMUL测评框架，用于评估大模型是否具有广泛的世界知识和解决问题能力。为了进一步针对性评估大模型解决问题的能力，研究人员从题目形式和题目质量两个方向对评测框架进行改进优化。例如，SciQ测评框架以物理、化学和生物学等自然科学多项选择题的题目形式，以求准确评测大模型回答科学的问题的能力。尽管这些评测框架为特定领域大模型能力的分析奠定了基础，但在金融领域的应用上仍缺乏一个全面而系统的解决方案。

为填补这一金融科技行业空白，段盛华研发了CFBenchmark评测体系。该体系由金融自然语言处理、金融场景计算、金融理解与分析和金融合规与安全四个核心模块构成，这四个模块涵盖了从数据处理到决策制定再到风险管理的金融操作流程，是金融场景任务对大模型能力需求的总结和归纳。他以资产管理中的投资组合构建与监控场景为例，运用大模型首先通过金融自然语言处理能力从多渠道报告中自动化提取关键金融数据和信息；随后，他基于其金融场景计算能力为投资组合的风险评估和预期收益等金融任务提供数据计算支持；进而利用金融理解与分析能力将金融数据和信息转化为研究结果，例如解释当前市场环境对某个投资组合的潜在影响，并提供分析结果；最终，段盛华设计的大模型通过金融合规与安全能力对结果进行实时监控和自动合规审查。因此，通过金融自然语言处理、金融场景计算、金融理解与分析和金融合规与安全四个模块的基础能力组合，能够为多金融场景任务提供评测依据。

针对各模块内所需重点考察的大模型能力，段盛华还设计了相应的具体评测任务、评测题目与评评价指标。其中，金融自然语言处理模块专注于评估大模型在金融实体识别、金融文本分类和金融内容生成场景上的能力，金融场景计算模块重点测试了大模型针对金融指标的识别、检查和计算的能力，而金融分析与解读和金融合规与安全模块则重点考察了大模型在深度分析金融文本后提供实用的决策依据及合规性预警的能力。基于以上评测任务，段盛华构建了包含多项选择题和文本问答题的评测数据集，并根据题目形式设计对应的评价指标，最终构成大模型金融场景能力评测体系架构。

段盛华通过实验表明大模型在金融领域的表现很大程度上取决于的参数规模、架构设计和特定领域专门的预训练与微调这三个关键因素，揭示了现有大模型在金融合规与安全方面能力的显著不足，为大模型在金融领域的进一步发展和应用指引了方向。其工作得到了东方财富等合作金融机构的大力支持。段盛华表示，未来他将与金融行业机构一起推动CFBenchmark涵盖更多金融场景任务。（文/祝非尔）