解决方案:吕忠涛:高质量数据是企业大模型应用成功的基石

佚名 次浏览

摘要:对于记者提出的AI大模型需要大量的业务数据反哺来训练学习,大型金融机构怎样做好数据治理,安全合规地发展金融大模型的问题,吕仲涛表示:“高质量的数据是企业大模型应用成功的基石。吕仲涛介绍,工商银行已在同业率先完成千亿金融大模型构建和应用。

经济观察网记者 万敏 2023年12月17日,工商银行首席技术官陆忠涛在第二届明珠湾金融大会上发布《明珠湾智慧金融发展报告(2022)应用篇》(以下简称《应用篇》)论坛),并接受经济观察网记者提问。

陆中涛介绍,2022年以来,金融行业智能应用主要呈现三个特点:应用规模稳步增长、应用质量和​​效率持续提升、应用效能显着增强。 “应用篇”精选了33个典型案例,按照银行、保险、证券三大主要行业板块进行整理。 每个板块大致分为四个应用类别:产品创新、客服营销、运营管理、风控合规。 。 其中,银行业率先尝试智能新技术,持续提升业务水平,在智慧村庄、智能录审、数字化智能交易等各场景推出了一大批典型应用。

工商银行企业文化建设总结_工商银行企业文化四个支撑_工商银行企业文化建设 重点

陆忠涛表示:“大型银行数字化转型和智能化应用发展较早,往往针对全业务场景构建基于全技术栈的企业级平台能力,水平在同行中相对领先。中小银行则受限于资金、规模、人才等因素,智能化应用水平相比较大机构仍有一定差距,适合通过引入特色技术产品并根据自身不断打磨来赋能业务。战略定位和特色业务领域”

对于记者提出的AI大模型如何需要反馈大量业务数据进行训练学习、大型金融机构如何做好数据治理、安全合规开发大型金融模型等问题,陆忠涛表示:“高质量的数据是企业大模型应用的关键。 成功的基石。 然而,训练所需的海量和高多样性要求,对大模型的数据采集、清洗、管理和使用所需的数据工程平台能力提出了新的挑战。”

工商银行企业文化四个支撑_工商银行企业文化建设总结_工商银行企业文化建设 重点

吕忠涛介绍,工商银行在行业内率先完成了千亿规模的大型金融模型的构建和应用。 在此过程中工商银行企业文化建设 重点,工商银行依托企业级数据中台,初步形成了一套从金融数据集建设出发,重点关注数据采集、清洗、标注、数据全生命周期管理的大模型数据工程平台能力。管理、使用。 并积累TB(太字节)级的金融数据集并不断完善。

一是夯实标准化、流程化数据采集的“基础”,打破数据孤岛。 吕忠涛表示,对内,通过建立企业级数据中台,采用集中化手段打通数据孤岛,整合分散、复杂的数据(包括结构化数据以及来自不同地方的文档、语音、图像等非标准数据)。业务线、不同部门、不同系统)。 结构化数据)整合形成统一、集中的数据资产。 对外工商银行企业文化建设 重点,我们通过开源、联合创新、专项采购等方式,不断丰富互联网新闻、图书等外部数据。 整合内外部数据,建立完善的数据采集机制,为大金融模型的构建提供活力源泉。

工商银行企业文化建设 重点_工商银行企业文化四个支撑_工商银行企业文化建设总结

二是不断完善数据处理、知识积累、数据治理的“工具”,降低数据处理的门槛。 陆忠涛表示,工商银行已初步建立围绕大模型的数据工程和知识工程的系统化工具,具备对相关数据资产进行整理、清洗、去重、标签和管理的数据工程能力,有效消除数据冗余、消除数据偏差、确保数据质量和准确性,并通过工具支持不断扩展金融专用数据集,完成企业专用模型训练。

三是强化训练数据安全管理的“技术”,维护大模型数据的安全质量。 通过建立专门机制和专门队伍,重点加强大模型数据安全管控。 在数据安全管控过程中,我们优先保障社会主义核心价值观、工商银行企业文化和金融行业要求。 通过敏感词检测、非法数据过滤、安全评估、人工审核等安全处理方式提高数据质量和安全可控性。 同时,工商银行在大模型深入应用和实践总结的基础上,逐步推进系统安全评估、管控方法、技术框架等能力建设。

四是建立大模型应用数据运营的“道”,实现大模型的数据闭环。 吕忠涛透露,一方面,在业务系统中,以智能场景为单位,以大模型迭代为目标,通过规范埋点数据的操作,将所有埋点数据标准化,保证大模型应用数据的闭环。湖,从而促进大型模型的可持续性。 迭代和优化。 另一方面,加强对金融大模型运营数据的监控和分析,根据不同业务领域预设运营指标模板,实现技术指标和业务指标的统一监控,并基于BI(商业智能)生成各类运营评估报告。 ) 能力。 ,为数据科学家提供大模型优化指导,保证大模型数据驱动的持续新鲜度。

随机内容