《上海财经大学学报》
2024第26卷第6期
生成式AI下超大金融服务平台滥用算法权力的风险规制
程雪军1,2     
1.同济大学 法学院, 上海 200092;
2.北京大学 法学院, 北京 100871
摘要:生成式人工智能驱动下的大模型,促进人工智能算法技术快速演进并深度嵌入金融服务行业,从而推动了现代金融服务平台的新模式发展、新技术应用与新产品研发。然而,任何算法技术都具有内在的技术缺陷,导致超大金融服务平台从算法应用向算法权力风险嬗变。通过采用案例分析法,深度研判生成式人工智能下超大金融服务平台滥用算法权力的风险形成机制,发现其算法权力风险集中体现为算法垄断风险、算法控制风险与系统性金融风险;通过采用风险规制理论以及比较研究方法,深度透视生成式人工智能下超大金融服务平台滥用算法权力的风险规制范式,即欧洲重视超大金融服务平台算法透明与风险分级规制,美国注重超大金融服务平台的算法问责与算法公平竞争。因此,我国有必要在生成式人工智能下改进超大金融服务平台滥用算法权力的风险规制空间,从算法公平、透明与问责层面重构生成式人工智能下超大金融服务平台滥用算法权力的风险规制范式。
关键词超大金融服务平台    算法权力    算法风险    风险规制    算法透明    

一、问题的提出

随着算法(Algorithm)技术的深度演进,各类金融服务平台逐步重视并加强算法技术的应用。算法技术是新一代信息技术,既会促进金融服务平台的创新发展与综合效率, 1也会因为滥用算法技术而诱发算法权力风险。在日益激烈的金融服务市场竞争环境下,以金融服务平台在内的市场主体纷纷发展算法技术与集聚海量的综合数据,逐步成为算法驱动型的超大平台并形成算法权力。目前,金融服务平台作为互联网平台的重要构成,在我国服务行业广泛分布。根据《互联网平台分类分级指南(征求意见稿)》,互联网平台包括电子商务、生活服务、社交网络、信息资讯、计算应用与金融服务平台,实现人与商品、服务、人员、信息、资金与计算等连接属性。其中,金融服务平台是互联网平台的重要构成,同样需要满足用户规模、业务种类、经济体量、限制能力等风险规制要件。而且,基于用户规模、业务种类、经济体量、限制能力的差异性,金融服务平台可分为超级平台、大型平台与中小型平台, 2其中,超大(超级与大型)金融服务平台是指以算法技术为导向,通过先进的大数据与算法技术深嵌现代金融服务,从而高效满足社会经济发展的投资与融资服务功能的平台,它具有更高的用户规模(平台年活跃用户数超0.5亿人)、更广的业务种类(核心金融业务在两种以上)、较高的经济体量(平台市值或估值超1000亿元)、较强的限制能力(平台较强的限制商户接触消费者的能力),因此其可以通过滥用算法技术形成算法权力,严重影响金融服务市场的公平竞争,损害其他平台经营者以及消费者的合法权益。

在生成式人工智能(Generative Artificial Intelligence,简称生成式AI或GAI)背景下,国内外学者从以下几方面对平台滥用算法权力开展相关研究,但普遍没有重点关注超大金融服务平台:第一,关于金融服务平台算法的技术原理研究。人工智能发展从计算智能、感知智能发展至认知智能,并深度嵌入金融服务行业。按照人工智能是否由模型支撑可分为决策式与生成式人工智能,前者决策式AI是一种用于决策的AI技术,可以帮助平台企业和组织优化商业决策;后者生成式AI是用于自动生成新内容的AI技术,可以帮助平台企业与组织自动生成新的内容。众多学者认为算法以智能终端与二进制作为信息载体及其计算数制, 3普遍被认为是通过输入数据得出输出结果的程序, 4其本质是形式化的过程或依步骤行使的程序 5。从算法类型看,它主要包括分类算法与回归算法,前者用于离散数据或离散值差异较大的数据,后者用于连续数据或连续值差异较小的数据。 6在AI算法技术的驱动下,平台可以令内容型应用程序企业(如金融服务企业)在内容型应用程序的通信服务上得以顺利运行, 7大幅提升了平台自身的综合效率。第二,关于金融服务平台的算法技术优势研究。随着生成式AI的应用场景日益扩大化,高德纳咨询(Gartner)预测2025年生成式AI产生的数据将占所有数据的10%,红杉资本预测生成式AI将产生数万亿美元的价值,并广泛应用于制造业、金融业、数字媒体等行业。 8同理,在生成式AI的驱动下,金融服务平台等技术应用者只需要对模型适当调整,就能完成真实场景的任务,从而促进了金融服务行业的深度发展。其中,超大金融服务平台具有独特优势,因为其可以从金融服务中获取海量数据,充分发挥数据要素的价值,将其作为算法研发与算力提升的基础,形成海量数据、先进算法、强大算力的资源禀赋,有效促进平台全要素效率。 9诚如欧盟数据保护监督局调研发现:“目前算法已经可以做到理解并翻译各种语言、识别影像、撰写文章以及分析数据”。 10因此,当算法技术全面嵌入平台金融产品与服务中,驱动超大金融服务平台成为主导金融活动以及配置市场资源的重要力量。第三,关于金融服务平台的算法权力风险及其规制研究。在激烈的金融市场竞争中,各类互联网平台通过深度利用算法尤其是深度学习模型,形成得天独厚的数据与算法竞争优势。生成式AI时代具有鲜明的数字性、技术性与效益性等特征,以数据与算法作为全新的核心生产要素以及核心竞争力。但是,数据与算法保护制度不健全等因素,加剧了超大金融服务平台对数据与算法的控制,导致市场结构的集中度日益高企, 11形成了一种超越普通企业的算法权力(Algorithmic Power),即平台基于算法、数据、用户交互与资本优势对相对人形成具有控制性的社会权力。 12然而,不同学者对平台算法权力的界定及其风险分类具有明显的差异性,大型平台企业基于数据与算法优势,利用“信息权力”对消费者实施剥削性与歧视性定价,形成了一种无形的“算法权力”, 13可能引发算法垄断风险、算法霸权风险、算法控制风险。其中,经济合作与发展组织(OECD,2016)在《大数据:将竞争政策引入数字时代》中指出“企业使用AI建立将利益最大化的算法之时,其背后有算法共谋的可能性”, 18这种算法共谋基于应用场景不同而分为信使场景、中心辐射式场景、预测代理型场景、电子眼场景的算法共谋,并因此形成了超级平台的算法垄断。 19算法本身的不透明性与难理解性,可能实施算法金融决策行为,衍生系统性金融风险。为应对平台滥用算法权力的风险,有些学者提出从理念与技术层面强化治理手段驯服AI算法的“塞维坦”,从算本主义理念向人本主义理念转向,大力提升技术治理尤其是发展区块链与AI技术;有些学者建议通过专利法保护AI算法,因为国家知识产权局《专利审查指南》(2020)指出涉及人工智能、大数据的发明专利申请,在审查中不应简单割裂技术与算法特征,而应将所有内容视为整体;有些学者认为规制算法权力风险关键在于制度选择,通过借鉴欧盟与美国对算法共谋的风险规制经验(欧盟对平台算法权力风险规制的重点在于数据保护与赋权,美国对平台算法权力风险规制的重点在于算法透明与问责),提出可以在市场解决方案与政府规制之间相机抉择,比如构建一个全新的AI监管机制;有些学者提出了算法权力的法律规则路径:合理限制算法权力运行,配置个人权利以对抗算法权力,加强自律机制与第三方治理。

在生成式AI背景下,超大金融服务平台通过深度应用数据与算法资源,促进金融服务平台的创新发展,但超大金融服务平台滥用算法资源的行为,可能衍生“算法即权力”的风险,严重影响金融服务市场的稳健发展,损害其他平台经营者与消费者的合法权益:其一,在国内金融服务市场,针对超大金融服务平台(蚂蚁集团)在公司治理、金融消费者保护、参与银行保险机构业务活动、从事支付结算业务、履行反洗钱义务和开展基金销售业务等存在的违法违规行为,金融监管部门2022年依法对其处以罚款71.23亿元;同年金融监管部门对财付通公司因违反机构管理规定等被罚没29.93亿元;其二,在国外金融服务市场,5家国际超大金融服务平台(花旗、瑞银、摩根大通、巴克莱银行、苏格兰皇家银行)因涉嫌利用算法技术联合操纵外汇市场,被美国司法部开展反垄断调查,并合计支付了25亿美元的罚款。然而,当前学术界较少从超大金融服务平台角度切入,探索其算法权力风险及其规制研究。因此,本文从超大金融服务平台算法技术应用场景切入,通过案例分析方法解构生成式AI下超大金融服务平台滥用算法权力的风险形成机制;通过理论分析方法,透视超大金融服务平台滥用算法权力的风险规制依据;通过比较分析方法,借鉴欧美超大金融服务平台滥用算法权力的风险规制经验,我国可以从算法公平、透明与问责层面重构相应的风险规制路径。

二、生成式AI下超大金融服务平台滥用算法权力的风险形成机制

在生成式AI时代,过度的算法依赖为超大金融服务平台滥用算法权力风险埋下了隐患。通过采用案例研究法,重点解构超大金融服务平台滥用算法权力的风险形成机制。

(一) 超大金融服务平台滥用算法权力的风险案例与形成

金融服务平台是数字经济的基础,更是促进数字经济与实体经济融合发展的关键。以证券投资平台中的智能投顾为例,从特殊到一般,可以有效解构超大金融服务平台滥用算法权力的形成机理与风险。超大金融服务平台比传统金融服务企业具有显著数据与算法等层面的竞争优势,平台可通过输入海量数据,在繁杂数据中利用先进算法对数据进行分析与处理并形成相应的算法模型(如宏观因子模型、基本面因子模型、统计因子模型等),输出相应的金融算法产品。从智能投顾平台的运营原理看,通过深度绑定算法技术与应用算法模型,超大智能投顾平台以客户需求为出发点,利用科学的投资理论和算法模型进行投资决策:首先,超大智能投顾平台分别从金融消费者个人资产状况、风险偏好等设定多个问题,比如,你目前的家庭状况、投资决策时最关注的是收益最大还是损失最小等,通过客户风险问卷调查获取客户数据;其次,平台通过算法技术分析客户多维度画像刻画投资风险偏好、投资规划需求、财务状况等,做好客户投资需求分析;并基于现代资产投资组合理论(MPT)做好大类资产配置;再次,将投资者分析模型与现代资产组合投资模型相结合,利用智能算法自动生成适用于投资者的投资策略;从次,不断累积的客户投资记录,结合宏观经济环境的变化和投资风格的转变实时为投资者进行投资组合的再配比,实施交易执行模型并不断优化投资组合;最后,基于优化后的投资组合,利用算法模型向金融消费者推荐相应的金融算法产品,金融消费者根据自身的投资偏好与预算约束购买或不购买相应的金融算法产品。由此可见,超大智能投顾平台具有比传统投顾企业更高的投资门槛、更便捷的投资服务、更个性化的投资推荐等,它正在以一种算法技术驱动的方式为金融消费者提供更加个性化与智能化的辅助决策服务,通过最少的人工干预方式为金融消费者进行资产配置与管理。

如果超大金融服务平台滥用算法权力并实施相应的算法金融行为,那么可能衍生相应的算法体系化风险。2013年8月16日,光大证券在进行交易型开放式指数基金(ETF)申赎套利交易时,因算法程序错误导致相应的算法权力风险:其一,算法垄断风险。光大证券使用的策略交易系统以234亿元的巨量资金申购180ETF成分股,实际成交72.7亿元,形成滥用市场支配地位,该操作立即导致上证指数暴涨。同日中午,光大证券相关负责人达成卖空股指期货与ETF对冲风险的意见,立即导致上证指数暴跌,其中卖出股指期货空头合约 IF1309、IF1312共计6240张(价值43.8亿元),卖出180ETF共计2.63亿份(价值1.35 亿元),卖出50ETF共计6.89亿份(价值12.8亿元)。其二,算法控制风险。光大证券充分利用数据、算法与资本等优势,在国家公权力(中央金融委员会、国家金融监管总局、中国人民银行、中国证监会、地方金融管理局等)与消费者私权利(金融消费者)之间形成算法权力,这种算法权力本质上是一种类似于“算法利维坦”的超大平台私权力, 22搭建了“国家公权力—平台私权力—消费者私权利”的新兴法律秩序结构,改变了传统“国家公权力—消费者私权利”的法律秩序结构,容易形成算法控制风险。其三,系统性金融风险。光大证券滥用数据、算法与资本等优势,导致我国当天股票市场发生剧烈震荡,可能引发潜在的系统性金融风险。因此,中国证监会8月30日发布《光大证券异常交易事件的调查处理情况》,称光大证券“采取了错误的处理方案,构成内幕交易、信息误导、违反证券公司内控管理规定等多项违法违规行为”,决定没收光大证券违法所得8721万元,并处以5倍罚款,罚款金额总计5.2亿元。对4名高管分别给予警告并罚款60万元,同时4人被宣布终身禁入证券和期货市场;责令董事会秘书改正并对其处以罚款20万元;宣布停止光大证券从事证券自营业务,暂停审批光大证券新业务并责令其整改与处分责任人员。11月1日,中国证监会作出行政处罚决定书[2013]59号与[2013]60号,并维持上述处罚决定。 23总之,在人工智能尤其是生成式AI下,超大金融服务平台滥用算法权力将会形成相应的风险,集中体现为算法垄断、算法控制与系统性金融风险,我国有必要加强相应的风险规制。

(二) 生成式AI超大金融服务平台滥用算法权力的主要风险

1.算法垄断风险。近年来,全球范围内具有较大市场影响力的互联网平台竞争日益激烈。 24 同理,作为互联网平台经济的重要构成,超大金融服务平台通过数据与算法等技术强化平台经营效率与服务精准度,逐步变革传统单一的数据生产模式与生产关系。在现代市场经济中,由于市场垄断、外部性、信息偏在等客观因素,市场失灵现象是市场常态化的结果,所以这倒逼政府通过市场规制与宏观调控等方式矫正市场失灵。随着数字经济向纵深化发展,为稳固市场垄断地位,超大金融服务平台陆续加强大数据与算法技术的投入。诚然,算法技术促进超大金融服务平台在数字经济时期获得了丰富的资源禀赋与市场竞争优势,但是超大金融服务平台深度利用数据、算法与资本优势形成了市场支配地位,严重挤压中小企业的竞争空间并衍生了算法垄断风险。何谓算法垄断风险?通常认为是平台企业利用算法技术,通过不当手段获取市场支配地位,进而实施垄断行为,对市场竞争和消费者权益造成负面影响的风险。具言之,这种算法垄断风险主要体现在算法共谋、利用算法滥用市场支配地位、算法驱动型经营者集中。

以互联网支付平台为例,其是金融服务平台的重要组成部分。在先进算法技术的驱动下,我国第三方互联网支付市场格局逐步稳定,形成三家超大的互联网支付市场竞争格局,具有强有力的市场支配地位。截至2023年第三季度,银联商务(中国银联子公司)以26.51%的市场占有率位居行业第一位,支付宝(蚂蚁集团子公司)以20.71%的市场占有率位居第二,腾讯金融(腾讯集团子公司)以18.24%的市场占有率位列第三。倘若不对这些超大金融服务平台算法权力实施有效规制,那么就有可能衍生相应的算法垄断风险:其一,算法共谋是一种不同于传统垄断协议(合谋)的新兴合谋行为,它是平台企业利用算法技术作为工具,从而实现个体之间的自动合谋。这种合谋行为通过计算机程序中的算法代替人类决策参与市场反竞争行为, 29旨在达到个体或共同的目标。在超大金融服务平台领域,算法共谋是两个以上的超大金融服务平台利用算法技术限定金融产品或服务的价格或数量,从而排除限制金融市场竞争的行为。届时,超大金融服务平台算法共谋可能涉及多个独立个体(如算法)之间的相互合作,它们通过协同作用改变原本的决策过程和结果,从而影响整体系统。其二,为保持金融服务市场的竞争优势,超大金融服务平台利用数据、算法与平台优势,通过个性化推荐、价格歧视等手段,对消费者进行不公平的定价和服务,从而损害消费者权益。同时,超大金融服务平台还可能通过算法形成市场支配地位,对市场竞争对手实施打压,旨在排除或限制竞争,进而巩固自身市场支配地位。其三,为积聚丰富的算法资源,形成金融市场竞争优势,超大金融服务平台常常通过经营者集中占有其他金融服务企业的数据与算法资源,从而达到控制更多的算法资源,旨在排除与限制其他金融服务企业的市场竞争。总之,倘若不对超大金融服务平台滥用算法技术实施垄断行为开展有效的风险规制,那么超大金融服务平台将通过强化平台网络效应及其规模经济,衍生出风险更加高企的算法垄断风险,严重阻碍金融服务市场的公平竞争。

2.算法控制风险。什么是权力的本质?不同学者具有差异化的观点,难以形成统一的意见,但是权力的本质一般可理解为不平等的“剥夺”,即拥有强有力的控制,对相对人实施非公正的行为。同理,算法技术具有高度的复杂性与难理解性,超大金融服务平台滥用算法权力加剧了信息不对称,致使其通过算法技术具有了强有力的算法控制,形成了体系化的算法权力。总之,超大金融服务平台研发并应用的算法技术与算法模型并非总是客观中立,而是充满着算法专断与偏见,容易衍生相应的算法控制风险,集中体现为算法茧房风险与算法专断风险。

第一,算法茧房风险。在大数据与算法时代背景下,数据与算法资源变得越发重要,成为平台经济市场竞争的关键要素。然而,任何资源都具有稀缺性,越是有价值的资源越具有稀缺性,而且私人权利主体越不愿意公示其内在价值与信息,从而衍生不透明性。同理,在市场逐利性与技术深化性的驱动下,超大金融服务平台滥用算法技术的行为日益严重,因为超大金融服务平台拥有数据与算法的控制权,其算法模型具有严重的不透明性与难理解性,严重干扰平台用户的信息识别与判断,将其置身于算法茧房中,难以逃离超大金融服务平台的算法控制。比如,某些超大金融服务平台为实现其流量变现以及消费数据增长,通过算法模型支撑各种“消费主义”视频,给广大女性用户算法推荐消费主义、娱乐主义、单身主义等短视频,致使其消费观念与婚姻理念发生潜移默化的影响,完全背离了社会现实的消费与婚姻状况。为何短视频平台要宣传这样的信息资讯呢?因为任何超大短视频平台,都需要从商业上寻求流量及其变现手段,而市场中的消费能力排序分别是单身女性、已婚女性、单身男性、已婚男性,所以超大短视频平台通过消费主义与单身主义的短视频向广大用户算法推荐视频信息,将用户陷入算法茧房中,然后通过平台消费端以及金融服务端向用户销售其产品与服务。虽然金融监管机构可以对超大金融服务平台算法系统的输入端与输出端数据同时实施监管,但是无法揭露中间隐层的运行程序,所以常引发超大金融服务平台的算法茧房甚至算法黑箱风险,严重损害用户的合法权益。

第二,算法专断风险。超大金融服务平台滥用算法权力的不对等性,致使算法控制风险居高不下。超大金融服务平台作为算法技术的设计者与应用者,能够全面掌控算法技术及其信息;它常以算法技术尤其是算法源代码保密为由,试图掩盖运行中的程序漏洞等问题并规避法律制裁。比如,加密数字货币因为比特币交易所Mt.Gox破产案而成为热门话题,但加密数字货币最初是为了逃避金融机构过于耗时与昂贵的国际转账,即是为了结算而使用,不过由于没有国家信用担保与法律确权,与货币当局发行的法定货币不同,所以大多数国家不承认其为货币。尽管如此,某些超大金融服务平台利用其算法、算力与客户等优势研发的加密数字货币(如Meta公司基于超30亿用户而发行的Diem,JP Morgan公司基于数亿高净值用户而发行的JPM Coin),已经被设定为与法定货币挂钩, 30有可能成为新兴货币的控制对象,甚至可能形成货币的非国家化,控制国家货币的发行权,形成强有力的算法专断风险。然而,超大金融服务平台常将算法权力(控制)风险归咎于滥用算法技术,从而逃避平台法律责任及其风险规制。对于超大金融服务平台滥用算法控制强化平台端对用户端的数据掌控与算法剥削,威胁消费者的合法权益,我国亟待完善超大金融服务平台算法控制的风险规制体系,破解超大金融服务平台算法控制行为。

3.系统性金融风险。对于超大金融服务平台的算法服务而言,基于提供的服务类型不同,可以分为推荐型与决策型算法服务。其中,决策型算法服务更有利于转移与掩盖金融产品与服务的风险,具有更高的用户针对性和结果导向性,但是这种风险逃避并未摆脱超大金融服务平台滥用算法权力引发的系统性金融风险隐患。

第一,超大金融服务平台滥用算法技术深度应用于金融产品与服务,有效连接传统分业金融模式,从个别性分业金融模式转变为交叉系统性的混业金融模式,用大数据与算法技术等手段突破传统分业金融监管框架。然而,该种分业金融监管框架难以适应超大金融服务平台滥用算法技术实施的技术创新与混业经营,致使超大金融服务平台所处在的金融市场可能衍生系统性金融风险。所谓系统性金融风险,其是指金融体系(包括银行、证券、保险等)因某些因素的综合影响而陷入危机或破产的状态,它是金融市场固有的、不可分散的风险。超大金融服务平台具有业务规模庞大、用户基数广泛、业务复杂度高、技术依赖性高,尽管其通过平台算法系统可以防范化解个别性金融风险,但难以改变与破解系统性金融风险。

第二,随着算法技术在社会经济中发挥的作用日益普遍,通过算法技术使得行为与责任脱钩的问题逐步显现,越来越多的主体将失败的责任转嫁给算法或机器人。 31其中,最典型案例莫过于美国华尔街2024年6月的“闪电崩盘”,美国股市部分股票价格显示跌幅超过98%,随后临时停牌。其中,蒙特利尔银行、巴里克黄金等多只股票价格跌幅高达98%以上。上述巨幅波动触发了相关股票盘中临时停牌,近两小时后才恢复交易。关于“闪电崩盘”原因,最初的说法是一名交易员的“操作失误”,但该说法并未得到证实。随着调查的深入,纽约证券交易所回应称是证券交易系统缺陷(技术故障)引发的“闪电崩盘”,即股票在短时间内由“电子控制系统”代替“人脑系统”开展交易,从而导致这场股灾。不过,人们普遍将算法交易或机器交易视为“闪电崩盘”的“替罪羊”,依然存在着明显的偏驳之处,因为“闪电崩盘”的本质原因在于以量化投资平台为代表的超大金融服务平台滥用算法权力而实施的风险行为。此后“互联网泡沫危机”“次贷危机”等多起事件都是由于滥用算法权力而引发的系统性金融风险。由此可见,超大金融服务平台利用算法权力掩盖个别性金融风险,将其留存在金融市场内部并相互传导与聚集,诱发系统性金融风险的全面爆发。

三、欧美超大金融服务平台滥用算法权力的风险规制范式

由于生成式AI技术的复杂性与不透明性,超大金融服务平台作为算法技术与模型的使用者,具有天然的技术与信息优势,处于事实上的支配地位并形成算法权力风险,而大多数金融消费者由于信息与技术不对等因素,难以理解平台算法运行原理,常常处于算法弱势地位,因此各类经济体有必要加强相应算法权力的风险规制。然而,不同经济体形成了差异化的风险规制范式,诚如库恩范式理论所言:“按既定的用法,范式是一种公认的模型或模式”。 32通过采用比较研究方法,本文重点梳理欧美地区对超大金融服务平台滥用算法权力的风险规制理论与模式,从而有效解构超大金融服务平台滥用算法权力的风险规制范式。

(一) 欧美超大金融服务平台滥用算法权力的风险规制理论

在生成式AI场景下,AI算法技术不仅是特定的技术手段,而且是关涉“国家权力—社会权利”的变量因素。对于超大金融服务平台而言,其掌握数据、算法以及技术优势,把控着社会经济运行中的重要信息及资源,形成了一种非国家力量的“准公权力”。此时,金融市场结构呈现不公平发展态势:少数超大金融服务平台掌控大部分利益、承担少部分风险,但大多数金融消费者承担大部分风险、掌控少部分利益。为促进金融市场公平竞争,有必要采取适当的风险规制,因为其兼具权利保障稳定器和权力失控抑制器的作用。

第一,技术的深度演进与应用,促进不同社会类型逐步转变并衍生相应的风险。在不同的社会语境下,风险所表达的意义不尽相同,所需要采取的风险规制模式大有不同:其一,在前工业化革命时期,人类社会是自给自足的农业化低生产社会,主要体现自然风险,其风险规制模式强调人为规制,集中体现为“王权之制”;其二,在传统工业化革命时期(第一次到第三次工业化革命),人类社会向机器驱动的工业化高生产社会转型,其风险演变为工业社会的社会风险,风险规制模式强调法律规制,集中体现为“法律之制”,因为工业化大生产需要标准化秩序与法律规则;其三,随着人工智能技术深度演进,智能革命推动人类社会从传统工业社会向现代智能社会转型,现代化风险演变为大规模产品且全球化加剧的系统风险。人工智能技术的快速兴起,促使现代智能社会的风险结构突破工业社会下的“自然风险—社会风险”,即从人为的社会风险逐步演变为算法风险,此时基于工业社会而形成的风险社会理论,难以有效预防与制止智能社会下的算法风险。因此,学术界有必要从算法风险类型出发,探索一种“多元规制”而非人为规制或法律规制的模式。

第二,传统风险规制理论强调从风险控制(Risk control)角度缓解市场经营者与消费者的风险冲突,而不是从风险规制(Risk regulation)角度探究防范与缓解风险冲突,对此美国学者斯蒂芬·布雷耶有针对性地提出现代风险规制理论并改进风险规制体系,他认为现代风险规制体系主要由两个基本部分构成:其一,技术部分被称为“风险评估(risk assessment)”,旨在评估、度量与物质相关联的风险,其风险评估分为四步(确证可能的风险、画出剂量—效应曲线、估算接触量、对结果加以归类);其二,更具政策导向的部分被称为“风险管理(risk management)”,旨在面对风险评估所揭示出来的相关确证风险,根据与替代进路相关联的风险,在考察风险规制对收益与成本的影响及其可行性后,从而风险规制者决定要做些什么。此外,他以美国风险规制体系为例,对其客观评价并指出三大问题:一是余下“10%”的风险,即约10%的风险未能有效规制;二是风险规制次序的随意性,即风险规制的议程设置存在随意性,致使资源分配不均和规制效率低下;三是规制机构间的不一致,不同规制机构的风险规制不一致性削弱了规制效果,还增加了企业合规成本和消费者的不确定性。 33倘若以超大金融服务平台为例,无论其在投资领域还是融资领域从事金融产品与服务的交易,都有必要加强现代风险规制:现代风险规制涉及复杂的金融运行原理以及算法技术过程,这些过程本身存在不确定性,加之现代金融信息不对称以及风险规制能力的限制,致使风险规制效果难以达到预期;超大金融服务平台具有市场主体的逐利性与盲目性,其衍生的金融算法风险总是客观存在,但传统法律秩序下的风险防范强调通过“限制”与“约束”实施风险控制,难以有效预防平台滥用算法权力的风险。

总之,生成式AI技术驱动传统工业社会进入现代智能社会,超大金融服务平台的风险类型从社会风险向算法风险转变,传统以风险控制理念为基础的法律规制模式,需要逐步转变为以风险规制理念为核心的多元规制模式,引导超大金融服务平台的算法向善。

(二) 欧美超大金融服务平台滥用算法权力的风险规制模式

风险规制范式是一个涉及多个领域和层面的复杂概念,它主要关注如何有效地管理和控制风险。生成式AI具有技术复杂性与信息不透明性,超大金融服务基于天然的技术优势与信息资源,在算法金融服务的运行中处于支配地位并形成算法权力,致使算法消费者与经营者遭受权益侵害。作为全球超大金融服务平台算法风险规制的发达经济体,欧洲与美国为其他经济体算法权力的风险规制提供了成熟的经验,并形成了政府规制模式与合作规制模式。

1.政府规制模式:欧洲政府通过制定严格的法律规范和标准,重视平台算法透明与风险分级规制。在生成式AI背景下,对于超大金融服务平台滥用算法技术逐步形成的算法权力,欧盟高度重视平台的算法透明、分级规制、算法问责,旨在构建一个动态的、多层次的法律规制框架,有效适应不断演化的复杂场景,在风险可控的前提下鼓励AI算法技术创新,为超大金融服务平台等提供清晰且合理的合规路径,从而打造出一个安全可信的算法环境。

首先,通过多元法律规范强调广义算法透明。欧盟《通用数据保护条例》(GDPR,2018年)高度重视数据与算法透明,GDPR通过法律条款强化算法权力的风险规制。尤其是,GDPR第22条既规定数据主体有权反对算法决策所造成的法律影响或风险,又规定数据主体有权要求数据控制者解释算法决策。虽然GDPR中的“解释权”并不具有严格的法律约束力,但是GDPR为算法可解释开启了全新的探索道路,注重通过对数据主体赋权(自动化个人决策相关权利等), 34通过成文立法模式保护公民的基本权利与自由, 35以算法“解释权”形式出现的算法透明成为重要的救济措施, 36因此GDPR第12条赋予用户审查特定算法决策的权利,要求算法提供者“以一种简洁、透明、易懂和容易获取的形式”提供数据与算法等,全面提升超大金融服务平台的算法透明性。在GDPR指引下,算法可解释需要加强对自动化决策范围和特定决策原因的理解,帮助消费者对决策提出异议,并通过引导消费者未来的行为以期收获一个更好的结果。 37此外,英国高度重视算法安全、算法透明与算法公平,通过颁布《数据保护和数字信息法案》(2022年),提出确保AI具有透明度和可解释性原则,考虑公平性原则,明确赔偿或可竞争性路径原则;英国内阁办公厅发布双层次的算法透明度标准:对算法工具的简要介绍,包括如何与为何使用算法工具等;涉及算法工具如何工作的信息、训练模型的数据集、对人力检测的要求;等等。

其次,高度重视算法风险的分级规制。欧盟于2024年通过了《人工智能法》,确立了基于风险的法律规制框架,根据AI算法系统对个人权利和安全的潜在影响将其风险从低到高地分为最低风险、有限风险、最高风险、不可接受风险,对各类风险等级采取差异化风险规制,正式确立AI算法风险的分级规制, 38即完全禁止不可接受的风险、严格管控高风险、公开透明有限风险、不作干预最低风险。欧盟委员会2024年发布《关于人工智能在金融领域应用的目标性咨询文件》,旨在对金融服务行业中AI应用开展深入讨论和意见征集。该文件强调了欧盟人工智能法的重要性,指出AI法案为金融部门建立两个高风险用例:一是旨在用于评估自然人的信用价值或确定其信用评分的AI系统,用于检测金融欺诈的AI系统除外;二是旨在用于与自然人相关的生命和健康保险的风险评估和定价的AI系统。这种风险分级规制的方法表明并非所有AI算法系统都带来相同的风险,需根据其对人类健康、安全和基本权利的潜在影响,制定相应的风险规制规范。为促进AI算法系统在创新推进与风险控制之间寻求平衡,相应的风险规制规范与监管框架应具有灵活性与适应性,以应对技术演进与风险衍生。

最后,加强算法风险的问责机制。风险规制普遍采用事前规制、事中审查与事后问责模式。算法透明原则属于事前规制,欧洲议会《算法问责与透明的治理框架》(2019)认为如果没有事前了解与规制,那么就不能事后追责,将算法透明与可解释性作为风险规制的重要工具。欧盟《可信赖的人工智能伦理准则》(2018年)明确提出AI问责原则,即AI系统应该是可审计的,并由现有的企业告密者保护机制覆盖,而且AI系统的负面影响应事先得到承认和报告。GDPR具有严格的算法问责机制,通过强化数据主体的隐私保护和默认隐私保护,提升平台企业的算法问责;明确规定对违法平台企业的罚金最高可达2 000万欧元或其全球营业额的4%,而且以两者孰高者为准。英国标准组织《机器人和机器系统的伦理设计和应用指南》(2016年),明确指出算法问责的要点,即机器算法系统应该由人类对事情负责,应当找到算法系统背后的负责人。

2.合作规制模式:美国政府、企业、社会组织以及公众共同参与风险规制过程,通过协商、合作等方式制定和执行算法风险规制的政策,注重平台的算法问责与算法公平竞争。在现代算法社会背景下,金融服务市场的经营者与消费者正享受前所未有的技术便利,但也承受着超大金融服务平台利用算法技术从事的“完美监控”。美国强调平台经济的算法技术创新与稳健发展,对超大金融服务平台算法权力风险规制强调算法问责与公平竞争。

首先,通过法律规范强调平台的算法问责。《关于算法透明性和可问责性的声明》(2017年)指出算法的设计者和使用者在设计、实施和使用算法程序过程中应当意识到算法程序偏见以及算法运行的潜在危害,这些偏见与危害最终可能施加于个人与社会,有必要构建一种制度,为平台企业算法作出的决策承担相应的法律责任。《算法问责法案》(2019年)与《算法责任法案》(2022年)高度重视平台经济的算法问责:一是明晰平台算法问责的法律责任主体,适用于有权访问大量信息的大型平台公司,即适用于那些年收入超过5000万美元、拥有至少100万人或设备的信息或者主要充当买卖消费者数据的数据经纪人的平台公司; 39二是明确平台算法问责的标准,避免平台算法歧视、算法不公平与算法有害的决策发生。因此,应当对平台算法系统采用风险控制措施,验证其是否符合算法运营者的意图,识别与纠正有害的算法结果,从而有效实现平台算法问责。 40

其次,高度重视平台的算法透明。美国政府与企业、社会组织等认识到算法在现代社会经济中的广泛应用及其平台算法对社会、经济和个人生活产生的深远影响,高度重视平台算法的透明度问题,确保平台算法决策过程的公正性与可解释性。通过颁布法律规范要求包括超大金融服务平台等披露其算法主体、逻辑、数据、应用甚至源代码等方面,以便监管机构、消费者和其他利益相关者能够了解平台AI算法的工作原理和潜在影响。美国计算机协会《关于算法透明性和可问责性的声明》(2017年)提出构建一套算法透明与责任的原则,旨在有效防范算法决策风险, 41将算法决策的危害最小化;《过滤气泡透明度法案》(2019年)赋予用户具有选择输入透明算法或不透明算法的法律权利,以过滤气泡的方式提升平台算法透明;《算法正义和在线平台透明度法案》(2021年)对包括超大金融服务平台在内的在线平台提出明确的算法透明度要求,从而提升在线平台的算法公正与风险规制。

最后,强化在线平台的算法公平竞争。为促进平台的算法公平正义,美国《算法问责法案》(2019年)明确了算法的内涵,将其界定为“自动化决策系统”,即从机器学习、统计或其他数据处理及人工智能技术中派生的,能自发或促进人类做出影响用户决策的计算程序。 42美国发布“加强竞争和技术平台问责制”的六项原则(2022年),促进平台的算法公平与竞争,即促进科技行业竞争,确保中小企业能和大型科技平台公平竞争;采取强有力的联邦隐私保护措施;对儿童实施更严格的隐私和在线保护;取消对大型科技平台的特殊法律保护;增加平台算法和内容审核决策的透明度;结束歧视性的算法决策。 43美国司法部(DOJ)和美国联邦贸易委员会(FTC)与欧盟委员会、英国竞争与市场管理局(CMA)的领导人于2024年联合发布了一份关于生成式AI基础模型和AI产品竞争的声明。为了应对生成式AI算法所引发的不公平竞争风险,强调在确保公平、开放和竞争的市场环境中的合作承诺,提出保护AI生态系统竞争的原则,主要包括以下层面:鼓励公司从事公平交易;促进AI产品和服务的互操作性,以增强竞争和创新;确保平台企业和消费者有多样化的选择,防止锁定机制和不当合作损害竞争。

四、生成式AI下中国超大金融服务平台滥用算法权力的风险规制范式

无论是被困在算法系统中的中小金融服务平台,还是被困在信息茧房中的金融消费者,都在见证“算法即权力”的现实。我国通过《民法典》《个人信息保护法》《网络安全法》《数据安全法》等初步构建了超大金融服务平台滥用算法权力的风险规制规范,其风险规制要点在于算法透明、算法公平、算法问责、算法伦理等。但是这些法律规范还未细化至可实施的风险规制路径,因此我国有必要从纵向的合作规制(政府、企业、社会组织的多元化规制)以及横向的算法规制(算法公平、透明与问责),重构超大金融服务平台滥用算法权力的风险规制范式。

(一) 在算法公平上,强化平台算法垄断的多元规制

在算法技术与平台经济的驱动下,超大金融服务平台逐渐成为市场经济的重要构成,呈现出双维发展特征:一是超大金融服务平台利用算法技术改变了传统企业的重型资本与企业分散模式,形成了新兴的轻型资本和企业群落模式,有利于全面促进平台企业的综合效率;二是超大金融服务平台通过数据、算法与算力等资源,将中小金融服务平台逐步整合为超级与大型金融服务平台,形成算法垄断,排除与限制平台经济的公平竞争。

为打破市场失灵下的超大金融服务平台算法垄断,构建公平有序的平台经济环境,我国可以构建“政府监管、企业自治、社会监督”并行的超大金融服务平台算法垄断的多元规制。其一,政府监管是多元规制的制度基础,超大金融服务平台算法垄断风险具有自发的竞争危害性与公平损害性,无法通过自我革新有效地消除风险,因此我国需要从政府层面入手,对超大金融服务平台算法垄断采取“自上而下”的统筹规划,按照反垄断法要求分级布局与反垄断执法,基于政府组织架构与部门职能分配,逐步构建科学合理的反垄断执法体系,为多元化的平台算法权力风险规制构建扎实的制度基础。无论是欧盟还是美国,都高度重视平台算法垄断的政府监管:欧盟2021年对3家超大金融服务平台(日本野村证券、瑞银集团、意大利裕信银行)经过10年的反垄断调查,认定其在2007—2011年间与从事欧洲政府债券交易的部分交易员定期联系、交换商业敏感信息、违反欧盟有关反垄断规则为由,判罚3.71亿欧元。美国消费者金融保护局(CFPB)于2022年签署同意令,认定富国银行在账户服务、住房与汽车贷款 44中滥用平台尤其是算法权力,侵害了超1600万名消费者合法权益,判罚其赔偿消费者20亿美元与缴纳17亿美元罚款,创下CFPB最严厉的处罚纪录。 45其二,企业自治是多元规制的市场基础,与传统企业垄断相比,超大金融服务平台算法垄断具有更大的非公平竞争性,在反垄断规制上难度系数更高。因此,我国可以通过不断完善超大金融服务平台在算法垄断中的风险规制主体责任,扎实推进平台自治的合规要求与规章建设,从企业自治层面强化其平台履职过程与反垄断自查自纠。比如2023年监管部门对蚂蚁集团行政处罚(含没收违法所得)71.23亿元,要求蚂蚁集团加强企业自治,关停违规开展的“相互宝”业务,并依法补偿消费者利益。蚂蚁因此成立整改工作组,全面落实监管要求,规范平台金融业务的经营与发展。其三,社会监督是多元规制的社会基础,也是多元化风险规制的新兴治权,我国应加强社会组织与社会公众的社会监督建设,从社会监督层面反对超大金融服务平台算法垄断;强化社会组织、社会公众与政府、平台企业之间的有效沟通, 46从社会监督层面倒逼超大金融服务平台的公平竞争,推进平台经济的稳健发展。

(二) 在算法透明上,通过算法透明体系防范平台算法控制

超大金融服务平台算法技术具有内在的不透明性,常常导致算法黑箱甚至算法控制。 47我国有必要基于本土化国情以及域外发达国家的算法权力风险规制经验,通过健全算法透明体系以防范平台算法控制风险。算法透明具有狭义与广义之分,前者是单独公开算法源代码、数据等信息;后者包括算法透明与算法可解释性,强调公开源代码、数据等信息以及对算法决策原理与过程等作出解释。首先,通过算法审查制度健全算法透明体系。算法审查制度在健全算法透明体系中发挥关键作用,旨在确保算法的合法性、公平性和透明度。在生成式AI下,通过对超大金融服务平台开展全面、系统的算法审查,可以有效提升算法的透明度和可解释性,从而增强公众对算法的信任度。其一,算法审查制度要求超大金融服务平台公开算法的工作原理、数据来源和处理过程等信息,这些信息包括算法的输入和输出、运行过程、决策依据和权重设定等,使得算法的运行过程能够被外界所了解和监督。这种公开透明的做法有助于减少算法黑箱与控制问题,增加算法决策的透明度,进而增强算法的公信力和可接受度。其二,算法审查制度还强调算法的可解释性要求。这意味着算法必须能够向用户和监管机构提供决策的合理解释和依据。通过提高算法的可解释性,可以帮助人们更好地理解算法的工作原理和决策过程,从而更容易接受和信任算法的决策结果。其三,算法审查制度建立了审查机制,对使用算法的部门、组织和个体进行监督和审查。这包括制定独立的审核标准、审查程序和检查方法,以确保算法运行的透明性和正当性。通过定期对算法进行审查和评估,可以及时发现和纠正算法中存在的问题和漏洞,保障算法的安全性和稳定性;加强对算法审查机构的内外监督,内部监督要求算法审查机构建立完整的内部程序,对各环节的数据进行记录;外部监督允许算法审查者、使用者与社会公众对审查机构行为开展监督。 48这种双重监督机制有助于确保算法审查的公正性和客观性。其四,建立完善的算法审查结果公开渠道。通过向算法使用者、审查申请者和社会公众公开审查结果,可以保障各方的知情权和监督权,同时也有助于推动算法的不断改进和优化。与传统互联网技术不同,生成式AI技术加大了技术与信息不对称,致使超大金融服务平台算法不透明与控制。超大金融服务平台的算法审查制度是健全算法透明体系的关键,是防范平台算法控制的风险规制工具,也是提升算法透明度、算法可解释性以及增强公众信任度的风险控制制度,有助于推动超大金融服务平台的稳健发展。

其次,强化算法信息披露义务以破解算法控制风险。如果无法判断算法工程师在转换法律为代码时是否掺杂了主观歧视、误解与霸权,一旦被特定的利益集团(超大金融服务平台)加以控制,那么将会衍生平台算法控制风险。德国联邦法院2014年对超大金融服务平台SCHUFA案件作出判决,指出平台信用评分系统(算法)作为商业秘密不必对消费者披露,但是SCHUFA拥有6720万德国常住居民的财务信息以及9000多家公司的传递信息。如果平台信用评分系统不属于德国数据保护条例15条的法律范畴,不需要对消费者披露算法及其信息,那么将会严重影响到算法相对人的合法权益,因此众多算法相对人依然对SCHUFA案件上诉,呼吁完善超大金融服务平台算法系统的信息披露。 49由此可见,强化算法信息披露义务是破解平台算法控制的关键环节,该举措旨在提升算法的透明度,使公众能够更好地理解算法的工作原理和决策过程。第一,制定全面的信息披露法规。为完善平台算法信息披露,我国应当逐步构建完善的法律法规体系,明确超大金融服务平台的算法信息披露义务,包括必须披露的信息种类、格式和标准等,从源头上确保算法信息的全面性和准确性。第二,强化平台算法信息披露的监管力度。为破解平台算法控制风险,我国需要加大对违反信息披露义务的处罚力度,提高平台滥用算法权力的违法成本;通过建立有效的投诉渠道,允许公众对违规行为进行举报和监督。第三,推动多元主体参与平台算法信息披露。为鼓励社会各界积极参与算法治理工作,包括企业、研究机构、社会组织和个人等,我国可以强化多元主体的共同参与和监督,形成对算法的有效制约和管理;通过教育和宣传,提高公众对算法的了解和参与程度;通过培养公众的批判性思维和科学素养,使其能够自主识别和应对潜在的不良算法。第四,创新平台算法信息披露的监管方式。通过运用先进的信息技术(如人工智能、大数据等),辅助平台算法信息披露监管的工作,提升监管的效率。例如,利用人工智能技术分析海量数据,识别出可能存在的违规行为;运用大数据技术实现跨部门、跨地区的协同监管。第五,建立平台算法信息披露的反馈循环:超大金融服务平台定期收集社会公众对算法的意见和建议,及时反馈给算法提供者以便改进;建立周期性的评估和更新机制,确保算法始终符合社会公共利益和法律法规的要求。

(三) 在算法问责上,完善平台算法权力的法律问责机制

超大金融服务平台通过滥用算法技术对市场经营者实施不公平竞争或垄断行为,对消费者实施欺骗性营销行为(如虚假宣传、误导性推荐等),从而逃避其应当承担的法律责任。同时,由于算法的个性化特点,超大金融服务平台还可能针对不同消费者或经营者实施不同的算法策略,侵害消费者或经营者的合法权益。在超大金融服务平台生态体系中,应当由谁承担法律责任,又应承担什么法律责任?从法律经济学原理看,超大金融服务平台具有信义义务,其理论基础包括工具论与代理论,前者认为信义义务作为关系的“合集”与关系存续的“坐标”,算法是人们感知外部世界的“工具”;后者认为信义义务本质上是“委托—代理”关系,算法可以视为“代理人”,应当为平台滥用算法权力的错误行为构建独立的法律责任制度,将其主观意图纳入考量范围,并使其能够被现有商业惯例和民法规则所调整。 50

诚如欧美高度重视平台滥用算法权力风险的法律问责,其中欧盟《人工智能法案》(2024年)确立了基于风险的规制框架,将AI算法系统评估后分为四等级风险,从低到高的风险为最低风险、有限风险、最高风险、不可接受风险,对各风险等级采取差异化的风险规制方式,正式确立分级规制原则。美国通过《算法问责法案》(2019年)与《算法责任法案》(2022年)高度重视平台经济的算法问责,从法律规则上明确了算法问责的具体要求。结合我国本土化超大金融服务平台滥用算法权力所形成的风险问题,我国可以对其实施分级分类风险规制,有效确定法律责任主体与承担方式:其一,对于非自我学习型算法(信号算法、平行算法与监视算法等),这些算法技术或程序是以人为设计的模型所运行的工具,依然具有强烈的人为意志因素。判断超大金融服务平台滥用算法权力行为的难点在于主观故意证据的证明标准,可根据间接推断出的算法权力行为的间接事实或要素。其二,自我学习型算法不再完全以人的意志因素控制,而是算法自身具有自我学习能力,可能发生与算法权力行为相同的结果,而且比人类学习效率更高的自我学习型算法可以反复训练与试错,最终实现合作均衡的合谋效果, 51从而引起平台私权力效果。然而,自我学习型算法权力的使用者可能不认识这个过程,此时算法可视为代理(Agent),算法本身应当被认定为超大金融服务平台算法权力的法律责任主体,承担相应的法律责任。实际上,机器人(算法)为自己的行为直接承担相应法律责任,在古罗马的奴隶私有财产制度已有先例。为避免法律对算法所有者(超大金融服务平台)过重负担而阻碍了算法创新发展,算法赔偿损失可能是可行性方案。因此,自我学习型算法本身独立于算法运营者(超大金融服务平台),成为法律责任的主体。

五、结 语

作为社会经济运行的命脉,金融服务是商业的高级形态,其中,智能化无疑是金融服务发展的重要趋势。人工智能算法技术激发了传统金融服务的创新与转型,促使超大金融服务平台快速崛起。然而,超大金融服务平台深度应用算法技术同样可能带来较大的冲击,在滥用算法权力过程中形成相应的体系化风险:其一,超大金融服务平台深度利用数据、算法与资本等优势,通过市场势力实施算法垄断行为,衍生新兴的算法垄断风险;其二,算法技术具有技术复杂性与不透明性,为超大金融服务平台实施算法控制提供了风险可能;其三,超大金融服务平台滥用算法权力促进个别金融向系统金融转化,加剧系统性金融风险的爆发。

随着大数据与人工智能等数字信息技术的深度演进,现代社会从决策式AI向生成式AI迈进,各类生成式AI金融产品与服务日益增多,出现了诸多超大金融服务平台滥用算法权力绕开风险规制并逃避法律责任的事件,并超越了传统工业时代的法律规制。如何能在滥用算法权力背景下对超大金融服务平台实施风险规制,对算法相对人实施风险救济,成为当前亟须解决的重点难题。本文采用比较研究方法,基于风险规制理论探究了欧美超大金融服务平台滥用算法权力的规制理论基础,从欧洲与美国视角探究了超大金融服务平台滥用算法权力的风险规制进路,然后分别从算法公平、算法透明与算法问责方面分析了生成式AI下我国超大金融服务平台滥用算法权力的风险规制路径,这有助于促进生成式AI技术的潜能释放以及规避不可控的平台算法权力风险,从而最终实现我国算法规制体系的优化完善。

1巫云仙:《FinTech对金融业的“破坏性创新”》,《河北学刊》2016年第6期。

2王佳佳:《论数字平台市场力量的异化与反垄断规制》,《湖南社会科学》2022年第3期。

3程雪军:《金融科技公司算法风险的体系化治理:欧美比较治理视角》,《经济社会体制比较》2023年第6期。

4马长山:《迈向数字社会的法律》,法律出版社2021年版,第55页。

5蔡润芳:《技术之上的“价值之手”:对算法“物质性”的媒介政治经济学追问——以美团外卖平台“超脑”系统为例》,《新闻界》2021年第11期。

6王东、吴旭峰、吴胜文:《Python金融数据分析》,中国轻工业出版社2024年版,第202-203页。

7[日] 福田雅树,林秀弥,成原慧:《AI联结的社会:人工智能网络化时代的伦理和法律》,宋爱译,社会科学文献出版社2020年版,第145-149页。

8丁磊:《生成式人工智能———AIGC的逻辑与应用》,中信出版集团2023年版,第13-16页。

9唐松、赖晓冰、黄锐:《金融科技创新如何影响全要素生产率:促进还是抑制?——理论分析框架与区域实践》,《中国软科学》2019年第7期。

10European Data Protection Supervisor, Towards a New Digital Ethics: Data, Dignity and Technology, Opinion 4/2015 (September 11, 2015), p.9.

11刘戒骄:《数据垄断形成机制与监管分析》,《北京工业大学学报(社会科学版)》2023年第1期。

12陈灿祁:《平台滥用算法权力的法律规制》,《湖南科技大学学报(社会科学版)》2023年第6期。

13马长山:《数字法治概论》,法律出版社2022年版,第82-83页。

14殷继国:《人工智能时代算法垄断行为的反垄断法规制》,《比较法研究》2022年第5期。

15张蕴萍,栾菁:《数字经济平台垄断治理策略研究》,《经济问题》2021年第12期。

16胡元聪,曲君宇:《智能无人系统开发与应用的法律规制》,《科技与法律》2020年第4期。

17Wood, A. J., Graham, M., Lehdonvirta, V. and Hjorth, I. Good Big, Bad Gig: Autonomy and Algorithmic Control in the Global Gig Economy .Work, Employment and Society, 2018,(1), pp.56-75.

18OECD, Big Data:Bringing competition policy to the digital era,2016,http://www.oecd.org/competition/big-data-bringing-competition-policy-to-the-digital-era.html,accessed on July 10th, 2024.

19[英] 阿里尔·扎拉奇,[美] 莫里斯·E.斯图克:《算法的陷阱:超级平台、算法垄断与场景欺骗》,余潇译,中信出版集团2018年版,第51-53页。

20张凌寒:《算法权力的兴起、异化及法律规制》,《法商研究》2019年第4期。

21[英] 菲比·穆尔,杰米·伍德科克:《逃离算法》,蒋楠译,中国科学技术出版社2023年版,第165-167页。

22程雪军:《驯服算法利维坦:金融科技平台算法风险的系统治理机制》,《经济学家》2023年第11期。

23许多奇:《金融法精要》,法律出版社2023年版,第141-142页。

24Mark Armstrong.“Competition in Two-sided Market ”.London: Mimeo University College, 2005,pp.1-32.

25李剑:《双边市场下的反垄断法相关市场界定——“百度案”中的法与经济学》,《法商研究》2010年第5期。

26宁立志,王少南:《双边市场条件下相关市场界定的困境和出路》,《政法论丛》2016年第6期。

27蒋岩波:《互联网企业排他性交易行为的反垄断规制》,《电子知识产权》2013年第10期。

28于左,张芝秀,王昊哲:《交叉网络外部性、独家交易与互联网平台竞争》,《改革》2021年第10期。

29齐兰、何则懿:《数字资本研究进展》,《经济学动态》2023年第10期。

30[日] 太田胜造:《AI时代的法学入门——跨学科视角》,上海人民出版社2024年版,第182-183页。

31程雪军:《金融科技平台算法黑箱的国际规制与中国因应》,《国际经济法学刊》2023年第2期。

32Thomas Samuel Kuhn. The Structure of Scientific Revolutions (Second Edition,Enlarged) .Chicago:University of Chicago Press, 1970, p.23.

33[美]史蒂芬·布雷耶:《打破恶性循环:政府如何有效规制风险》,宋华琳译,法律出版社2009年版,第8-10页。

34伊卫风:《算法自动决策中的人为歧视及规制》,《南大法学》2021年第3期。

35冷传莉:《人工智能与大数据法律问题研究》,知识产权出版社2022年版,第69页。

36Lilian Edwards, Michael Veale.Slave to the Algorithm? Why a Right to Explanationn is Probably Not the Remedy You are Looking for. Duke Law and Technology Review, 2017,(1),pp.18-83.

37Wachter,S.,Mittelstadt,B.,Russell, Chris.Counterfactual Explanations Without Opening the Black Box:Automated Decisions and the GDPR. Harvard Journal of Law & Technology,2018,(2),pp.841-887.

38江海洋、魏书敏:《基于风险的通用人工智能监管——从欧盟<人工智能法案>视角展开》,《科技与法律(中英文)》2024年第2期。

39H.R. 2231—Algorithmic Accountability Act of 2019, http://www.congress.gov/bill/116th-congress/house-bill/2231, 2019-05-22.

40Joshua New & Daniel Castro: How Policymakers Can Foster Algorithmic Accountability, http://www2.datainnovation.org/2018-algorithmic-accountability.pdf,2018-05-30.

41王文玉:《司法人工智能:实现裁判正义的新路径》,《大连理工大学学报(社会科学版)》2022年第6期。

42Algorithmic Accountability Bill, article 2,(1).

43卞丽娟:《美国白宫召开专家会并公布改革大型科技平台的六项原则》,《互联网天地》2022年第10期。

44富国银行于2018年滥用市场支配地位与平台权力,在汽车贷款中强制搭售保险,实施垄断行为。

45叶青,夏杨岚:《富国银行37亿美元处罚案分析》,《银行家》2023年第7期。

46许晓东,邝岩:《算法权力的形成与风险治理》,《郑州大学学报(哲学社会科学版)》2022年第3期。

47肖冬梅:《“后真相”背后的算法权力及其公法规制路径》,《行政法学研究》2020年第4期,第3-17页。

48魏远山:《算法透明的迷失与回归:功能定位与实现路径》,《北方法学》2021年第1期,第151-160页。

49Watcher, Sandra, Brent Mittelstadt, and Luciano Floridi. Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation, International Data Privacy Law, 2017,(7), pp.76-99.

50Ugo Pagallo.The Laws of Robots: Crimes, Contracts, and Torts. Dordrecht: Springer, 2013,pp.101.

51尹玟燮,栗鹏飞,王淼:《韩国人工智能规制现状研究》,《上海政法学院学报(法治论丛)》2018年第6期。

Risk Regulation on Abusing Algorithmic Power by Super-large Financial Service Platforms under Generative AI
Cheng Xuejun1,2     
1.Law School, Tongji University, Shanghai 200092, China;
2.Law School, Peking University, Beijing 100871, China
Abstract: Driven by generative AI, various algorithmic technologies and large models have rapidly evolved and deeply embedded into the financial service industry, promoting the development of new models, new technology applications, and new product R&D of modern financial service platforms. However, any algorithmic technology has its inherent defects, leading to the evolution of super-large financial service platforms from algorithm applications to algorithmic power risks. This paper focuses on the issue of abusing algorithmic power by super-large financial service platforms under generative AI and explores the corresponding paradigm of risk regulation.This paper innovatively makes extensions from the following aspects: First, through the case study method, it deeply analyzes the risk formation mechanism of abusing algorithmic power by super-large financial service platforms under generative AI, and finds that algorithmic power risks are concentrated in algorithm monopoly, algorithm control, and systemic financial risks. Second, through the inductive analysis method, from the perspective of risk regulation theory, it proposes to adopt appropriate risk regulation to prevent algorithmic power risks in super-large financial service platforms and promote fair competition in financial markets. Third, through the comparative research method, it gives a deep perspective on the risk regulation paradigm of abusing algorithmic power by super-large financial service platforms under generative AI.Based on the risk matrix, this paper explains the risk degree of abusing algorithmic power by super-large financial service platforms and comprehensively analyzes the multidimensional risks of algorithmic power, which helps to reconstruct the risk regulation paradigm of abusing algorithmic power by super-large financial service platforms in China from vertical cooperation regulation (diversified regulation of governments, enterprises, and social organizations) and horizontal algorithm regulation (algorithmic fairness, transparency, and accountability) : For algorithmic fairness, strengthen the diversified regulation of platform algorithm monopoly; for algorithmic transparency, prevent platform algorithm control through the algorithm transparency system; for algorithmic accountability, improve the legal accountability mechanism for platform algorithmic power.
Key words: super-large financial service platforms    algorithmic power    algorithmic risks    risk regulation    algorithm transparency    

1巫云仙:《FinTech对金融业的“破坏性创新”》,《河北学刊》2016年第6期。

2王佳佳:《论数字平台市场力量的异化与反垄断规制》,《湖南社会科学》2022年第3期。

3程雪军:《金融科技公司算法风险的体系化治理:欧美比较治理视角》,《经济社会体制比较》2023年第6期。

4马长山:《迈向数字社会的法律》,法律出版社2021年版,第55页。

5蔡润芳:《技术之上的“价值之手”:对算法“物质性”的媒介政治经济学追问——以美团外卖平台“超脑”系统为例》,《新闻界》2021年第11期。

6王东、吴旭峰、吴胜文:《Python金融数据分析》,中国轻工业出版社2024年版,第202-203页。

7[日] 福田雅树,林秀弥,成原慧:《AI联结的社会:人工智能网络化时代的伦理和法律》,宋爱译,社会科学文献出版社2020年版,第145-149页。

8丁磊:《生成式人工智能———AIGC的逻辑与应用》,中信出版集团2023年版,第13-16页。

9唐松、赖晓冰、黄锐:《金融科技创新如何影响全要素生产率:促进还是抑制?——理论分析框架与区域实践》,《中国软科学》2019年第7期。

10European Data Protection Supervisor, Towards a New Digital Ethics: Data, Dignity and Technology, Opinion 4/2015 (September 11, 2015), p.9.

11刘戒骄:《数据垄断形成机制与监管分析》,《北京工业大学学报(社会科学版)》2023年第1期。

12陈灿祁:《平台滥用算法权力的法律规制》,《湖南科技大学学报(社会科学版)》2023年第6期。

13马长山:《数字法治概论》,法律出版社2022年版,第82-83页。

14殷继国:《人工智能时代算法垄断行为的反垄断法规制》,《比较法研究》2022年第5期。

15张蕴萍,栾菁:《数字经济平台垄断治理策略研究》,《经济问题》2021年第12期。

16胡元聪,曲君宇:《智能无人系统开发与应用的法律规制》,《科技与法律》2020年第4期。

17Wood, A. J., Graham, M., Lehdonvirta, V. and Hjorth, I. Good Big, Bad Gig: Autonomy and Algorithmic Control in the Global Gig Economy .Work, Employment and Society, 2018,(1), pp.56-75.

18OECD, Big Data:Bringing competition policy to the digital era,2016,http://www.oecd.org/competition/big-data-bringing-competition-policy-to-the-digital-era.html,accessed on July 10th, 2024.

19[英] 阿里尔·扎拉奇,[美] 莫里斯·E.斯图克:《算法的陷阱:超级平台、算法垄断与场景欺骗》,余潇译,中信出版集团2018年版,第51-53页。

20张凌寒:《算法权力的兴起、异化及法律规制》,《法商研究》2019年第4期。

21[英] 菲比·穆尔,杰米·伍德科克:《逃离算法》,蒋楠译,中国科学技术出版社2023年版,第165-167页。

22程雪军:《驯服算法利维坦:金融科技平台算法风险的系统治理机制》,《经济学家》2023年第11期。

23许多奇:《金融法精要》,法律出版社2023年版,第141-142页。

24Mark Armstrong.“Competition in Two-sided Market ”.London: Mimeo University College, 2005,pp.1-32.

25李剑:《双边市场下的反垄断法相关市场界定——“百度案”中的法与经济学》,《法商研究》2010年第5期。

26宁立志,王少南:《双边市场条件下相关市场界定的困境和出路》,《政法论丛》2016年第6期。

27蒋岩波:《互联网企业排他性交易行为的反垄断规制》,《电子知识产权》2013年第10期。

28于左,张芝秀,王昊哲:《交叉网络外部性、独家交易与互联网平台竞争》,《改革》2021年第10期。

29齐兰、何则懿:《数字资本研究进展》,《经济学动态》2023年第10期。

30[日] 太田胜造:《AI时代的法学入门——跨学科视角》,上海人民出版社2024年版,第182-183页。

31程雪军:《金融科技平台算法黑箱的国际规制与中国因应》,《国际经济法学刊》2023年第2期。

32Thomas Samuel Kuhn. The Structure of Scientific Revolutions (Second Edition,Enlarged) .Chicago:University of Chicago Press, 1970, p.23.

33[美]史蒂芬·布雷耶:《打破恶性循环:政府如何有效规制风险》,宋华琳译,法律出版社2009年版,第8-10页。

34伊卫风:《算法自动决策中的人为歧视及规制》,《南大法学》2021年第3期。

35冷传莉:《人工智能与大数据法律问题研究》,知识产权出版社2022年版,第69页。

36Lilian Edwards, Michael Veale.Slave to the Algorithm? Why a Right to Explanationn is Probably Not the Remedy You are Looking for. Duke Law and Technology Review, 2017,(1),pp.18-83.

37Wachter,S.,Mittelstadt,B.,Russell,Chris.Counterfactual Explanations Without Opening the Black Box:Automated Decisions and the GDPR. Harvard Journal of Law & Technology,2018,(2),pp.841-887.

38江海洋、魏书敏:《基于风险的通用人工智能监管——从欧盟<人工智能法案>视角展开》,《科技与法律(中英文)》2024年第2期。

39H.R. 2231—Algorithmic Accountability Act of 2019, http://www.congress.gov/bill/116th-congress/house-bill/2231, 2019-05-22.

40Joshua New & Daniel Castro: How Policymakers Can Foster Algorithmic Accountability, http://www2.datainnovation.org/2018-algorithmic-accountability.pdf,2018-05-30.

41王文玉:《司法人工智能:实现裁判正义的新路径》,《大连理工大学学报(社会科学版)》2022年第6期。

42Algorithmic Accountability Bill, article 2,(1).

43卞丽娟:《美国白宫召开专家会并公布改革大型科技平台的六项原则》,《互联网天地》2022年第10期。

44富国银行于2018年滥用市场支配地位与平台权力,在汽车贷款中强制搭售保险,实施垄断行为。

45叶青,夏杨岚:《富国银行37亿美元处罚案分析》,《银行家》2023年第7期。

46许晓东,邝岩:《算法权力的形成与风险治理》,《郑州大学学报(哲学社会科学版)》2022年第3期。

47肖冬梅:《“后真相”背后的算法权力及其公法规制路径》,《行政法学研究》2020年第4期,第3-17页。

48魏远山:《算法透明的迷失与回归:功能定位与实现路径》,《北方法学》2021年第1期,第151-160页。

49Watcher, Sandra, Brent Mittelstadt, and Luciano Floridi. Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation, International Data Privacy Law, 2017,(7), pp.76-99.

50Ugo Pagallo.The Laws of Robots: Crimes, Contracts, and Torts. Dordrecht: Springer, 2013,pp.101.

51尹玟燮,栗鹏飞,王淼:《韩国人工智能规制现状研究》,《上海政法学院学报(法治论丛)》2018年第6期。