城市免疫力与"AI营养液":联邦学习的价值与场景
作者: 来源: 2021-08-12 15:00:01
当抗疫战场上的好消息不断传来,关于“城市免疫力”的话题也不断升温。除了公共医疗与我们自身健康上的免疫能力,一座城市如何提高自己的免疫能力,更好应对相关危险,成为了公共话语讨论的焦点。 我们在相关讨论中,看到了预警机制建设、供应链体系完善、城市数字化升级、信息透明制度等等的话题,可以说益处良多。在这里我们从自身视角出发,贡献一点话题:城市免疫力的提高,还与一些新锐技术的应用息息相关。 比如说,在AI领域这几年有一个“明星技术”,被各种顶会热捧,被无数开发者关注,它叫做联邦学习。而这个大众可能依旧陌生的技术,其实就与城市免疫力话题息息相关。 从这次抗疫过程里,不难看出城市各领域、各部门之间的数据不打通、不协同是一个巨大问题。比如说,基层人员要把宝贵时间浪费在无穷无尽的填表上;居民进出小区、医院、车站等公共场所,要一处一扫码一处一填表;相关部门想要获悉和应用其他领域的最新动态数据,更是难上加难。 这个显著暴露的问题,被称为“城市数据孤岛现象”。每个部门都可能建设一套自己的系统和数据,沿用不同的数据表现形式,积累下来就会造成层层叠叠的孤立数据。然而要实现城市数据的全面打通,全面共享,虽然理论上听起来简单,但实际操作又是不可能的。每个部门的日常工作方式、数据需求和数据保密等级不同,彻底打通既缺乏操作性,也不利于真实工作的开展。 那么有没有既尊重城市数据归属权,又能让AI来全盘洞察城市数据的方案呢? 联邦学习就是一种有效的方案。比如,北京经济技术开发区上线了数字化防疫系统——战疫金盾,能够实时监控返城人员流向分布,还能动态掌握园区企业运行情况,帮助地方政府科学决策。业内首创异步联邦学习的京东数科,就参与了战疫金盾的开发,很可能联邦学习技术也在其中发挥了作用。 联邦学习的火爆,原因在于它并不致力于改变机器学习和数据存储的基本实现方式,而是改变了不同AI模型之间的协作模式。 在联邦学习模式下,数据依旧保存在“岛“中,但AI模型可以跨越岛屿来架起桥梁,实现特定需求和整体智能的机器学习目标。这种模式被产学研各界认为是未来数据协同和智能协同的基本实现方式,联邦学习也成为了AI技术发展到今天的几大主要趋势之一。 给城市免疫力注入一支“AI营养液”——联邦学习的进化,也许在未来某天将成为新的城市之盾。联邦学习:打破数据孤岛的AI明星 2016年,谷歌团队提出了联邦学习的概念,随后引起了整个AI学术界的共同关注。 联邦学习为过往AI技术逻辑带来的最大改变在于,它的数据结构可以在参与各方不披露底层数据的前提下,完成共建模型的搭建,之后利用整个数据联邦内的数据资源进行训练,使每个参与方都将获得能力提升。 而联邦学习最大的价值,就是改变了AI时代每个数据拥有方单打独斗的“常识”,将数据资源以可行的方式联合在了一起。将联邦学习投向产业应用,最直接的目标是可以改变重度数据安全领域,尤其是金融产业的智能化效率;向长远看,联邦学习可能改变每一家企业获取AI、打造自身AI体系的方式与门槛,对智能社会有着举足轻重的价值。 肩负着打破数据孤岛的重任,联邦学习很快成为了AI世界中的未来之星。在欧美流行的AI民主化议题里,联邦学习今天占据着举足轻重的地位。 但在从理论架构向现实产业进化的过程里,联邦学习可能还有很长的路要走。而从它保护数据隐私,确保数据安全的基本能力上来看,科技金融毫无疑问是联邦学习落地的第一站。 在中国,联邦学习走向产业应用的步伐正在逐步加快。京东数科、微众银行等企业对联邦学习,从技术向产业的一系列探索,正在向各行业展现这一技术渗透到现实的种种可能。异步计算与产业化:京东数科破解的“联邦学习密码” 联邦学习走向产业化,是近两年全球AI产学各界普遍关注的议题。在欧美,联邦学习的提出者谷歌,以及亚马逊、IBM等公司都大力发展联邦学习技术。而在国内BAT、华为等科技公司也都在参与联邦学习的产业化过程。 同时,联邦学习也在成为AI顶会的热门话题。比如去年12月举行的NeurIPS 2019中,就有大量论文集中讨论联邦学习的产业应用与行业标准化。刚刚召开的AAAI 2020中,由微众银行、新加坡南洋理工大学、极视角合著的论文《FedVision: An Online Visual Object Detection Platform powered by Federated Learning》被授予“人工智能创新应用奖”。 同时,联邦学习的产业标准化进程也在推进当中。2018年,IEEE联邦学习标准项目宣布成立,这是国际首个针对AI协同技术框架订立标准的IEEE项目,至2019年已经举行了第三次会议。 而在更具体的产业化落地进程里,不能不提到京东数科。有媒体认为,在金融科技产业中,微众银行由联邦学习的学术探索而广为人知,京东数科则将联邦学习的产业应用做到了更前沿的维度。 比如说,联邦学习走向产业应用最大的问题之一,在于最早提出的联邦学习模型,学习进程都是同步的。但在现实中,不同企业和机构所处的计算环境、网络环境、数据环境各不相同。同步计算的联邦学习,在很多情况下无法应用于产业化的多方联合建模。 京东数科发现,破解这一问题的关键在于异步计算能力,于是率先提出了异步联邦学习技术,在底层技术逻辑上改变了联邦学习的工作方式,让它更好进化到产业级需求当中。 以异步联邦学习为基础,京东数科已经打造了一系列联邦学习走向开放和应用的技术基础设施。比如基于联邦学习推出 AI开放平台;积极参与推进IEEE联邦学习标准,助力建立行业标准规范;基于自研联邦学习算法,保证联邦森林算法的模型效果的一致性;借助京东数科的多种技术优势,将联邦学习与安全加密、多方安全计算和同态加密等多项技术并用,构建完善的联邦学习产业体系。 从平台化、产业标准、产业一致性,到技术融合,京东数科围绕联邦学习的产业化,完成了从基础技术到技术应用的多层次进化,将联邦学习的技术原点与产业需求进行对接,通过异步联邦学习构筑了完善的数据协同产业应用生态,实现了联邦学习领域的多项领先。 基于异步联邦学习的技术优势,以及多种安全加密技术的融合,京东数科推出了联邦数字网关。联邦数字网关保证了数据不需要离开储存位置也能够实现数据的融合利用,在不同机构之间搭建起安全、智能、高效的连接,并保证数据接入安全、建模安全、数据交互安全,最终形成数据联盟,实现合作共赢的目标。 基于这一系列联邦学习的产业实践,京东数科在联邦学习领域,实现了商业化和应用场景落地方面的领先。而其领先探索也为我们展示了这样一副图画:未来,联邦学习究竟如何影响和改变我们的生活。金融风控与城市智能:联邦学习的应用进化纪 在联邦学习的综合场景应用中,金融科技领域毫无疑问是落地第一站。因为金融智能和智能风控领域,涉及大量的数据智能化和数据学习,但同时数据的保密等级高、安全要求严格。而联邦学习技术刚好同时满足了这两种需求,在金融数据安全与金融产业智能化升级之间取得了重要平衡。 京东数科的联邦学习技术,已经在金融风控领域基于联邦学习进行了持续落地。通过联邦算法、安全加密算法,在个人信用评分、企业信用评分、精准营销、精准放贷、精准风控、地块洞察和医疗诊断等场景下实现了跨域学习联合建模和安全可靠的知识共享服务。 而在金融产业之外,下一个最有联邦学习技术应用潜力和落地需求的场景,是近两年如火如荼发展中的智慧城市。 一座城市,是由无数个政务、企业、公共服务系统所构成的。随着数字化城市升级的加快,各个系统都在构建自己的数据体系与智能化系统。然而这些系统大多数时候都是独立存在的,交通不知道物流,水利不了解气象。这就导致城市的整体智能化很难发展起来,智慧城市变成了千百根耸立的数据烟筒。 然而各系统之间数据保密性、数据权责等客观需求,又让数据打通并不那么现实。这种情况下,联邦学习体系可以成为关键的破解方案,在确保数据各有的同时,构建城市整体智能进化方案。京东数科的智能城市体系中,已经大量应用了联邦学习技术与联邦数字网关,构成了京东数科在智慧城市领域的明星技术。 而从金融风控到城市智能化,可以看到联邦学习技术在大量差异化行业场景中,都有着基础应用价值。各行各业都将可能自联邦学习模式中获益,实现智能协同、消弭数据壁垒。 联邦学习带来的改变将是社会化和底层化的,而从理论架构到产业实践、商业落地这关键一步,已经被京东数科探索出了扎实的可能。 一座数据与智能之间、无数数据架构之间、智能社会之间的桥梁正在建设进行时。
相关阅读