articleImg
专访“深维科技”樊平:FPGA+CPU,生态助攻图片转码加速
行业 ·   智能硬件

详情介绍

  2022年2月14日,美国超微半导体公司(AMD)官方宣布完成了对半导体巨头赛灵思的收购,这场价值498亿美元历时500天创下半导体交易新纪录的市场举措终于落下帷幕。

 

  完成收购的AMD总裁兼首席执行官苏姿丰对外表示,赛灵思的FPGA产品将赋能AMD并帮助AMD在可预见的云计算、边缘计算和智能设备市场机遇中占据更大份额。2022年5月,AMD对外宣布,将会在CPU里整合赛灵思FPGA驱动的AI推理引擎,预计首批产品将会在2023年上市。

 

  为什么是FPGA?将CPU和FPGA在同一个封装内进行整合意味着什么?AMD这一行动的导向又是什么?中国FPGA芯片算法专家、深维科技创始人兼首席执行官樊平为我们分享了FPGA芯片背后的技术特点与行业应用。

 

  芯片家族,FPGA芯片“万能”在哪里?

 

  FPGA(Field Programmable Gate Array)芯片基于可编程器件(PAL、GAL)发展而来,是半定制化、可编程的集成电路。要理解FPGA,芯片领域的底层路线是绕不开的前提,跟着这个思路让我们一起看看FPGA的“前世今生”。

 

  樊平告诉我们,计算效率的核心是CPU芯片上的每一个晶体管的利用率。早期,我们主要通过CPU进行通用计算,只需写软件即可完成各种任务。但随着数据容量呈指数增长,所需的智能算法越来越复杂,CPU的计算性能的提升速度无法匹配实际应用需求增长的速度。经研究发现,在运行任务时,CPU的晶体管并没有实际工作,这就出现了一个创新空间。怎么去优化呢?芯片架构成为答案——采用GPU、FPGA、专用的ASIC计算芯片,来提升计算架构的效率。

 

  基于此背景,赛灵思联合创始人Ross Freeman于1984年发明了FPGA。作为一个“可编程”的芯片,它可以应用到很多场景:接入各种变频信号,IO输入输出,适配各种传感器、外围电路等。在芯片领域,FPGA的灵活性是其与通用的CPU、GPU、专用的ASIC等最鲜明的区别,所以它也被称为“万能芯片”。

 

  在FPGA的“兄弟姐妹”中,CPU的优点是通用性,其架构最适合算法比较灵活多变的领域,比如事务流程处理,而缺点便是性能的提升受限制;GPU是一种依托于多核的高性能计算载体,在特定的架构上面适配于现有的AI处理和图像渲染处理,不足的是基于简单多核的概念在架构上的革新不够彻底;ASIC是一个很彻底的算法完全优化适配,而其局限性体现在其特定应用的专用,一旦专用便意味着无法做算法和应用场景的调整。

 

  相比起来,FPGA是一个鲜明差异的方案,可以做算法的深度定制,所以性能非常高——比CPU性能高、比GPU的架构适配好,同时因为它是一种电路级的实现所以功耗更低;相对ASIC而言,FPGA可持续编程的特性让它可以实现升级与灵活定制。因此,“万能芯片”也就名副其实了。

 

  FPGA+CPU,深维科技的技术路线选择

 

  深维科技成立于2016年,其团队由一批在多媒体处理、异构系统架构设计、EDA等方面拥有丰富经验的资深FPGA芯片与算法专家组成。在技术路线上,深维科技基于FPGA+CPU异构计算技术,为数据中心应用提供超高性能的图像和视频处理解决方案和产品。

 

  FPGA+CPU,这是异构计算的一条路线。结合上述“芯片家族”几大类技术的特点,FPGA+CPU是一个兼具任务通用性与灵活性的选择:CPU软件是一个非常开放、完整的任务分配体系,可以处理接入云、边缘计算等各种各样的全面的任务场景上层的应用需求;同时,核心计算由FPGA做加速,处理专用场景下的需求。在FPGA和CPU的配合下,软件和硬件均可编程,极大满足了目前应用场景不断丰富、算法不断优化、性能不断提升的高度需求。

 

  用FPGA+CPU技术路线做视频图像处理,“这是一个不断摸索的过程,”樊平给我们讲述了这个选择的过程,“首先,选择FPGA是由我们的技术背景决定的,从2008年开始做FPGA芯片,基于对FPGA市场和趋势的熟悉,便想优先把FPGA的价值发挥出来;而选择做视频图像处理则经过了非常复杂的分析——视频图像非常适合FPGA去做,从云计算的角度来看,集中负载可能是ASIC的天下,但有很多碎片化的需求场景需要统一的硬件去加速,这是非常适合FPGA的。从边缘端到云端,FPGA也有许多处理需求场景。”考虑到市场广泛性和技术层面的适配性、适用性,樊平和他的团队最终选择从视频图像主赛道上面利用FPGA做商业化。

 

  基于SaaS、FPGA的云上实例,深维面向云服务以FPGA+CPU加速方案整体部署,推出图像视频服务,为电商社交网站、视频网站、医疗影像等行业客户提供图片、图像转码方面的应用。对此,樊平表示:“我们把云计算的核心能力逐步向端侧进行拓展,包括图像压缩和AI ISP,以IP为核心研发系列产品,最终产品逐步从互联网市场向商业航天、卫星影像、汽车车载图像处理等领域扩展。”

 

  现在,成立六年的深维,在产业生态和业务上面一直围绕FPGA、IP、EDA发展,深耕EDA+IP业务服务的市场。深维科技的DeePoly ThunderVideo可支持8K 60p的超高清视频实时处理。DeePoly ThunderImage图像处理解决方案可以帮助数据中心用户将图像处理性能提高10倍,延迟降低10倍,同时保持一致的QoS,并将大幅降低用户总体成本TCO。

 

  成长在阿里云,生态体系全面开花

 

  从2018年深维科技就开始部署与阿里云深度合作推出基于SaaS的加速产品。

 

  目前,深维科技携手阿里云推出的GIF转换动图的方案现已经上线并稳定持续服务客户。

 

  众所周知,GIF属于视频格式,在应用中对于流量的消耗特别大;相比起来,深维科技携手阿里云推出的WebP格式动图方案可以节省75%以上的流量,不仅动画效果、清晰度还远超于GIF格式,而且转码可以做到实时处理。这是全球首款支持大并发、实时能力的产品。

 

  樊平告诉我们:“这是基于阿里云的SaaS来推出的产品,很快便能实践落地。”

 

  后续,他们进一步推出了WebP转化和HEIF转化。HEIF是苹果手机的默认格式,相比PNG格式可以节省一半的文件大小,同样的存储可以多存一倍的图片,这是非常惊人的一个收益。于是,深维科技推出了一款全球并发性能最高的HEIF产品,并且在阿里云实现了首发上线,在应用中达到了长期稳定运行。

 

  在与阿里云的生态合作过程中,樊平也积累了一些经验,“一定要利用双方的优势来形成互补——阿里云的基础设施优势、技术支持服务团队的实力、整个的业务推广的执行能力、市场影响力等各个方面,对中小企业、创业企业而言,最重要的是尽可能把这些与大平台合作的价值发挥出来。当然,企业自身也要提出有价值的方案,在这个层面上展开合作。首先是产品与技术合作的定位,其次是对支持服务的资源利用合作的层面。从我们的经验来说,这是可以提升影响力的方式,从而加速产品市场化的进程。”

 

  创业的本质,热带海洋里的有机融合

 

  2004年,樊平从北京航空航天大学计算机专业毕业,先后任职于全球顶尖的EDA工具公司和国产FPGA芯片公司。直到2016年出来创业,他已经在EDA和芯片架构设计领域积累了12年的经验。在樊平看来,自己是偏技术性的性格,喜欢从技术角度去思考问题,但又是一个“爱折腾”的人——希望跳出圈去看一看,“因为这种思维,我也是一直从大公司往小公司跳,好处是可以看到世界更真实的面貌——一个事实的、真正有机的运转机构,真实地面对环境和挑战,不会像大公司那样把很多职能和人的环境设计、干预得那么完美。”

 

  创业于他,是挑起实现理想担子的过程,需要更主动地去承担风险,更占主导地位去走这条技术之路。“有时候,我更喜欢把深维公司想像成热带海洋里的一个生物,一只小的寄居蟹、或者是躺在沙子里的一条鱼,偶尔出来张嘴便能获得食物,又或是靠一技之长去生存。我认为,一个公司首先要在生态环境里形成一技之长,要生存在有其特定生态的位置上,”樊平觉得,创业本质上是要遵循本身的真正价值和规律的,所有人都希望能一帆风顺——顺利定位产品、定位市场、拿投资、丰富业务赛道、上市,但究其根本,仍是要找到其位置,找到长期发展的核心,“也就是技术、市场、业务和资金,拼凑这些无机的组合,将其转化成一种真正的、有机的、内在认知上面的提升。”

 

  其实,这种有机的融合是与整个生态环境的适配。除了产品和市场的适配,还有人员、团队和认知的适配,这是更内在的问题。从樊平的角度来看,深维在六年左右的时间,逐步从各角度完成积累,来提升对市场的认知,与市场生态进行互动和有效的理解、沟通和合作。而这,正是深维科技带给创业企业的宝贵经验。

 

  结语

 

  整合赛灵思的ADM、宣布做FPGA+CPU,FPGA的进入可以扩大应用范围、也可以推动AI应用创新的基础能力,一个更广阔的应用前景展现在眼前。对于国内的FPGA行业来说,这是一个更加巨大的生态系统,除了FPGA芯片本身的设计和生产,能把芯片用起来的先进EDA工具、能快速把之前已经比较成熟的设计复用起来的核心IP能力、针对行业场景的深度理解和定制……这都是无比广阔、亟待挖掘的市场空间。

 

  对于深维科技来说,他们是从一开始就坚定了在EDA和核心IP这两个场景下去做深度的积累,希望在长期坚定的投入下能真正有效补充国内整个FPGA产业的部署。对于未来的中国FPGA芯片行业,樊平充满了希望:“二十年前就有了一个判断,全球别的地方很难再培养一个赛灵思这样的公司,只有中国市场有机会。只要不发生翻天覆地的变化,我觉得这是一个大概率事件。”