【博士答辩公告】基于稀疏与量化特性的深度神经网络软硬件协同设计

学位论文题目       基于稀疏与量化特性的深度神经网络软硬件协同设计

答辩人                 杨涛

学   号                 019033910071

专   业                 计算机科学与技术

导   师                 蒋力

地   点                 电院3-412

时   间                 5月6日 10:45-11:30

答辩委员会 

戚正伟   教授   上海交通大学 

陈铭松   教授   华东师范大学

李   超   教授   上海交通大学

陈迟晓   副研究员   复旦大学

冷静文   副教授  上海交通大学

论文简介

目前随着以深度学习为代表的人工智能技术正在如火如荼的发展，出现了各种专用神经网络模型结构，他们分别在不同的领域实现了成功落地，而不同的神经网络基础结构带来了不同的计算和访存特点，对领域专用的深度神经网络加速器设计带来了挑战。另一个方面，随着近年来海量的数据爆炸性增长和人们对于深度神经网络的要求越来越高，为了达到更好的效果和解决更复杂的问题，深度神经网络的规模也在持续增长。而越来越大的模型往往意味着大的计算和存储开销，进一步挑战着模型在现实场景中的推理速度，能量消耗，芯片面积消耗等。结合这两个趋势，本文从软硬件两方面入手，提出一套基于稀疏与量化特性的深度神经网络软硬件协同设计方法，并将该方法分别在Winograd CNN，GNN，Transformer这三种具有广泛应用的神经网络上进行了实践，设计了高效的稀疏量化模型及与之适配的硬件架构，最终实现了这三种模型的高效推理。