§ 课程概述与简介:
本课程的目的是使计算机科学与技术以及其他理工科专业硕士生了解和掌握深度学习领域的基础理论和方法，了解深度学习理论与技术的发展脉络和关键知识体系的构成，了解深度学习理论与实践相互依存与促进的重要性。从科学的角度，了解深度学习所涉及的理论体系、数学基础、模型算法等。从工程的角度，了解深度学习在不同的领域所起到的重要推动作用。
本课程的任务是学习深度学习的概念、理论和经典模型，并能够进行实践操作。课程采用讲授与上机实验相结合的形式，要求研究生通过本课程的学习，掌握和了解深度学习的概念、理论与经典算法，并可以使用深度学习模型完成一系列相关任务。
第1讲：绪论。本讲主要进行课程简介、人工智能概述、机器学习概述、神经网络概述、深度学习概述等内容介绍。 [PDF] [视频回放]
第2讲：基础知识。本讲主要介绍机器学习与深度学习的基本概念、相关数学（线性代数、微积分、概率与统计）基础、常见线性模型等。 [PDF] [视频回放]
第3讲：深度学习框架简介及PyTorch入门。本讲主要介绍开源深度学习框架概述、开源框架核心组件、主流开源框架介绍、TensorFlow与PyTorch的比较、PyTorch入门等。 [PDF] [视频回放]
第4讲：深度前馈网络。本讲主要介绍人工神经网络概念、神经网络结构、前馈神经网络结构、反向传播算法、自动梯度计算、神经网络参数优化的主要问题等。 [PDF] [视频回放]
第5讲：深度模型优化与正则化。本讲主要介绍网络优化概念、小排量梯度下降、学习率与梯度优化、参数初始化与数据预处理、逐层归一化、超参数优化、过拟合与正则化等。 [PDF] [视频回放]
第7讲：卷积神经网络II。本讲主要介绍卷积神经网络参数学习、其他卷积方式（转置、空洞）、典型卷积神经网络简介（LeNet、AlexNet、Inception、残差网络）等。 [PDF] [视频回放]
第8讲：循环神经网络I。本讲主要介绍网络记忆能力、循环神经网络结构、随时间反向传播（BPTT）算法、双向循环神经网络等。 [PDF] [视频回放]
第9讲：循环神经网络II。本讲主要介绍长程依赖问题、长短期记忆网络（LSTM）、门控循环神经网络（GRU）、深层循环神经网络等。 [PDF] [视频回放]
第10讲：无监督深度模型。本讲主要介绍Hopfield神经网络、玻尔兹曼机、受限玻尔兹曼机、深度玻尔兹曼机、深度信念网络、自编码器、自编码器变种及预训练等。 [PDF] [视频回放]
第11讲：深度学习前沿与局限。本讲主要介绍注意力机制简介、深度生成模型简介、深度强化学习简介、图神经网络简介、深度学习局限、深度学习趋势等。 [PDF] [视频回放]
第12讲：深度学习应用。本讲由华为高级工程师王聪做题为《AI框架的发展趋势以及MindSpore的实践》的讲座。 [视频回放]
实验1：PyTorch基本操作。本实验主要讲解和练习yTorch安装与环境配置、基本数据处理与计算操作、线性回归实现等。 [PDF] [视频回放]
实验2：深度前馈神经网络。本实验主要讲解和练习前馈神经网络的PyTorch实现、模型调优（模型选择、过拟合、欠拟合、正则化、Dropout）等。 [PDF] [视频回放]
实验3：卷积神经网络。本实验主要讲解和练习卷积神经网络的PyTorch实现、空洞卷积的实现、残差网络的实现等。 [PDF] [视频回放]
实验4：循环神经网络。本实验主要讲解和练习PyTorch处理序列数据、循环神经网络的PyTorch实现、长短期记忆网络的PyTorch实现、门控循环单元的PyTorch实现等。 [PDF] [视频回放]
《神经网络与深度学习》，复旦大学 邱锡鹏著 [下载]
《深度学习(PyTorch)》课程视频及ppt，纽约大学 Yann Lecun [链接]
《Convolutional Neural Networks for Visual Recognition》，斯坦福大学 Fei-Fei Li (李飞飞) [链接]
旷视&北大《深度学习实践》（28课时全） [链接] [深切缅怀旷视首席科学家孙剑博士🙏🙏]
Deep Learning（深度学习）学习笔记整理系列 [链接]
国产深度学习框架：清华计图（Jittor） [链接]
国产深度学习框架：百度飞桨（PaddlePaddle） [链接]
国产深度学习框架：华为昇思（MindSpore） [链接]
本课程主要面向硕士生，共32学时，暑期线上授课，讲述深度学习基本概念、经典深度学习模型及其实践，主要内容包括前馈神经网络、深度模型优化与正则化、 卷积神经网络、循环神经网络、无监督深度模型以及深度学习的局限性与前沿等，并介绍深度学习框架的编码实现和参数优化方法。 本课程注重理论学习与实践应用的结合，除了课堂讲授之外，还将通过实践环节引导学生使用深度学习平台或工具，让学生通过实际应用来加深对理论的理解。本年度课程视频合集可在B站查看（点击查看视频合集）。
§ 课程目的与任务:
§ 课程教学计划:
专业课课面向计算机学院硕士生开放，主要包括理论课和实验课两部分，理论课主要介绍基础知识、深度学习框架简介及PyTorch入门、深度前馈网络、深度模型优化与正则化、 卷积神经网络、循环神经网络、无监督深度模型、深度学习的前沿与局限、工业落地应用实践等内容，实验课主要包括PyTorch基本操作、深度前馈神经网络、 卷积神经网络、循环神经网络、综合性实验五部分内容。具体授课信息可查看附件 （点击查看教学计划）。