深度学习及其在图像领域的应用

课程简介
从实践出发、结合深度学习中的理论基础，细致地介绍深度学习中的关键技术和工程技巧。贯穿整个技术应用的生命线，讲述如何从需求出发、逐步收集数据、建立模型、优化模型、产品化部署模型。以深度学习在图像识别领域的应用为例进行举例讲解，同时对深度学习存在的问题进行探讨和思考。

1. 对于学生、大学教师、研究员等群体，可以帮助他们了解，公司是如何进行算法预研和开发，产品对于算法的需求和关注点什么；有利于科研工作者可以设计更加接地气的算法，提高其算法的影响力和应用度。
2. 对公司开发人员，可以对算法的设计进行更详细的认识，将自己的视野从算法设计者扩展到算法设计者，打通整个算法流程。

课程大纲
1. 机器学习与人工智能基础
    1.1 什么是机器学习和人工智能
    1.2 机器学习与人工智能的关系是什么
    1.3 机器学习中的数学基础
         1.3.1 线性代数：机器学习问题的 formulation，最小二乘问题为例（矩阵分解等）
         1.3.2 最优化理论：常见优化问题的数值求解方法（KKT 条件，梯度下降，ALM，ADM 等）
         1.3.3 概率论：机器学习问题的概率解释，最大似然估计、最大后验估计
2. 机器学习基础
    2.1 模型的概念、模型的表达能力、泛化能力、过拟合、欠拟合
    2.2 训练数据：训练集、测试集、验证集
    2.3 超参是什么，为何对训练机器学习模型如此重要
    2.4 有监督学习、无监督学习、增强学习等概念
    2.5 随机梯度下降是否真的在下降、收敛性是否有保证
    2.6 经典机器学习模型（SVM 为例）
3. 深度学习方法
    3.1 神经网络模型
    3.2 深度学习与经典机器学习的区别（shallow VS deep）
    3.3 梯度下降方法、二阶方法
    3.4 误差前向传播与梯度逆向传播
    3.5 深度学习常用的正则项
         3.5.1 参数的范数惩罚
         3.5.2 对模型增加约束条件
         3.5.3 数据预处理（增强、白化等）和权重共享
         3.5.4 Dropout（随机丢弃）, batch normalization
    3.6 深度学习模型的挑战
         3.6.1 跌入局部最优解
         3.6.2 梯度消失或梯度爆炸
         3.6.3 鞍点导致的二阶方法的失效
    3.7 深度学习常用算法
         3.7.1 随机梯度下降及其收敛性、学习率的约束
         3.7.2 冲量 (Momentum)：加速收敛
         3.7.3 参数初始化策略
         3.7.4 学习率的调整
4. 卷积网络
    4.1 卷积操作：滤波、分频等应用
    4.2 卷积网络的优势：共享权重、稀疏连接、保持空间信息
    4.3 池化：池化的物理意义
    4.4 反卷积与卷积层的后向传播
5. 工程应用
    5.1 基础模型的选择
         5.1.1 无结构信息向量输入：多层感知机
         5.1.2 结构化的向量（图像）：卷积神经网络
         5.1.3 前后相关的序列：RNN，LSTM
    5.2 模型调优
         5.2.1 更改模型的正则项
         5.2.2 调整模型的超参（卷积核大小、学习率等），可采用搜索的方式进行
         5.2.3 模型的可视化
         5.2.4 反向传播结果与数值计算结果的比对
    5.3 常见框架介绍
         5.3.1 caffe, caffe2
         5.3.2 tensorflow
         5.3.3 torch, pytorch
         5.3.4 ncnn(移动平台支持)
    5.4 模型简化与加速
         5.4.1 模型的简化：剪枝、bottle-neck、卷积的加速
         5.4.2 常见轻量模型：mobilenet, squeezencnn, shufflenet 等
         5.4.3 SIMD 指令优化
    5.5 深度学习在图像识别领域的应用与发展
         5.5.1 网络结构的迭代更新
         5.5.2 技术演进中的关键技术点
         5.5.3 人脸识别为例（MTCNN）
    5.6 总结与展望

课程特色
1. 开讲前两天，公布PPT、代码、数据集，便于课前预习；
2. 每一讲均不知作业，由讲师和助教进行批改并公布作业完成情况；
3. 报名课程后将加入微信答疑群，与讲师直接沟通，实时答疑；
4. YY直播，直播后一年内无限次回看
5. 助教微信tony（Snow_Birdy)

实习/就业推荐
1. 课程结束后，根据每次作业的评分，评选优秀学员；
2. 优秀学员可推荐至大疆、华为、阿里、讯飞、百度、携程、饿了么等企业实习或就业。

作业提交
1. 提交时间：8月24日晚24:00截止
2. 提交形式：每一讲作业保存一个压缩包，命名为【姓名+深度学习+第几讲作业】
3. 提交邮箱：zhaoff@aiimooc.com