真锋
永远保持一颗学习和专注的心
嵌入式视觉

深度学习与图像识别
文章归档

优化器的理解与选择

讲优化器的,网上有很多资料,但是大多都是套下公式泛泛而谈,我虽然想做到把优化器的理论、算法、代码和优劣特性等,但碍于实力有限,只能当作快速学习的学习笔记参考,本文大部分内容参考魏秀参的《CNN卷积神经网络》这本书,想要深入学习我建议直接去细致看论文。 …

   208   2019-08-19   阅读更多

常用激活函数理解

我们在项目中可能实际上就常用relu作为卷积层和全连接层的激活函数,但是,其他激活函数的特性和relu激活函数的问题及优点在哪也是我们需要知道的。本文为学习笔记,主要参考魏秀参的《CNN卷积神经网络》这本书和网上部分资料,加以自己理解,然后写的文章。 背景知…

   219   2019-08-07   阅读更多

深度神经网络基础知识

导言:在神经网络的架构上,深度学习一方面需要使用激活函数来实现神经网络模型的去线性化,另一方面需要使用一个或 多个隐藏层使得神经网络的结构更深,已解决复杂问题。在训练神经网络时,使用带指数衰减的学习率设置、使用正则化来避免过拟合,以及使用滑动平均模型…

   173   2019-07-29   阅读更多

网络参数初始化

本文属于学习笔记,综合了网上对权重初始化方法的资料总结而来,部分公式没有手写。 神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值…

   382   2019-07-23   阅读更多

数据扩充与数据预处理

数据扩充 数据扩充是深度学习模型训练的第一步。在kaggle比赛中,我常用imgaug做图像在线增强以达到数据扩充的目的,实际项目中可能用numpy和imgaug库做离线增强较多。 一般的数据扩充 常用的数据扩充方式有:图像水平翻转(horizontally flipping)和随机扣…

   185   2019-07-22   阅读更多

神经网络的压缩方法总结

本文属于学习笔记,主要学习魏秀参的《解析神经网络》和部分网络资源;神经网络压缩在实际项目中是一个很重要的知识,为了能够在移动端部署模型,我们经常要用到神经网络压缩的方法。 神经网络的压缩方法 我们知道,在一定程度上,网络越深,参数越多,模型越复…

   589   2019-07-16   阅读更多

MobileNet论文阅读笔记

深度可分离卷积(Depth Separable Convolution) MobileNetV2提出了一个适合移动端架构的9高效神经网络结构:深度可分离卷积。其基本思想是用分解版本替代完成的卷积运算符,将卷积拆分为两个单独的层。第一层称为深度卷积,它通过对每个输入通道应用单个卷积滤波器来…

   318   2019-07-02   阅读更多

BN(Batch Normalization)学习笔记

BN(Batch Normalization),批标准化。和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法。 背景意义 实际上在BN提出来之前,在神经网络训练开始前,我们都要对数据做一个归一化处理 ,这样可以使得输入x经过激活函数后数据分布…

   318   2019-03-25   阅读更多

【深度学习】常见面试问题

为准备找实习而去搜寻的一些深度学习常考问题,答案都来自于自己在网上查找的资料加以总结和概括而成。

   581   2019-02-18   阅读更多

【深度学习】残差网络理解

前言 残差网络ResNet是在2015年开始火起来的,之前只是在书上看过它的大名,但是没有深入学习过。最近在参加kaggle竞赛,查资料的过程了解到ResNet在图像分类中效果很不错,所以打算深入学习下。 关于kaggle竞赛流程: Input images -> Pre-processing -> Conv…

   639   2018-11-21   阅读更多
加载更多
标签
2019年十二月
« 9月    
 1
2345678
9101112131415
16171819202122
23242526272829
3031  
近期文章