发表于 | 分类于
字数统计: 6.2k 字 | 阅读时长 ≈ 25 分钟
前言这是机器学习的第一篇，之所以在研究深度学习的时候还选择学习机器学习，是因为8个字“不忘初心，方得始终”。尽管近几年机器学习已被深度学习的光环给笼罩，但我们还是要理智地思考，深度学习终究是数据驱动的，失去了数据，再精密的深度网络结构也是画饼充饥，无的放矢。在很多的实际问题中，我们很难得到海量且带有 ...
阅读全文 »

发表于 | 分类于 ， ，
字数统计: 2.9k 字 | 阅读时长 ≈ 14 分钟
YOLO 核心思想 整张图作为网络的输入，直接在输出层用回归的方式得到bounding box的位置和bounding box所属的类别。 之前的一些RCNN算法都是采用的是proposal+classification的思想 YOLO的实现 先将图片分成S×S的网格（grid cell），如果某 ...
阅读全文 »

发表于 | 分类于
字数统计: 2.5k 字 | 阅读时长 ≈ 9 分钟
第一次接触优化算法应该是在学习数值分析的时候，但是有什么梯度下降法，牛顿下降法，拟牛顿法等一些方法。之后就是在深度学习中看到一些奇怪的优化算法，这里主要是就介绍深度学习中的优化算法。 梯度下降其实梯度下降可以分为好多种：（1）Batch gradient descent(BGD)：最小化所有训练样本 ...
阅读全文 »

发表于
字数统计: 1.7k 字 | 阅读时长 ≈ 7 分钟
分类监督学习普通最小二乘法LinearRegression拟合一个带有系数$w=(w_1,…,w_p)$的线性模型，使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式： min_{w}||Xw-y||^{2}_{2}代码：123456from sklearn import ...
阅读全文 »

发表于 | 分类于
字数统计: 587 字 | 阅读时长 ≈ 2 分钟
由于在之前的调参过程中出现了极其低级的错误（缺少optimizer.zero_grad()），因此决定自己更加深入地研究一下pytorch Pytorch forward pass1.input——往往是带minibatch的数据（批处理）。要variable处理，因为处理前只是tensor,而处理 ...
阅读全文 »

发表于 | 分类于
字数统计: 1.9k 字 | 阅读时长 ≈ 6 分钟
实验1——cifar10最近为了学习调参，跑了一遍cifar10,用pytorch编写的代码。 由于自己用的是1080ti，所以结果能比较快地显现。 首先设置lr=0.01，但是没跑多久正确率机会都不变，同时loss不降反升，因此只能调低lr=0.001，然而还是不行。这时继续调低lr至1e-4。 ...
阅读全文 »

发表于 | 分类于 ，
字数统计: 2.6k 字 | 阅读时长 ≈ 9 分钟
SNESNE 是通过仿射变换将数据点映射到概率分布上，主要包括两个步骤： SNE构建一个高维对象之间的概率分布，使得相似的对象有更高的概率被选择，而不相似的对象有较低的概率被选择。 SNE在低维空间里构建这些点的概率分布，使得这两个概率分布之间尽可能地相似。 可以看到t-SNE是非监督地降维，它 ...
阅读全文 »

发表于 | 分类于
字数统计: 5.7k 字 | 阅读时长 ≈ 21 分钟
角点定义角点（corner point）通常被定义为两条边的交点，更严格的说，角点的局部邻域应该具有两个不同区域的不同方向的边界。而在实际应用中，大多数所谓的角点检测方法检测的是拥有特定特征的图像点，而不仅仅是“角点”。这些特征点在图像中有具体的坐标，并具有某些数学特征，如局部最大或最小灰度、梯度特 ...
阅读全文 »

发表于 | 分类于
字数统计: 1.9k 字 | 阅读时长 ≈ 7 分钟
SVD based MethodSVD分解\ \ \ \ \ \ \ \ \ \ \ \ \ X=USV^T Word-Document Matrix————我们做一个大胆的推测：常出现在同一篇文章中的单词是相关联的。例如，“banks”、”bonds”，”stocks”，“money”等可能一 ...
阅读全文 »

发表于 | 分类于
字数统计: 2k 字 | 阅读时长 ≈ 8 分钟
Pytorch 文件布局要玩自己的深度学习，首先要布局好整个程序文件的组织结构。暂且考虑以下文件组织结构1234567891011121314log/checkpoint/data/ dataset.py get_data.pymodel/ nn/ loss/utils/ pre ...
阅读全文 »