发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 1,630 | 阅读时长 ≈ 7
自组织映射(self-organizing-map)自组织映射(self-organizing-map)SOM神经网络自组织映射的主要目的是将任意维数的输入信号模式转变为一维或者二维的离散映射。并且以拓扑有序的方式自适应实现这个变换。网格中的每个神经元和输入层的源节点全连接，这个网络表示具有神经元按 ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 2,091 | 阅读时长 ≈ 8
#引言一个典型的卷积神经网络，如LeNet，开始阶段都是卷积层以及池化层的相互交替使用，之后采用全连接层将卷积层和池化之后的结果的特征全部提取进行概率计算处理。在具体的误差反馈和权重的更新的处理上，不论是全连接层发的更新还是卷积层的更新。使用的都是经典的反馈神经网络算法，这种方法将原本较为复杂的，要 ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 1,369 | 阅读时长 ≈ 5
引言卷积神经网络时从信号处理衍生而来的一种对数字信号的处理的方式，发展到图像信号处理上演变为一种专门用来处理具有矩阵特征的网格结构处理方式。CNN在很多的应用上的有独特的优势，例如音频处理和图像处理。在数字图像处理中有一种基本的处理方法名为：线性滤波。其中的滤波的工具就是一个小型的矩阵，即卷积核。卷 ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 1,347 | 阅读时长 ≈ 5
k均值聚类算法（经典的）算法步骤如下： step1: 从数据集中随机选取K个样本作为初始聚类中心$C = {c_1,c_2,…,c_k}$;step2: 针对数据集中的每个样本$x_1$,计算它到$K$个聚类中心的距离，并且将其分到距离最小的聚类中心所对应的类中；step3:针对每个类别$c_i$ ...
阅读全文 »

发表于 | 更新于: | 分类于 ， | 热度: ℃
字数统计: 3,049 | 阅读时长 ≈ 12
前言我们知道循环神经网络(RNN)中一些重要的设计模式包括以下几种： 每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络，如图 1 所示。 每个时间步都产生一个输出，只有当前时刻的输出到下个时刻的隐藏单元之间有循环连接的循环网络，如图 2 所示。 隐藏单元之间存在循环连接，但读取整个序列后 ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 708 | 阅读时长 ≈ 2
#前言在深度神经网络中，通常使用一种叫修正线性单元(Rectified linear unit，ReLU）作为神经元的激活函数。ReLU起源于神经科学的研究：2001年，Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型，如下图：其中横轴是时间(ms)，纵轴是神经元的放电速率 ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 1,458 | 阅读时长 ≈ 6
引言隐马尔科夫模型是关于时序的概率模型，描述一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔科夫随机生成的状态序列，称为状态序列(state sequence)；每个状态生成一个观测，而由此产生的观测的随机序列(observation ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 1,924 | 阅读时长 ≈ 8
#引言在机器学习的算法理论推导中，在很多地方会用到拉格朗日乘数法，在支持向量机$SVM(Support Vector Machines) $ 的学习中，我们会接触到对偶问题和KTT条件问题。于是有必要将拉格朗日乘数法与它们内在的联系弄清楚。 约束最优化问题假设$f(x)$，$c ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 2,485 | 阅读时长 ≈ 11
引言EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等。本文就对EM算法的原理做一个总结。我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大 ...
阅读全文 »

发表于 | 更新于: | 分类于 | 热度: ℃
字数统计: 49 | 阅读时长 ≈ 1
算法流程    假设给出样本的形式为 \( X =(x_1,x_2,\cdots,x_d) \), 每个样本对应一个决策值 \( Y=y \),那么可以定义一个实例\( (X,Y) = (x_1,x_2,\cdots,x_d,y)\)
阅读全文 »