cFSMN和FSMN参数规模对比分析
1. FSMN参数规模分析
(1)分析前提:
- 假设隐藏层单元规模都为n
- 只分析前向t个时刻的结构,即暂时不考虑双向的结构
- 只分析向量系数编码,即vFSMN,暂时不考虑sFSMN
(2)结构图回顾:
(3)公式回顾:
\[
\vec{\tilde{h}_t^l} = \sum_{i=0}^{N}\vec{a_i^l}\odot\vec{h_{t-i}^l},in...vFSMN
\]
\[
A^l =\{ \vec{a_0^l},\vec{a_1^l},...,\vec{a_N^l}\},in...vFSMN
\]
\[
\vec{h_t^{l+1}} =f(W^l\vec{h_t^l}+\tilde{W}^l\vec{\tilde{h}_t^l} +\vec{b^l} )
\]
(4)参数规模分析
由第一个公式和第二个,可知这一部分的参数规模为:n × t
由第三个公式,可知这一部分的参数规模为:n × n + n × n
所以总的参数规模为:n × n + n × n + n × t
2. cFSMN参数规模分析
(1)分析前提:
- 与FSMN的分析前提完全一致
- 假设投影层的投影矩阵是x × n维的
(2)结构图回顾:
(3)公式回顾:
\[
\vec{p_t^l} =V^l\vec{h_t^l}+\vec{b^l}
\]
\[
\vec{\tilde{p}_t^l} = \vec{p_t^l}+\sum_{i=0}^{N}\vec{a_i^l}\odot \vec{p_{t-i}^l}
\]
\[
\vec{h_t^{l+1}} =f(U^l\vec{\tilde{p}_t^l} +\vec{b^l} )
\]
(4)参数规模分析
由第一个公式和假设,可知这一部分的参数规模为:x × n
由第二个公式,可知这一部分的参数规模为:x × t
由第三个公式,可知这一部分的参数规模为:x × n
所以总的参数规模为:n × x + n × x+ x × t
3. 对比
FSMN的参数规模为:n × n + n × n + n × t
cFSMN的参数规模为:n × x + n × x+ x × t
所以:cFSMN相比于FSMN,减少的参数规模为: (2n+t) × (n-x)
进一步的,实际上n很大,可以忽略t的影响,所以上式可以近似为:2n × (n-x)
可以看到,如果取x为n的一半,较少的参数规模就是n2
近似分析的结果,就是参数规模可以减少的量级为:O(n2)
cFSMN和FSMN参数规模对比分析的更多相关文章
- list 、set 、map 粗浅性能对比分析
list .set .map 粗浅性能对比分析 不知道有多少同学和我一样,工作五年了还没有仔细看过list.set的源码,一直停留在老师教导的:"LinkedList插入性能比Array ...
- 前端基本知识(一):W3C标准&&冒泡事件,捕获事件,W3C DOM对象模型,对比分析
W3C标准是万维网联盟, 其他的可以参考万维网版本的更新内容 一.W3C标准 二.W3C DOM事件 三.冒泡事件 四.捕获事件 一.W3C标准 其实网页是由三分部组成:1.结构(structure) ...
- Go/Python/Erlang编程语言对比分析及示例
本文主要是介绍Go,从语言对比分析的角度切入.之所以选择与Python.Erlang对比,是因为做为高级语言,它们语言特性上有较大的相似性,不过最主要的原因是这几个我比较熟悉. Go的很多语言特性借鉴 ...
- javascript中call,apply,bind的用法对比分析
这篇文章主要给大家对比分析了javascript中call,apply,bind三个函数的用法,非常的详细,这里推荐给小伙伴们. 关于call,apply,bind这三个函数的用法,是学习java ...
- 面向企业级的开源WebGIS解决方案--MapGuide(对比分析)
在技术特点.功能.架构等方面,MapGuide与其他WebGIS产品有什么区别?本文主要从此角度来介绍MapGuide的特性,以供参考. 本人选择了比较熟悉的几款WebGIS产品:MapServ ...
- Python、R对比分析
一.Python与R功能对比分析 1.python与R相比速度要快.python可以直接处理上G的数据:R不行,R分析数据时需要先通过数据库把大数据转化为小数据(通过groupby)才能交给R做分析, ...
- 关于Rest Framework中View、APIView与GenericAPIView的对比分析
关于Rest Framework中View.APIView与GenericAPIView的对比分析 https://blog.csdn.net/odyssues_lee/article/detail ...
- 微软和Google的盈利模式对比分析
一: 微软和Google是世界上最成功科技巨头之一,但他们之间却有着不同的产品和业务,二者的盈利方式也各有不同,本文将分析和探讨的二者盈利模式的异同. 微软的盈利模式 在1975年由大学肄业的Bill ...
- 转: 三大WEB服务器对比分析(apache ,lighttpd,nginx) (2008年的旧文,仅供参考之用)
from: http://www.blogjava.net/daniel-tu/archive/2008/12/29/248883.html 三大WEB服务器对比分析(apache ,lighttp ...
随机推荐
- 纯css实现蒙层loading效果
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- B-论文一些好的句子
Due to high design and test costs for real many-core chips, simulators which allow exploring the bes ...
- identify.class.php<======>token加密方法
class Identify { static private $cert = "1111111"; static public function writeSecret($mob ...
- C#创建、设置和安装Windows服务
文章大部分内容转自:http://www.cnblogs.com/greatandforever/archive/2008/10/14/1310504.html:和:http://www.cnblog ...
- Windows 下 Quartus 检测不到 USB-Blaster 终极解决办法
转自https://blog.csdn.net/acang301/article/details/50471067?locationNum=12 一.Windows无法正常驱动USB-Blaster ...
- BT656与BT1120的区别
从ITU-R BT1120文档上可知,BT1120支持的是1080p: 文档定义一帧为1 125 总行数和1 080 有效行:每行有效像素为1920图像频率60. 50. 30. 25 和 24H ...
- java 调用c++程序实例
1.java程序: package com.zhangshitong; import java.io.File; public class Java2cpp { static{ System.load ...
- Nvu
在Jennifer Niederst Robbins的书<Learning Web design>(密码:v9i1)推荐软件Nvu 界面: Nvu tips:
- [mysql语句] mysql 语句收集
// http://stackoverflow.com/questions/6666152/mysql-order-by-where 1. "select * from t_activity ...
- [leetcode 8] String to Integer
1 题目: Implement atoi to convert a string to an integer. Hint: Carefully consider all possible input ...