目录 Attention机制的原理 Attention机制的类别 双向注意力 Self-Attention 与 Soft-Attention 的区别 Transformer Multi-Head Attention 机制 Self-Attention机制 Position-wise Feed-Forward Layer 使用残差连接的部分 Transformer Decoder 与 Encoder 之间的区别 位置编码 Attention机制的原理 关键的三个变量 Query, Key, Val…

面试是一对一 或者多对一的沟通,是和候选人 互相交换信息.平等的. 面试的目标是选择和雇佣最适合的人选.是为了完成组织目标.协助人力判断候选人是否合适空缺职位. 面试类型: (1)预判面试(查看简历后的电话面试) (2)结构化面试(所有人问同样的问题) (3)行为面试(简历有某年-某年  在xx就职...则针对提问) (4)情景化面试 (带到场景里提问) (5)发散性提问 (5)压力面试 面试步骤: (1)根据简历准备提问 (2)面试开始提问面试无关问题,减轻候选人紧张度 (3)看下简历和时间的…

目录 自回归语言模型与自编码语言 Bert Bert 中的预训练任务 Masked Language Model Next Sentence Prediction Bert 的 Embedding BERT-wwm Roberta 与 Bert 的区别 ERNIE 与 Bert 的区别 XLNet 排列语言模型(Permutation Language Model,PLM) 双流注意力机制(Two-Stream Self-Attention) 部分预测(Partial Prediction) T…

目录 防止过拟合的方法 什么是梯度消失和梯度爆炸?如何解决? 在深度学习中,网络层数增多会伴随哪些问题,怎么解决? 关于模型参数 模型参数初始化的方法 模型参数初始化为 0.过大.过小会怎样? 为什么说模型参数越小,模型越简单 正则化 Regularization 正则化方法 正则化如何解决过拟合的 如何在代码中加入正则化 关于梯度下降 Batch/Mini-Batch/SGD梯度下降 增大 batch size 的影响 优化算法(Momentum/RMSProp/Adam) 归一化 Norma…

目录 Sigmoid 函数的优缺点是什么 ReLU的优缺点 什么是交叉熵 为什么分类问题的损失函数为交叉熵而不能是 MSE? 多分类问题中,使用 sigmoid 和 softmax 作为最后一层激活函数的区别 为什么 LSTM 中的激活函数为 tanh 和 sigmoid 而不用 Relu softmax 的反向传播 Sigmoid 函数的优缺点是什么 优点: 输出范围优先,可以将任意范围的输出映射到 (0, 1) 范围内,在输出层可以用于表示二分类的输出概率 易于求导 缺点: Sigmoid…

目录 简介 经典模型概述 Model 1: Attentive Reader and Impatient Reader Model 2: Attentive Sum Reader Model 3: Stanford Attentive Reader Model 4: AOA Reader Model 5: Match-LSTM and Answering Point Match-LSTM Pointer Net Match-LSTM and Answering Point Model 5: Bi…

目录 简介 经典模型概述 Model 1: Attentive Reader and Impatient Reader Attentive Reader Impatient Reader Model 2: Attentive Sum Reader Model 3: Stanford Attentive Reader Model 4: AOA Reader Model 5: Match-LSTM and Answering Point Match-LSTM Pointer Net Match-LS…

搜集这些题目是想在学习PHP方面知识有更感性的认识,单纯看书的话会很容易看后就忘记. 曾经看过数据结构.设计模式.HTTP等方面的书籍,但是基本看完后就是看完了,没有然后了,随着时间的推移,也就渐渐忘记了. 所以通过这次搜集题目,可以复习复习一些知识点.而且自己动手写写,动脑思考,能更好的记住这些知识点. 留份记录也方便以后自己查看.题目基本都来自网络,如果有不正确的地方欢迎指出或补充. 一.理论知识 1.1.PHP里面是区分大小写的吗? PHP对于系统函数.用户自定义函数.类名称等是不区分大小…

简单介绍下ADO.NET和ADO主要有什么改进? 答:ADO以Recordset存储,而ADO.NET则以DataSet表示,ADO.NET提供了数据集和数据适配器,有利于实现分布式处理,降低了对数据库服务器资源的消耗. ASP.NET与ASP相比,主要有哪些进步? 答:ASP.NET实现了面向对象编程,预编译的服务器端代码而不像ASP那样解释执行提高了性能,代码分离易于管理,可订制和扩展性,功能强大的开发工作,更好的安全机制. C#中的委托是什么?事件是不是一种委托? 答:委托本质上是一种“方…

最全的C语言试题总结 第一部分:基本概念及其它问答题 1.关键字static的作用是什么? 这个简单的问题很少有人能回答完全.在C语言中,关键字static有三个明显的作用: 1). 在函数体,一个被声明为静态的变量在这一函数被调用过程中维持其值不变. 2). 在模块内(但在函数体外),一个被声明为静态的变量可以被模块内所用函数访问,但不能被模块外其它函数访问.它是一个本地的全局变量. 3). 在模块内,一个被声明为静态的函数只可被这一模块内的其它函数调用.那就是,这个函数被限制在声明它的模块的…