BERT 课程笔记 1. 传统方案遇到的问题 BERT的核心在于Transformer,Transformer就类似seq2seq网络输入输出之间的网络结构. 传统的RNN网络:最大的问题,因为不能并行计算,所以往往深度不够. 传统的word2vec:同一个词一经训练词向量便确定了下来,缺乏适应不同语境的灵活性. 2. 注意力机制的作用 注意力机制的作用是能够体现句子中的重点词,而不是把所有词都同等看待.类似图右体现的关注热点区域. self-attention举例:两个句子中it的指代是不同的…

附录:学习笔记链接总结 MOOC课程学习笔记与实验: 第一周:计算机是如何工作的 第二周:操作系统是怎么工作的 -- 一个简单的时间片轮转多道程序内核代码及分析 第三周:构造一个简单的Linux系统MenuOs -- 跟踪分析Linux内核的启动过程 第四周:系统调用(上) -- 使用库函数API和C代码中嵌入汇编代码两种方式使用同一个系统调用 第五周:系统调用(下) -- 分析system_call中断处理过程 第六周:进程的描述与创建 -- 分析Linux内核创建一个新进程的过程 第七周:可…

零.准备工作 这次的作业仍然是结对编程,我们队伍的成员为:梁杰.夏天晗.谢祖三.上次我们是选择了一个时间大家聚在一起进行编程,效果不错,所以这次我们还是决定采用这种方式.由于大家平时比较忙,这周六日我又有事,所以最后决定周五晚上大家一起进行编程. 周五晚上吃完饭,我们就开始了讨论. 这次最大的一个改变就是语言. 上次我们使用的是Python,是因为我和夏天晗对Python比较熟悉,并且夏天晗的第2次作业比较好,所以决定使用Python. 这次作业,因为我们三个都选了一门Ruby课程,也都想挑战一…

一.如何组织代码 因为这个代码比较简单,用函数就足够了,个人觉得没必要用类,杀鸡不必用牛刀. 代码有点长,主要是加了很多判断参数的部分. 提取了一个公共的递归函数. 用了不少全局变量,可能当做参数传入更好吧,不过这么小的程序就这样吧,当做参数还要打包再解析(否则传一大片参数太丑了),没必要. 二.单元测试.代码覆盖率 单元测试结果: 可以看到所有测试全部通过. 详细的测试内容可以去github里看letstest.py文件,我已经添加了注释. 代码覆盖率结果: 单元测试的代码覆盖率100%,ho…

在线课程: 当点击进入页面时,显示所有课程 def get(self, request): courses = Course.objects.select_related('category', 'teacher').\ only('title', 'category__name', 'teacher__name').filter(is_delete=False) return render(request, 'admin/course/courses_manage.html', locals(…

一.stack的三种解释 stack有三种解释,我个人理解如下. 1.用户自定义的stack 用户自定义的stack就是一般意义上的后进先出队列,从名字上就能理解了,stack由下向上增长,有一个顶指针,一般来说有push,pop,top和isempty方法,具体的后面代码会展示. 2.程序的call stack 这个是程序运行时候的机制,我个人理解就是程序遇到一个call的时候,因为要跳转,所以需要把当前状态压栈.如果学过汇编的话可能好理解一点,简单说就是因为寄存器数量有限,所以每次只能保存当…

零.前言 这次的作业比较特殊,有两种做法.由于我对网页很熟悉,所以选择网页. 细节不赘述,下面写一下这次作业的几个亮点. 一.亮点 最大的亮点就是这个页面是纯客户端的,没有服务端.也就是说所有功能都是在本地完成. 简单介绍几个技术难点: 1.本地读文件 一般情况下读文件的过程是:上传文件到服务器——服务器读文件——服务器返回文件内容. 由于没有服务端,所以要在本地读文件,我用到了ActiveX,具体可以看readText()函数. 不夸张的说,80%写网站的人不会写js本地读文件. 2.网页端运…

一.c++11 lambda /* * File: main.cpp * Author: liangjie * * Created on 2013年11月23日, 下午12:02 */ #include <cstdlib> #include <iostream> using namespace std; /* * */ int main(int argc, char** argv) { string aa = "Hello World!"; , c = ; fo…

一.变量作用域和生命周期 #include <cstdlib> #include <iostream> using namespace std; void try_change(int a){ a = ; } int main(int argc, char** argv) { ; try_change(a); cout<<a; ; } 二.堆和栈 #include <cstdlib> #include <iostream> using names…

我读的博客: C++11中值得关注的几大变化 C++11 中的线程.锁和条件变量 C++开发者都应该使用的10个C++11特性 开始使用C++11的9个理由 我的问题: 1.有一句话:“C++像难懂的文言文,JAVA像啰嗦的小说”.还有一句话“Life is short, you need Python!”.对于这两句话我个人很赞同,我想知道Python和C++的本质差距在哪里?我个人认为主要是性能.那么如果Python将来的性能可以赶上甚至超过C++(实际上目前的pypy在某种程度上已经可以做…