▶ 并行通讯方式: map 映射 全局一到一 全局单元素计算操作 transpose 转置 一到一 单元素位移 gather 收集 多到一 元素搬运不计算 scatter 分散 一到多 元素搬运不计算 stencil 模板 全局多到一 模板计算(例如卷积) reduce 归约 全局多到一 元素计算成一个值 scan/sort 扫描排序 全局多到多 元素局部或全局调整 ▶ 几种扫描方法: ● 线性扫描,O(n) 个 step(完全不并行),O(n) 次加法.适用于只有一个处理器的情形 [ , ,…

▶ 并行计算八字原则:负载均衡,通信极小 ▶ 并行计算基本形式:主从并行.流水线并行.工作池并行.功能分解.区域分解.递归分治 ▶ MPI 主要理念:进程 (process):无共享存储:显式消息传递:松散同步 / 完全异步:SPMD 方式编程 ▶ MPI 的主要实现版本 ● MPICH,Argonne 国家实验室与 Mississippi 州立大学开发,是最早.最流行的实现 ● MVAPICH,Ohio 州立大学开发,基于 MPICH,强调对各类硬件和网络的个性化支持. ● OpenMPI,S…

▶ 高性能计算机发展历程 真空管电子计算机,向量机(Vector Machine),并行向量处理机(Parallel Vector Processors,PVP),分布式并行机(Parallel Processors,PP),对称多处理机(Symmetric Multiprocessors,SMP),分布式共享并行机(Distributed Share Memory,DSM),大规模并行机(Massively Parallel Processors, MPP),大规模加速并行机(Massivel…

▶ OpenMP 的任务并行 (task parallelism):显式定义一系列可执行的任务及其相互依赖关系,通过任务调度的方式多线程动态执行,支持任务的延迟执行 (deferred execution) ● 变量的数据域:并行区共享变量 → task 区也为共享:并行区私有变量 → task 区为 firstprivate:task 区其他变量 → 默认私有 ● 范例代码 #include <stdio.h> #include <omp.h> #include <time…

▶ 编写 SLURM 脚本 #!/bin/bash #SBATCH -J name # 任务名 #SBATCH -p gpu # 分区名,可为 cpu 或 gpu #SBATCH -N # 节点数 #SBATCH --ntasks-per-node= # 单节点进程数 #SBATCH --cpus-per-task= # 单进程 CPU 核心数 #SBATCH -o output.log # 标准输出文件 #SBATCH -t -:: # 运行最长时间 #SBATCH --gres=gpu: #…

(转载)林轩田机器学习基石课程学习笔记1 - The Learning Problem When Can Machine Learn? Why Can Machine Learn? How Can Machine Learn? How Can Machine Learn Better? 每个部分由四节课组成,总共有16节课.那么,从这篇开始,我们将连续对这门课做课程笔记,共16篇,希望能对正在看这们课的童鞋有所帮助.下面开始第一节课的笔记:The Learning Problem. 一.What…

这是安卓组的同事一个月前分享的一节课程,听课时写了一下笔记,之前是写在本子上的,感觉内容挺不错 的,就保存在博客了吧,方便回看. 他曾经在就职于英特尔公司,是与芯片设计相关的,这课程标题虽然是与安卓相关的,但对于 windows 移动开发 应该有借鉴意义.芯片相关的专业术语不懂,不过关于应用性能消耗的建议还不错,大多是常见的:   1)屏幕亮度和耗电关系较大 2)节省用户不关心的电.例如,如果用户在充电时,可以把下载等密集的任务可劲的执行,因为此时消耗的电量会很快补充上 3)定位模块耗电较多.手…

最近在跟台大的这个课程,觉得不错,想把学习笔记发出来跟大家分享下,有错误希望大家指正. 一机器学习是什么? 感觉和 Tom M. Mitchell的定义几乎一致, A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by…

(hadoop安装方法:http://blog.csdn.net/wangjia55/article/details/53160679这里不再累述) hadoop是针对大数据设计的一个计算架构.如果你有几百TB的数据需要检索,你在控制终端敲下命令,计算机会向几百分布式台云服务器同时发布命令,使他们开始运行.并且把结果返回给你 hadoop分为大概念, HDFS(分布式文件系统)+MapReduce(分布式计算模型) HDFS 优点 适合大文件的存储,并且由备份策略,有比较好的容错和恢复机制,支持…

目录 training Neural Network Activation function sigmoid ReLU Preprocessing Batch Normalization 权重初始化 Weight Initialization 交叉验证 Cross Validation 参数更新方法 Parameter Update SGD SGD+momentum Adagrad RMSprop Adam 改善过拟合 Overfiting 模型集成 Model ensemble 正则化 Reg…