一.前言 Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.接下来我们使用的是Hive Hive简介 Hive 是一个基于 Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.    它把海量数据存储于 hadoop 文件系统,而不是数据库…

伴随着互联网的发展,从桌面端走向Web端.移动端必然的趋势.互联网技术的兴起极大地改变了我们的娱乐.生活和生产方式.尤其是HTML5/WebGL技术的发展更是在各个行业内引起颠覆性的变化.随着WebGL标准被广泛接受,出现了许多基于HTML5的开源三维引擎,如threejs.scenejs等.尤其threejs使用非常广泛,一方面由于其使用门槛较低,另一方面是其支持若干种三维文件格式,如stl.obj.3ds.obj.dae.fbx等.对于中小规模的三维模型,使用threejs可以快速搭建一个基…

"3D模型体量过大.面数过多.传输展示困难",用户面对这样的3D数据,一定不由得皱起眉头.更便捷.快速处理三维数据,是每个3D用户对高效工作的向往. 在老子云最新上线的单模型轻量化服务里,你可以发现,原来还有这种方式能更快速高效地应用三维! 击破三大痛点轻量三维便捷一点 作为极具创新力的三维技术产品,老子云单模型轻量化向我们展示了全新的模型处理方式. 01全自动!3D处理不再低效 如果你从事的是3D可视化项目开发岗位,处理3D模型肯定是让你最头疼的.想快速推进项目进度,可面对数据量庞大…

前言 一个模型通常是由三个部分组成:网格.纹理.材质.在一开始的时候,我们是通过Geometry类来生成简单几何体的网格.但现在我们需要寻找合适的方式去表述一个复杂的网格,而且包含网格的文件类型多种多样,对应的描述方式也存在着差异.这一章我们主要研究obj格式文件的读取. 因为精力问题无法对obj做完整支持,如果需要读取obj格式的模型文件,推荐各位使用ASSIMP库 纹理映射回顾 DirectX11 With Windows SDK完整目录 Github项目源码 欢迎加入QQ群: 727623…

### instanced rendering. send shared data to gpu just once mesh, texture, leaves push every instance’s unique data position, color, scale With a single draw call, an entire forest grows. unity3d Using instances of a prefab automatically are using the…

0 引言 Marvin是普林斯顿视觉实验室(PrincetonVision)于2015年提出的轻量化GPU加速的多维深度学习网络框架.该框架采用纯c/c++编写,除了cuda和cudnn以外,不依赖其他库,编译非常简单,功能也相当强大,用于深度神经网络的快速原型开发非常好用.缺点在于没有提供API,所有的代码集中在marvin.hpp一个文件中,读起来非常困难.好在提供了视频格式的PPT,对框架和代码进行解读.下面将基于官网视频/ppt对该框架进行介绍. 1 相关链接 不想看我翻译的同学可以直接…

0. 引子 在训练轻量化模型时,经常发生的情况就是,明明 GPU 很闲,可速度就是上不去,用了多张卡并行也没有太大改善. 如果什么优化都不做,仅仅是使用nn.DataParallel这个模块,那么实测大概只能实现一点几倍的加速(按每秒处理的总图片数计算),不管用多少张卡.因为卡越多,数据传输的开销就越大,副作用就越大. 为了提高GPU服务器的资源利用率,尝试了一些加速的手段. 基于Pytorch1.6.0版本实现,官方支持amp功能,不再需要外部apex库: 此外比较重要的库是Dali. 梳理了…

一.什么是大场景? 顾名思义,大场景就是能够从一个鸟瞰的角度看到一个大型场景的全貌,比如一个园区.一座城市.一个国家甚至是整个地球.但过去都以图片记录下大场景,如今我们可以通过建造3D模型来还原大场景,其中方式有很多,比如倾斜摄影模型.手工建模模型.BIM模型等都能做出大场景模型. (倾斜摄影) 二.普遍技术难题 在拥有了建造大场景模型的能力后,普遍的难题出现了. 1.模型过大,低则几十GB,高达几个PB,无法顺畅读取,对硬件设备要求过高: 2.既无法通过网页直接展示,也不能进行模型交互,满足不…

Drone 简介 Drone 是一个基于Docker容器技术的可扩展的持续集成引擎,由GO语言编写,可用于自动化测试与构建,甚至发布.每个构建都在一个临时的Docker容器中执行,使开发人员能够完全控制其构建环境并保证隔.相对于常见的Jenkins,选中 Drone的原因在于它非常简洁,不像Jenkins那样复杂,同时它拥有可以满足基本需求的能力,并且提供了许多实用的插件,如GitHub,Email,微信,钉钉等. Drone 官方地址:https://www.drone.io/ Drone 开…

推荐一个网站 http://objccn.io/ 我这两天才开始看 获益匪浅 看了第一篇文章 <更轻量的View Controllers>感觉写的不错 感觉作者 原文地址 http://objccn.io/issue-1-1/ 示例项目的代码有点旧 Xcode6运行出错 懒的理了 所以我大概模仿他写了一点测试代码 运行环境Xcode7/iOS9 轻量化ViewControllers 顾名思义 就是把ViewController的代码进行简化 让控制器更简单 更清晰 一.把DataSource和…