1. 图论与GraphX 图论是一个数学学科,研究一组实体(称为顶点)之间两两关系(称为边)的特点.通过构建关系图谱,并对关系进行分析,可以实现更好的投放广告,推荐关系等.随着关系图谱越来越强大,计算量也越来越大,于是不断有新的并行图处理框架被开发出来.如谷歌的Pregel.雅虎的 Giraph 和卡内基梅隆大学的 GraphLab. 本章介绍的GraphX是基于Spark 上的一个扩展工具它支持 Pregel.Giraph 和 GraphLab 中的许多图并行处理任务.虽然有些图处理并不如这几…

8. 过滤噪声边 在当前的伴生关系中,边的权重是基于一对概念同时出现在一篇论文中的频率来计算的.这种简单的权重机制的问题在于:它并没有对一对概念同时出现的原因加以区分,有时一对概念同时出现是由于它们具有某种值得我们关注的语义关系,但有时一对概念同时出现只是因为都频繁地出现在所有文档中,同时出现只是碰巧而已.我们需要使用一种新的权重机制,在给定概念在数据中的总体频繁度的情况下,它需要考虑给定的两个概念对于一个文档的“意义”或是“新颖度”.我们将使用皮尔逊卡方测试(Pearson’s chi-squ…

nginx作为一个高性能的HTTP服务器,网络的处理是其核心,了解网络的初始化有助于加深对nginx网络处理的了解,本文主要通过nginx的源代码来分析其网络初始化. 从配置文件中读取初始化信息 与网络有关的配置命令主要有两个:listen和sever_name.首先先了解这两个命令的用法. listen listen命令设置nginx监听地址,nginx从这里接受请求.对于IP协议,这个地址就是address和port:对于UNIX域套接字协议,这个地址就是path. 一条listen指令只能…

[转]一文掌握 Linux 性能分析之网络篇(续) 在上篇网络篇中,我们已经介绍了几个 Linux 网络方向的性能分析工具,本文再补充几个.总结下来,余下的工具包括但不限于以下几个: sar:统计信息历史 traceroute:测试网络路由 dtrace:TCP/IP 栈跟踪 iperf / netperf / netserver:网络性能测试工具 perf 性能分析神器 由于篇幅有限,本文会先介绍前面两个,其他工具留作后面介绍,大家可以持续关注. sar sar 是一个系统历史数据统计工具.统…

[转]一文掌握 Linux 性能分析之网络篇 比较宽泛地讲,网络方向的性能分析既包括主机测的网络配置查看.监控,又包括网络链路上的包转发时延.吞吐量.带宽等指标分析.包括但不限于以下分析工具: ping:测试网络连通性 ifconfig:接口配置 ip:网络接口统计信息 netsat:多种网络栈和接口统计信息 ifstat:接口网络流量监控工具 netcat:快速构建网络连接 tcpdump:抓包工具 sar:统计信息历史 traceroute:测试网络路由 pathchar:确定网络路径特征…

本文首发于我的公众号 Linux云计算网络(id: cloud_dev),专注于干货分享,号内有 10T 书籍和视频资源,后台回复「1024」即可领取,欢迎大家关注,二维码文末可以扫. 这是 Linux 性能分析系列的第五篇,前四篇在这里: 一文掌握 Linux 性能分析之 CPU 篇 一文掌握 Linux 性能分析之内存篇 一文掌握 Linux 性能分析之 IO 篇 一文掌握 Linux 性能分析之网络篇 在上篇网络篇中,我们已经介绍了几个 Linux 网络方向的性能分析工具,本文再补充几个.…

本文首发于我的公众号 Linux云计算网络(id: cloud_dev),专注于干货分享,号内有 10T 书籍和视频资源,后台回复「1024」即可领取,欢迎大家关注,二维码文末可以扫. 这是 Linux 性能分析系列的第四篇,前三篇在这里: 一文掌握 Linux 性能分析之 CPU 篇 一文掌握 Linux 性能分析之内存篇 一文掌握 Linux 性能分析之 I/O 篇 比较宽泛地讲,网络方向的性能分析既包括主机测的网络配置查看.监控,又包括网络链路上的包转发时延.吞吐量.带宽等指标分析.包括但…

基于网格曲面的几何拓扑信息可以为物体语义分析和几何建模提供较强的线索,但是,如此重要的连接性信息在点云中是缺失的.为此,旷视西雅图研究院首次提出一种全新的深度学习网络,称之为 GeoNet,可建模点云所潜在表征的网格曲面特征. 为证明这种学习型的测地表示的有效性,旷视西雅图研究院.UCLA 等机构提出一种融合方案,即把 GeoNet 与其他 baseline 和 backbone 相结合,比如 PU-Net.PointNet++,用于若干对潜在网格曲面特征理解有较高要求的点云分析任务. 得益于对…

原文地址:http://blog.163.com/net_worm/blog/static/127702419201002842553382/ 首先对Windows下的网络编程总结一下: 如果是服务器,其WinSDK调用分别为: 1 WSAStartup() -> socket() -> htons() / htonl() -> bind() -> listen() -> accept() -> recv() / send() -> closesocket() -…

原文地址:http://blog.163.com/net_worm/blog/static/127702419201002842553382/ 首先对Windows下的网络编程总结一下: 如果是服务器,其WinSDK调用分别为: WSAStartup() -> socket() -> htons() / htonl() -> bind() -> listen() -> accept() -> recv() / send() -> closesocket() -&g…