为什么要lockfree 按我的理解, lockfree就是不去 调用操作系统给定的锁机制. 1. 会有system call,  and system call is expensive; 比如pthread在linux里调用了futex. 2. 会失去控制, 接下来发生什么看操作系统心情了. 怎么做lockfree 不用操作系统给定的 同步机制, 而使用 硬件提供的机制, 简单说, 就是对 机器指令 的封装函数(right?). 首先一个是 compare-and-set. CAS/TAS…

文章索引 Lock-Free 编程是什么? Lock-Free 编程技术 读改写原子操作(Atomic Read-Modify-Write Operations) Compare-And-Swap 循环(CAS Loops) ABA 问题(ABA Problem) 内存模型(Memory Model)对细粒度锁的影响 代码实践 实现普通的栈 SimpleStack 类 实现普通的加锁的栈 SimpleLockedStack 类 实现 Lock-Free 的栈 LockFreeStack 类 实现…

最近看并行编程书本的一些心得,简单记录下多线程和并行编程必知必会的几个概念,再次加深自己的理解. .NET Framework4提供了一个新的命名空间System.Collections.Concurrent用于解决常用集合在并发情况下的线程安全问题(ps:通过这个命名空间还可以访问用于并行化循环和PLINQ的自定义分区器Partitioner).这个命名空间下的所有线程安全集合都在某种程度上使用了无锁技术.也就是说,这些集合通过使用比较并交换(Compare And Swap,CAS)指令和内…

一个星期前,我写了关于SQL Server里闩锁(Latches)和自旋锁(Spinlocks)的文章.2个同步原语(synchronization primitives)是用来保护SQL Server里的共享数据结构,例如缓存池里的页(通过闩锁(Latches)),锁管理器哈希表里的锁(通过自旋锁(Spinlock)).接下里你会看到越来越多的全新同步原语(synchronization primitives),即所谓的无锁数据结构(Lock-Free Data Structures).那也是…

前几篇文章,我们讨论了如何使用mutex保护数据及使用使用condition variable在多线程中进行同步.然而,使用mutex将会导致一下问题: 等待互斥锁会消耗宝贵的时间 — 有时候是很多时间.这种延迟会损害系统的scalability.尤其是在现在可用的core越多越多的情况下. 低优先级的线程可以获得互斥锁,因此阻碍需要同一互斥锁的高优先级线程.这个问题称为 优先级倒置(priority inversion ) . 可能因为分配的时间片结束,持有互斥锁的线程被取消调度.这对于等待同…

Boost Lockfree flyfish 2014-9-30 为了最大限度的挖掘并行编程的性能考虑使用与锁无关的数据结构来编程 与锁无关的数据结构不是依赖于锁和相互排斥来确保线程安全. Lockfree的重要操作就是CAS(Compare And Set)原子操作 原子操作就是多个线程訪问同一个资源时,有且仅有唯一 一个线程对该资源进行操作 BOOST中的宏定义 BOOST_ATOMIC_DETAIL_X86_HAS_CMPXCHG8B BOOST_ATOMIC_DETAIL_X86_HAS…

前几篇文章,我们讨论了如何使用mutex保护数据及使用使用condition variable在多线程中进行同步.然而,使用mutex将会导致一下问题: 等待互斥锁会消耗宝贵的时间 - 有时候是很多时间.这种延迟会损害系统的scalability.尤其是在现在可用的core越多越多的情况下. 低优先级的线程可以获得互斥锁,因此阻碍需要同一互斥锁的高优先级线程.这个问题称为优先级倒置(priority inversion ). 可能因为分配的时间片结束,持有互斥锁的线程被取消调度.这对于等待同一互…

最近的任务是写一个多线程的东西,就得接触多线程队列了,我反正是没学过分布式的,代码全凭感觉写出来的,不过运气好,代码能够work= = 话不多说,直接给代码吧,一个多消费者,多生产者的模式.假设我的任务是求队列的中位数是啥,每消费10000次的时候,我要知道中位数是什么. 至于加不加锁,这个看你了,我反正是加了,代码里面没写--我反正是把写的代码单独封装了一个函数,然后加了个锁 欢迎交流,这个代码已经在实际任务上面上线了,希望不会有bug. 用的是boost::lockfree::queue,官…

转自:http://blog.csdn.net/kangroger/article/details/47867269 定义 无锁编程是指在不使用锁的情况下,在多线程环境下实现多变量的同步.即在没有线程阻塞的情况下实现同步.这样可以避免竞态.死锁等问题. 原理 CAS是指Compare-and-swap或Compare-and-Set CAS是一个原子操作,用于多线程环境下的同步.它比较内存中的内容和给定的值,只有当两者相同时(说明其未被修改),才会修改内存中的内容. 实现如下: int comp…

论文地址:implementing Lock-Free Queue 论文大体讲的意思是:Lock-Base的程序的performance不好,并且a process inside the critical section can delay all operations indenitely:所以基于以上的弊端,他们提出了Non-Blocking的算法,也就是CSW和FAA,当然就是CAS,而CAS也有最难以handler的情况,也就是ABA问题,他们给出了solution,也就是检查引用:他们…

Michael-Scott非阻塞队列算法,即MS-queue算法,是1 9 9 6 年由Maged . M .Michael and M. L. Scott提出的,是最为经典的并发FIFO队列上的算法,目前很多对并发FIFO队列的研究都是基于这个算法来加以改进的.在共享内存的多核处理器上,这种基于Compare-and-swap(CAS)的算法在性能上要远远优于以前基于锁的算法,并且已经被Java并发包所采用.它的主要特点在于允许多线程并发的.无干扰的访问队列的头和尾. MS-queue算法依赖…

锁无关的(Lock-Free)数据结构 在避免死锁的同时确保线程继续 Andrei Alexandrescu 刘未鹏 译 Andrei Alexandrescu是华盛顿大学计算机科学系的在读研究生,也是<Modern C++ Design>一书的作者.他的邮箱是 andrei@metalanguage.com. 在Generic<Programming>沉默了一期之后(研究生的学业总是使人不得不投入百分之百的精力),这一期文章的可写内容突然多得令人似乎有点无所适从.例如,其中之一就…

转:http://www.cnblogs.com/lucifer1982/archive/2009/04/08/1431992.html http://en.wikipedia.org/wiki/Compare-and-swap In computer science, compare-and-swap (CAS) is an atomic instruction used in multithreading to achieve synchronization. It compares the…

Lock-free programming is a challenge, not just because of the complexity of the task itself, but because of how difficult it can be to penetrate the subject in the first place. I was fortunate in that my first introduction to lock-free (also known as…

#include <boost/thread/thread.hpp> #include <boost/lockfree/spsc_queue.hpp> #include <iostream> #include <boost/atomic.hpp> ; boost::atomic_int consumer_count (); boost::lockfree::spsc_queue<> > spsc_queue;//但生产者但消费者队列,后面是…

#include <boost/thread/thread.hpp> #include <boost/lockfree/stack.hpp> #include <iostream> #include <boost/atomic.hpp> boost::atomic_int producer_count(); boost::atomic_int consumer_count(); boost::lockfree::stack<);//多生产者多消费者无锁…

#include <boost/thread/thread.hpp> #include <boost/lockfree/queue.hpp> #include <iostream> #include <boost/atomic.hpp> boost::atomic_int producer_count(); boost::atomic_int consumer_count(); boost::lockfree::queue<);//无锁的多生产者多消费…

boost库中有一个boost::lockfree::queue类型的 队列,对于一般的需要队列的程序,其效率都算不错的了,下面使用一个用例来说明. 程序是一个典型的生产者与消费者的关系,都可以使用多线程,其效率要比使用上层的互斥锁要快很多,因为它直接使用底层的原子操作来进行同步数据的. freedeque.h #pragma once#ifndef INCLUDED_UTILS_LFRINGQUEUE #define INCLUDED_UTILS_LFRINGQUEUE #define _EN…

首先要理解JVM内存模型,可以参考我之前的文章. 然后C++里面其实有一样的指令排序的问题.虽然C++11里面针对happens-before规则做了一些语义上面的支持.但是普通C/C++没有做这些支持. 需要了解我们平时工作所在的x86对于指令排序是可能 store-load重排序的. 而一般最常定义的lock-free,指的可能是基于CAS(Compare and Swap)这样的技术. 比如乐观锁这样的. 而不是说的完全没有锁.指的是始终有线程能够往下走. 而尽量减少加锁的代价就是最好的.…

原文: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.3870&rep=rep1&type=pdf Abstract 动态内存分配器(malloc/free)在多线程环境下依靠互斥锁来保护共享数据的一致性.使用锁在性能,可用性,健壮性,程序灵活性方面有很多缺点.Lock-free的内存分配器能消除线程延迟或被杀死以及CPU的调度策略对程序的性能影响.这篇paper呈上了一个完整的无锁内存分配器.它的实现只使用被广泛支…

异步 I/O 模型 异步 I/O 模型其中的设计模式或是解决方法可以借鉴到分布式架构上来. 史蒂文斯(Stevens)在<UNIX 网络编程>一书 6.2 I/O Models 中介绍了五种 I/O 模型. 阻塞 I/O 非阻塞 I/O I/O 的多路复用(select 和 poll) 信号驱动的 I/O(SIGIO) 异步 I/O(POSIX 的 aio_functions) C10K Problem ,了解 I/O 模型 Thousands of Threads and Blocking…

前几篇文章,我们讨论了如何使用mutex保护数据及使用使用condition variable在多线程中进行同步.然而,使用mutex将会导致一下问题: 等待互斥锁会消耗宝贵的时间 - 有时候是很多时间.这种延迟会损害系统的scalability.尤其是在现在可用的core越多越多的情况下. 低优先级的线程可以获得互斥锁,因此阻碍需要同一互斥锁的高优先级线程.这个问题称为优先级倒置(priority inversion ). 可能因为分配的时间片结束,持有互斥锁的线程被取消调度.这对于等待同一互…

性能测试(3): 对无锁队列boost::lockfree::queue和moodycamel::ConcurrentQueue做一个性能对比测试     版权声明:本文为博主zieckey原创文章,转载时请保留版权信息. https://blog.csdn.net/zieckey/article/details/69803011 English version : The performance benchmark of queue with std::mutex against boost:…

目录 非阻塞的栈 非阻塞的链表 非阻塞算法(Lock-Free)的实现 上篇文章我们讲到了使用锁会带来的各种缺点,本文将会讲解如何使用非阻塞算法.非阻塞算法一般会使用CAS来协调线程的操作. 虽然非阻塞算法有诸多优点,但是在实现上要比基于锁的算法更加繁琐和负责. 本文将会介绍两个是用非阻塞算法实现的数据结构. 非阻塞的栈 我们先使用CAS来构建几个非阻塞的栈.栈是最简单的链式结构,其本质是一个链表,而链表的根节点就是栈顶. 我们先构建Node数据结构: public class Node<E>…

本次内容列表: 1.使用线程的经验:设置名称.响应中断.使用ThreadLocal 2.Executor:ExecutorService和Future 3.阻塞队列:put和take.offer和poll.drainTo 4.线程间的协调手段:lock.condition.wait.notify.notifyAll 5.Lock-free:atomic.concurrentMap.putlfAbsent.CopyOnWriteArrayList 6.关于锁使用的经验介绍 7.并发流程控制手段:C…

最近想在DIOCP中加入任务调度线程,DIOCP的工作线程作为生产者(producer)将接受到的数据对象,投递到任务调度线程中,然后统一进行分配.然而这一切都需要一个队列, 这几天都在关注无锁队列. [队列] 首先是一个队列,简单的队列就是,生产者把数据压入队列(push), 消费者通过队列Pop出数据进行处理. 简单的队列就是提供Push,和Pop函数. 我们用一个链表来存储数据.Head ->data01->data02...data_n->Tail, 每个数据块的结构如下 typ…

内存优化表(Memory-Optimized Table,简称MOT)使用乐观策略(optimistic approach)实现事务的并发控制,在读取MOT时,使用多行版本化(Multi-Row versioning)创建数据快照,读操作不会对数据加锁,因此,读写操作不会相互阻塞.写操作会申请行级锁,如果两个事务尝试更新同一数据行,SQL Server检测到写-写冲突,产生错误(Error 41302),将后后创建的事务作为失败者,回滚事务的操作.虽然MOT事务使用无锁结构(Lock-Free)…

转自 https://segmentfault.com/a/1190000006079389?from=groupmessage&isappinstalled=0 简介 说到协程(Coroutine),很多人会想到go,lua,erlang等语言,其实JVM上也有蛮多的实现,如PicoThread,Kilim,Quasar等,本文主要介绍其中一种Coroutine实现 -- Quasar Fiber,Quasar Fiber相对来说流行度更好一些,如果之前没有接触过协程(用户级轻量级线程),可以…

本文主要是探究学习比较流行的一款消息层是如何设计与实现的 ØMQ是一种消息传递系统,或者乐意的话可以称它为"面向消息的中间件".它在金融服务,游戏开发,嵌入式系统,学术研究和航空航天等多种环境中被使用. 消息传递系统基本上像应用程序的即时消息一样工作.应用程序决定将事件传送到另一个应用程序(或多个应用程序),它组装要发送的数据,点击"发送"按钮,消息传递系统负责其余的事情.然而,与即时消息传递不同,消息传递系统没有GUI,并且在出现问题时,在端点处没有人能够进行智能…

lock-free是一种基于原子变量类来构建的非阻塞同步算法. 比较并交换(compare-and-swap) 我们经常会先检查某项东西,然后对其进行修改,如if(X...) {X=...}.这种行为在多线程下并不是线程安全的.那我们该如何做呢? 一种方法是对操作进行加锁,如 synchornized(obj){ if(x>0){ x -=  10; } } 究其原因,是因为上面的操作是一个复合操作.我们是否可以通过某种不可分的方式来处理呢?... 几乎所有的现代处理器都包含了比较并交换(CAS…