paip.提升性能--多核cpu中的java/.net/php/c++编程









作者Attilax  艾龙,  EMAIL:1466519819@qq.com 

来源:attilax的专栏

地址:http://blog.csdn.net/attilax









////////////////目前情况

需要一个处理50w行的文件,按行进行分词..需要50s才能完成..

经过调试,瓶颈在这个代码上... TokenStream ts = Analyzer.tokenStream("", reader); 换成IKSegmenter方式,还是一样.,
// IKSegmenter ik=new IKSegmenter(reader, true);

机器环境:win7 64bit..cpu双核,2.7g...内存8g

查看cpu使用,仅仅使用了1个cpu,另外一个空闲着了...要全部使用了,性能应该能行提升2倍了..





 

////////////使用多线程来提升多核cpu的性能..

多核随着硬件的不断升级,作为计算机核心的CPU也改头换面,成为一颗多心的家伙。设计它的专家声称这可以最大限度地提高程序的运行效率。但事实真的如此吗?众所周知,现在的程序大多都是基于单线程而设计的,然而这种设计模式如果在主频高的单核CPU上运行,效率是非常高的。但它并不能很好地协调多核一起工作。





更不幸的是单线程的程序在多核CPU上运行甚至可能会没有单核CPU快。





当然,就目前而言,要解决这种性能软瓶颈的最佳方法就是本专题所讨论的多线程编程。只有充分利用这种技术,才能发挥多核的最大潜力。好了,就说到这吧,最后让我们利用本专题所讲的内容尽情地享受多核给我们带来的惊喜和刺激吧!









2、线程分解和执行的区别:

对单核CPU,对客户端软件,采用多线程,主要是 创建多线程将一些计算放在后台执行,而不影响用户交互操作。(用户界面 & 其他计算 并行进行)提高用户的操作性能!





多核中,分别出多个线程,不再限于将用户界面操作和其他计算分离。分解多个线程使为了让计算分配到各CPU上执行。执行线程数量与CPU核数有关!如果线程数小于核数,某些CPU肯定处于空闲状态。





3、CPU核负载平衡:

单核中不考虑 负载平衡,各个线程计算量相差很大,也不会影响程序总计算时间。

多核中,必须考虑将各个线程计算量均衡到各CPU





7、串行计算与并行计算、分布式计算的区别

单核多线程编程中,都是串行算法。用不到并行计算,更用不到分布式计算

多核编程中,多采用 并行计算 和 分布式计算





并行计算=并行设计模式+并行算法

分布式计算复杂度 > 并行计算的复杂度 > 串行计算复杂度





并行计算:只考虑计算并行地执行,不考虑线程间的竞争导致CPU饥饿

分布式计算:相比并行计算,能更好解决CPU饥饿,使计算均衡地分配任务到各内核





/////////////////代码如下:

经过测试,因为仅仅有2个cpu核心,走凯里2个线程..果然,2个cpu占用都块道理100%的兰,时间一挂噪城里原来的一半儿..25s走ok兰...

List<String> lica7 = fc.fileRead2list(sourceTxt, "utf-8");

int mid = lica7.size() / 2;

final List<String> lica7_half1 = lica7.subList(0, mid);

List<String> lica7_half2 = lica7.subList(mid, lica7.size());

new Thread>>>>

lica7_half1_result = ftc.fentsiMuilttheard(lica7_half1,

wordLibs, "thd1");

half1_isfinesh=true;

//main thread

//wait 4 half_thread_finish

//habin lyag list..









/////////////true code.











List<String> lica7_half1_result;

boolean half1_isfinesh=false;





/**

* @author attilax 1466519819@qq.com

* @param sourceTxt

* @param targetTxt

* @param wordLibs

*            for file line >5w bacause 50w time tooo long ,gujyi

*            1min...muset rewrite jeig swefa.

* @since cae

*/

public void fentsi4bigfile(String sourceTxt, String targetTxt,

final String wordLibs) {





// String wordLibs =

// "c:\\wordFromInputmethod.txt,c:\\word.txt,c:\\ext.txt";

// String sourceTxt = "c:\\sincin.txt";

// String targetTxt = "c:\\fentsiOK.txt";

int n = 0;

List<String> li_r = new ArrayList<String>();





fileC0 fc = new fileC0();

// String text = fc.fileRead(sourceTxt);

// if(true)return;

List<String> lica7 = fc.fileRead2list(sourceTxt, "utf-8");

int mid = lica7.size() / 2;

final List<String> lica7_half1 = lica7.subList(0, mid);

List<String> lica7_half2 = lica7.subList(mid, lica7.size());





List<String> lica7_half2_result;

// n = fentsiMuilttheard(wordLibs, n, lica7);





new Thread(new Runnable() {

public void run() {





try {

fentsiOr ftc = new fentsiOr();

lica7_half1_result = ftc.fentsiMuilttheard(lica7_half1,

wordLibs, "thd1");

half1_isfinesh=true;





} catch (Exception e) {

e.printStackTrace();

}

System.out.println(Thread.currentThread().getName());





}

}).start();







//main thread

fentsiOr ftc = new fentsiOr();

lica7_half2_result = ftc.fentsiMuilttheard(lica7_half2, wordLibs,

"thd_main");








//stop whiel half is not ok

int nn = 0;

while (true) {

if (half1_isfinesh) {

break;

}

nn++;

try {

Thread.sleep(50);

System.out.println("--sleep 500 ,num:" + nn);

} catch (InterruptedException e) {





e.printStackTrace();

throw new RuntimeException(e);

}





}





List<String> li_all=new ArrayList<String>();

li_all.addAll(lica7_half1_result);

li_all.addAll(lica7_half2_result);

 fc.saveList2file(li_all, targetTxt, "utf-8");





}

















参考:

多核编程 与 单核多线程编程的区别 - 点滴记录 不断进步 - 博客频道 - CSDN.NET.htm

paip.提升性能--多核cpu中的java/.net/php/c++编程的更多相关文章

  1. paip.提升性能--多核编程中的java .net php c++最佳实践 v2.0 cah

    paip.提升性能--多核编程中的java .net php c++最佳实践  v2.0 cah 作者Attilax  艾龙,  EMAIL:1466519819@qq.com  来源:attilax ...

  2. paip.提升性能---mysql 优化cpu多核以及lan性能的关系.

    paip.提升性能---mysql 优化cpu多核以及lan性能的关系. 作者Attilax  艾龙,  EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http:/ ...

  3. paip.提升性能----java 无锁结构(CAS, Atomic, Threadlocal, volatile, 函数式编码, 不变对象)

    paip.提升性能----java 无锁结构(CAS, Atomic, Threadlocal, volatile, 函数式编码, 不变对象) 1     锁的缺点 2     CAS(Compare ...

  4. paip.提升性能---并行多核编程哈的数据结构list,set,map

    paip.提升性能---并行多核编程哈的数据结构list,set,map vector/copyonwritearraylist 都是线程安全的. 或者经过包装的list ::: collection ...

  5. paip.提升性能---jvm java 工具使用.

    paip.提升性能---jvm java 工具使用. 作者Attilax  艾龙,  EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http://blog.csdn ...

  6. paip.提升性能---协程“微线程”的使用.

    paip.提升性能---协程的使用. 近乎无限并发的"微线程" 作者Attilax  艾龙,  EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:h ...

  7. paip. 提升性能---hibernate的缓存使用 总结

    paip. 提升性能---hibernate的缓存使用 总结 作者Attilax  艾龙,  EMAIL:1466519819@qq.com  来源:attilax的专栏 地址:http://blog ...

  8. paip.提升性能----数据库连接池以及线程池以及对象池

    paip.提升性能----数据库连接池以及线程池以及对象池 目录:数据库连接池c3po,线程池ExecutorService:Jakartacommons-pool对象池 作者Attilax  艾龙, ...

  9. paip.提升性能3倍--使用栈跟VirtualAlloc代替堆的使用.

    paip.提升性能3倍--使用栈跟VirtualAlloc代替堆的使用. #----为什么要设计堆栈,它有什么独特的用途? 为了性能 ....  堆比栈的性能 也有的说法为了编程容易...这个是错误的 ...

随机推荐

  1. sublime text3使用小结

    一.下载 http://www.sublimetext.com/2   sublime text2下载页 http://www.sublimetext.com/3   sublime text3下载页 ...

  2. angular js 的 ng-keyup 监听 keydown keyup事件获取 keyCode

    参考这个页面.http://www.angularjshub.com/examples/eventhandlers/keyboardevents/ Html页面代码: <input ng-mod ...

  3. QT 第三方串口库COM10以上无法读取问题

    当COM口的端口号高于9时,也就是说从COM10往后,serialPortName赋值就不能跟COM1~~COM9一样,C++中COM大于9时,COM前面需要加上\\.\COM. 如,serialPo ...

  4. [Python] Pitfalls: Be Careful with os.chdir

    One thing you need to keep in mind is that when using os.chdir to change the working directory of cu ...

  5. MongoDB学习笔记—02 MongoDB入门

    Mongodb的基本概念 文档:是MongoDB中数据的基本单元,类似于关系型数据库中的行. 集合:多个文档组成一个集合,类似于关系型数据库中的表. 数据库:MongoDB的当个实例可以容纳多个独立的 ...

  6. WWDC2016的一点个人想法

    看了游戏审核的新闻和WWDC,感觉个人游戏开发者会很难混下去了,WWDC里面iMessage 透露出来的信息,我感觉微信有竞争者了,假如苹果把iMessage 打造成微信那种模式(聊天+第三方接入), ...

  7. Cocoapods的安装,卸载和使用

    [一]Cocoapods的安装 (1)Cocoapods的官方网站为: https://cocoapods.org/ .如果你的电脑已经安装了Ruby开发环境,那么在终端(Terminal)中使用以下 ...

  8. Android 适配2

    Android AutoLayout全新的适配方式 堪称适配终结者 转载请标明出处: http://blog.csdn.net/lmj623565791/article/details/4999094 ...

  9. iOS直播直播,头都大了

    随着直播市场的火热,市场大军都逐步进入直播市场 ,腾讯旗下的NOW直播也不例外 先说说直播设计底层 一 .流媒体 1 - 伪流媒体 1.1 扫盲:边下载边播放 1.2 伪流媒体:视频不是实时播放的,先 ...

  10. CMD命令小结

    C:\Windows\Explorer.exe “文件具体目录(要加文件后缀名)”,(Explorer.exe后有一个空格,例如C:\Windows\Explorer.exe C:\temp\New ...