栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > C/C++/C#

利用std::transform进行大数据计算

C/C++/C# 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

利用std::transform进行大数据计算

在日常编程中,可能会遇到,简单的计算,但是却要进行上亿次,循环累加耗时特别长std::transform就可以很好的解决问题。

使用std::transform在提升速度的同时,CPU和内存回蹭蹭上涨,内部是多线程,自动分配工作。

1.std::transform(input1.begin(), input1.end(), input2.begin(), outc.begin(), CalculatePoor);

2.std::transform(std::execution::par_unseq, input1.begin(), input1.end(), input2.begin(), outc.begin(), CalculatePoor);

这两种方式都能很大程度提升CalculatePoor这里我们想做的事的速度,CalculatePoor也可以换成匿名函数

注意事项:

一.使用std::execution::par_unseq,即允许的并行性类型,会在多线程基础上进一步提升速度,同时CPU也会涨很多(在数据量大的时候特别明显)

二.input1和input2类型没有明确限制,但是input1和input2的大小要完全相同,如果input1的size是1000,而input2的size是2000,这样可以正常执行,如果input2的size是500,就会崩溃,内部input1[i]和input2[i]是一对一执行CalculatePoor这个操作,

会崩溃的原因就在下图

如果想{1, 2, 3, 4}和{5, 6, 7}相互减,进行12次减法,就要分三次传进去,分别为“

{1, 2, 3, 4}和{5,5,5, 5}

{1, 2, 3, 4}和{6, 6, 6,6}

{1, 2, 3, 4}和{7, 7, 7,7}

这样才是正确的12次运算

三.那么在算法中就会存在一个问题,创造第二输入数组,

例如vector有常见的三种办法:

1.vector vStop(10000);

std::fill(vStop.begin(), vStop.end(), 5);

2.vector vStop(10000);

stop.assign(vStop.begin(), vStop.end(), 5))

3.vector vStop(10000, 5);

第一种和第二种速度差不多,第三种要慢很多,

四.在CalculatePoor里面做什么事不需要加锁,例如我的CalculatePoor

QMap g_mStatisTau;
int CalculatePoor(long long i, long long j)
{  
    long long iValue = j - i;
    if(std::abs(iValue) <= g_iMaxDiff) { //合格
        g_mStatisTau[iValue] += 1;
    }
    
    return iValue;
} 

g_mStatisTau这个用锁保护和不用锁基本没什么区别

然后就是CalculatePoor里面不要做什么耗时的事情。有什么注意的碰到再加

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/873095.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号