关于数据并行化,以下下列关于大数据思维说法正确的是是() ()-|||- 数据并行就?

1、软件元素包括 、 、 、 、 甚至领域知识。
软件工程包括3个要素: 、 和 。
软件重用过程中需要重用的开发组织结构予以支持,它包括:__、__、___三组成员组成。
采用层次式软件体系结构,将产品的系统构件模型定义为4个层次,分别为: 、 、 、 。
5、软件体系结构的模型分为5种: 、 、 、 和 。
8、软件体系结构的生命周期模型主要分为需求分析阶段,建立软件体系结构阶段()和实现阶段。
9、软件体系结构应建立于传统的软件开发过程的________和________阶段之间。
13、正交软件体系结构由____和_____构成。
14、C/S体系结构服务器主要负责有效的管理系统的资源主要负责__、____、____和 ___ 。
16、软件体系结构的描述方法主要有 、 、基于软构件的系统描述语言和 。
17、ADL是一种在底层语义模拟支持下的形式化语言。基于底层语义的工具为体系结构的 、分析、 、 、设计过程等提供支持。
18、可重用的体系结构描述框架可以从 、 、 和 四个视点出发描述体系结构。
20、典型的ADL在充分继承和吸收传统程序设计语言的 和 特点的同时,还应该具有构造、抽象、重用、组合、异构和分析推理等多种能力和特性。 能力指的是ADL使得其描述的每一个系统元素都有其自己的局部结构。
35、实现完整测试的典型方法是利用测试准则定义测试需求,进而生成测试用例.参照相关研究工作,可定义 、 等测试路径。 依据页码:P255
36、构建依赖图是用于在体系结构级进行可靠性分析的 模型。
37、一个复杂的系统通常包括 、 、 和 常用的结构风格模型。
体系结构评估中,一般采用刺激,环境,和_____三方面来对场景进行描述。
40、可修改性是指能够快速地以较高的性能价格比对系统进行变更的能力。包括可维护性、可扩展性、 、可移植性4个方面。
42、软件重用是为了解决 _____
43、________的开发是大型软件系统开发的关键环节。
领域工程阶段的主要任务有_____ 、______和______三个阶段。
软件体系结构设计的主要目的是满足对软件的_____。
1、软件危机的原因不包括():
A、 用户需求不明确 B、缺乏正确的理论指导
C、软件规模越来越大D、软件复杂度越来越低
2、下列选项中,哪个不是重用组织框构中的主要组成成员:
A. 协调组 B.构件应用组 C.构件需求组 D.构件开发组
常用的软件体系结构评估的方法不包括:A体系结构权衡分析法 B.软件体系结构分析法C系统体系结构分析法 D中间设计的积极评审 4、下列选项中,不是软件危机的原因的是:
A、 用户需求不明确 B.缺乏正确的理论指导
C.软件规模越来越小 D.软件的复杂度越来越高P2
5、不属于软件体系结构的核心模型的最基本的元素是 ()
6、选项中不属于“4+1”试图模型的是:()
A 逻辑视图 B 物理视图 C 连接视图 D 开发视图
7、下列说法错误的一项的是()
A:逻辑视图主要支持系统的功能需求,即系统提供给最终用户的服务
B:开发视图也称模块视图,主要侧重于软件模块的组织和管理
C:进程视图侧重与系统的运行特性,主要关注一些功能性需求,例如系统的性能和可用性。
D:物理视图主要考虑如何吧软件映射到硬件上,它不需要要考虑到系统性能、规模、可靠性等。
8、Kruchten在1995提出了“4+1”模型,从5个不同的视角来描述软件体系结构,其中“4”不包括的视图是()
A逻辑视图 B开发视图 C物理视图 D场景视图
9、下列哪个选项是描述系统的静态结构()
A.逻辑视图和开发视图 B.进程视图和物理视图
C.开发视图和物理视图 D.开发视图和进程视图
10、在三层C/S体系结构中,____是最重要的构件。
A 中间件 B 末尾件 C 功能层 D 数据层
11、正交软件体系结构的有点有()
A 结构清晰,易于理解 B 易修改,可维护性强
C 可移植性强,重用程度大 D 以上都是
12、C/S系统中,服务器的以下任务中哪一个是错的?()
A 数据库一致性要求B 数据库访问并发性控制
C 数据库前端的客户应用程序的全局数据完整性规则D 数据库的备份与恢复
13、下列哪个不是黑板系统的组成部分?()
A.知识源 B.黑板数据结构 C.控制 D.内存
14、与C/S体系结构相比,B/S体系结构也有许多不足之处一下说法正确的是()
A B/S体系结构缺乏对动态页面的支持能力,没有集成有效的数据库处理能力
B B/S体系结构的系统扩展能力差,但是安全性比较容易控制
C 采用B/S体系结构的应用系统,在数据查询等响应速度上,要远远的高于C/S体系结构
D B/S体系结构的数据提交一般以页面为单位,数据的动态交互性不强,利于在线事务处理(Online Transaction Processing,OLTP)应用。
15、以下不是正交软件体系结构优点的是()
A. 结构清晰,易于理解B已修改,可维护性强C.可移植性强,重用粒度大D. 很大很复杂
16、以下关于软件体系结构描述方法说法错误的是( )
A. 图形表达工具在软件设计中占据主导地位。
B. 由于软件设计语言和模块内连接语言具有严格的语义基础,因此它们能支持较小的软件单元进行描述。
C. 基于软构件的系统描述语言将软件系统描述成一种是由许多以特定形式相互作用的特殊软件实体构造组成的组织或系统。
D. 软件体系结构描述语言是参照传统程序设计语言的设计语言的设计和开发经验,重新设计、开发和使用针对软件体系结构描述语言。
20、下列选项中关于ADL与其他语言的比较说法中错误的是()
A. ADL与需求语言的区别在于后者描述的问题空哦关键,而前者则扎根于解空间中
B. ADL与建模语言的区别在于后者对部分的关注要大于对整体的关注
C. ADL与传统的程序设计语言的构成元素由许多相同和相似之处,有各自有着很大的不同
D. ADL集中在构件的表示上。
23、以下哪些特征不属于动态体系结构特征() ?
A 可构造性动态特征 B 适应性动态特征 C 智能性动态特征 D 安全性动态特征
25、通常,一个Web服务可以分为4个逻辑层,分别为数据层(Data Layer)、数据访问层(Data Access Layer)、
业务层(Business Layer)和监听者(Listener)。离客户端最近的是监听者,离客户最远的是______:()
26、同传统分布式体系结构相比,Web服务体系结构的主要优势体现为()
①高度的通用性和易用性
②完全的平台、语言独立性
A.①②④ B.②③④ C.①③④ D.①②③④
27、Web服务是采用________格式的信息来定义和描述对外的公共接口和绑定。
28、尽管对Web服务进行的描述的出发点或应用类型不同,但他们均具有如下共同特征:()
29、下面哪个不属于设计模式方法分类()
A Coad的面向对象模式 B 代码模式 C 框架应用模式 D 遗传算法
30、一般来说,模式有以下四个基本成分: (  )、问题、解决方案、效果 。
31、软件体系结构的文档要求与软件开发项目中的其他文档是相似的,下列哪项属于体系结构文档化过程的主要输出结果()
A 体系结构需求规格说明B 体系结构概要设计说明
C 体系结构详细设计说明D 体系结构总体框架说明
32、软件体系结构设计有哪些过程?()
①提出软件体系结构模型
②把已标识的构件映射到软件体系构件中
③ 分析构件之间的相互作用
A①②③ B①③④ C①②③④ D①③④⑤
34、下列选项中不是软件体系结构的严重性分级的一项是( )
A.灾难性的 B.危急的 C.较大的 D.边际性的
35、以下不属于传统的软件测试和基于体系结构的软件测试都需要研究的对象是?( )
A、测试内容 B、测试准则 C、测试用例 D、测试语言
36、在体系结构中,应用于当前环境中有多个构建同时运行的情况,主要用来提高系统性能的结构风格是( )
A、顺序结构风格 B、并行/管道—过滤器结构风格
C、容错结构风格 D、调用—返回结构风格
37、下列哪一个测试过程是测试构件之间的接口以保证构件能够交互,它将构件本身抽象为单元,并关注与构件间的消息传递,构件的交互行为可以通过形式化规约得到,可以提前进行( )
A、单元测试 B、模块测试 C、集成测试 D、系统测试
39、评估方法质量属性中可修改性不包括()。
A. 可维护性 B。可扩展性 C.完整性 D.可移植性
( )是场景中解释或描述风险承担者怎样金发与系统的交互部分。
A.刺激 B.环境 C.响应 D.互操作
41、软件评估中关注大可修改性包含可维护性,可扩展性,( )和结构重组4个方面。
A 。可用性 B 。可移植性 C 。可变性 D 。互操作性
42、产品线就是由在系统的组成元素和功能方面具有共性和()相似的多个系统组成的系统族。
A、异步性 B、个性 C、可变性 D、继承性
一下哪个不是领域工程阶段的主要任务()。
领域设计 B需求分析 C、领域分析 D、领域实现
10、软件体系结构风格
13、C2体系结构风格
30、设计模式中,什么是元素的一个空间配置?
36、软件体系结构的可靠性
39、评估方法中质量属性中性能的含义。
40、基于场景的评估方法。
41、什么是软件安全性?
1、纵观软件体系结构技术的发展过程,从最初的“无结构”设计到现行的基于体系结构的软件开发,可以认为经历了哪四个阶段?P23
2、试述下可重用技术对构件库组织方法的几点要求:
简要概产生软件危机的原因
软件体系结构的定义众多,你是如何理解软件体系结构的?软件体系结构在软件系统中有何作用?
6、体系结构的生命周期模型分为哪几个阶段?
7、软件体系结构是必需,软件体系结构的生命周期分为哪几个阶段?
8、请简述软件体系结构的生命周期。
11、试阐述与C/S体系结构相比,B/S体系结构的不足之处。
14、请简述三层C/S结构的优点
18、在C2中,连接件和构件是如何工作的?
41、软件体系结构评估对主要方式有哪些?
42、简述双生命周期中的领域工程阶段的主要任务及内容。
软件产品线的划分依据有?

前段时间一直在关注 CNN 的实现,查看了 caffe 的代码以及 convnet2 的代码。目前对单机多卡的内容比较感兴趣,因此特别关注 convnet2 关于 multi-GPU 的支持。

本文也将针对这篇文章给出分析。

介绍一种卷积神经网络训练过程中的SGD的并行化方法。

模型并行: 不同的 workers 训练模型的不同 patrs,比较适合神经元活动比较丰富的计算。

数据并行: 不同的 workers 训练不同的数据案例,比较适合 weight 矩阵比较多的计算。

现代卷积神经网络主要由两种层构成,他们具有不一样的属性和性能:
1)卷积层,占据了90% ~ 95% 的计算量,5% 的参数,但是对结果具有很大的表达能力。
2)全连接层,占据了 5% ~ 10% 的计算量, 95% 的参数,但是对于结果具有相对较小的表达的能力。

综上:卷积层计算量大,所需参数系数 W 少,全连接层计算量小,所需参数系数 W 多。因此对于卷积层适合使用数据并行,对于全连接层适合使用模型并行。

对于上述(a~c)三种不同的全连接层实现方式,进行如下的分析:

(a) 当 128K images 配置到每一个 worker 的时候,所有有用的 work 必须要暂停。另外大的 batches 消耗大量的显存,这对于 GPU 显存有限制的设备是不希望发生的。另一方面,大的 batches 有利于 GPU 性能的发挥。

(b) 所有的 workers 轮流将他们的 activities 传播到所有的 workers 上面。这里轮流执行得到的最重要的结果是可以将大部分传播通信时间隐藏(因为他可以在上一次计算的时候,与计算一起并行处理,确切是 K-1 次通信时间可以隐藏)。这样做的意义非常的重大,可以实现一部分流水,使得通信时间隐藏,达到了很好的并行效果。

(c) 与 (b) 的方案类似。他的一个优势就是通信与计算的比例是常数 K,对于 (a) 和 (b),与 K 成比例。这是因为 (a) 和 (b) 方案经常会受到每一个 worker 的输出带宽的限制,方案 (c) 可以利用所有的 workers 来完成这一任务,对于大的 K 会有非常大的优势。

1) workers 按照通常的方式在全连接层计算梯度。
2) 按照前向传播中不同的实现方案,这里会有对应的三种方案:
(b) 每一个 worker 已经为 128 examples 的 batch 计算了 activities 的梯度,然后将这些梯度值传递给每一个与这个 batch 相关的 workers 上。(在传播的同时,可以进行下一个 batch 的计算)。在经过 K 次前向和反向的传播,所有的梯度值都将被传播到卷积层。

一旦反向传播完成之后,workers 就可以更新 weight 矩阵了。在卷积层,workers 也必须同步 weight 矩阵。最简单的方式可以按如下进行:

对于卷积层来说,这个比较容易实现,因为它的 weights 系数比较少。

examples,这就是说,如果我们愿意,我们可以在上面每一次局部的后向传播执行过程结束之后,更新全连接层的系数,这样不会带来任何额外的计算开销。因此,我们可以在全连接层使用 batch size = 128,在卷积层 batch size = 128K。用了这样的可变 batch size 之后,这就不再是一个纯粹的并行 SGD 算法了,因为不再为任何与卷积层一致的模型更新梯度值,但是事实证明,在实践中,这并不重要。在实际中,使用有效的 batch size 从 128K 到数千,在全连接层使用小的 batch size,最后能够更快的收敛到更好的极小值。

在三层结构的卷积层中,两路数据并行的方案被实施。在两层结构的全连接层中,两路模型并行的方案被实施。上图将数据并行和模型并行 2 个过程分解为 6 个过程。
step1:卷积层数据并行实现前向传播(3个卷积层顺序执行,2个 worker 数据并行执行)
step2:阴影部分的卷积层将数据传递给两个全连接层,模型并行实现前向传播(2个全连接层顺序执行,FC11 和 FC12 模型并行执行,FC21 和 FC22 模型并行执行)
step3:全连接层实现反向传播,并将梯度数据传回卷积层
step4:同 step2,worker 2 的卷积层数据传递到全连接层,实现前向传播
step5:同 step3,全连接层实现反向传播,将梯度传回 worker 2 对应的卷积层
step6:完成卷积层的反向传播。

我要回帖

更多关于 下列关于大数据思维说法正确的是 的文章

 

随机推荐