本文是一篇決策模擬論文，本文提出了一種結(jié)合軟件模擬和實(shí)際測(cè)試模擬的分布式集群模擬方法，它設(shè)計(jì)的目的在于輔助分布式任務(wù)執(zhí)行集群的開發(fā)，特別是為了使普通開發(fā)者能在資源受限的情況下模擬分布式集群在大規(guī)模的場(chǎng)景表現(xiàn)。
第1章緒論
1.1研究背景及意義
近年來，云計(jì)算作為一種新興趨勢(shì)受到服務(wù)提供商和用戶的大量關(guān)注。伯克利的報(bào)告指出，云計(jì)算將大幅改變現(xiàn)有的IT產(chǎn)業(yè)[1]。在云計(jì)算中，算力資源、存儲(chǔ)資源、應(yīng)用程序等計(jì)算資源可以通過網(wǎng)絡(luò)按照現(xiàn)用現(xiàn)付的模式提供給用戶[2]。在該模式下數(shù)據(jù)中心可以將計(jì)算資源整合起來，通過按需使用的方式提供給眾多用戶，從而高效地利用計(jì)算資源。
云計(jì)算的發(fā)展當(dāng)中出現(xiàn)了多種云服務(wù)形式。最先出現(xiàn)的服務(wù)形式是基礎(chǔ)設(shè)施即服務(wù)(IaaS)，在此模式下云服務(wù)商可以幫助用戶維護(hù)服務(wù)器，數(shù)據(jù)庫(kù)，網(wǎng)絡(luò)環(huán)境等IT基礎(chǔ)設(shè)施。為了使服務(wù)變得更加方便以及提高計(jì)算資源的利用效率，云計(jì)算領(lǐng)域又先后提出了平臺(tái)即服務(wù)(PaaS)以及軟件即服務(wù)(SaaS)的概念，在PaaS模式下用戶不再需要關(guān)心底層基礎(chǔ)設(shè)施,也無需自行配置運(yùn)行環(huán)境。云服務(wù)商提供一個(gè)應(yīng)用運(yùn)行平臺(tái)，用戶可以基于該運(yùn)行平臺(tái)運(yùn)行自身應(yīng)用。而在SaaS下用戶更是無需自行編寫應(yīng)用，云服務(wù)商直接提供軟件服務(wù)。在Paas和SaaS模式當(dāng)中，云計(jì)算中心的資源調(diào)度的單位變成了應(yīng)用。在實(shí)際當(dāng)中，這些應(yīng)用常常依托于容器化技術(shù)，容器化應(yīng)用可以方便地在不同物理節(jié)點(diǎn)間遷移，相比于虛擬機(jī)的形式，容器化應(yīng)用可以在一臺(tái)主機(jī)上高密度部署，使得資源利用率更高。由于容器化應(yīng)用的啟動(dòng)停止比虛擬機(jī)形式更加靈活，容器化應(yīng)用在水平擴(kuò)容方面更加有優(yōu)勢(shì)。在應(yīng)用請(qǐng)求的高峰期，容器化應(yīng)用可以生成更多副本，而在請(qǐng)求相對(duì)空閑期減少應(yīng)用的副本數(shù)。容器化應(yīng)用的提交，結(jié)束等動(dòng)作更加頻繁，系統(tǒng)的調(diào)度請(qǐng)求更加密集。相比于IaaS模式，這些模式對(duì)調(diào)度系統(tǒng)的要求有所不同。伴隨著Serverless的趨勢(shì)[3]，F(xiàn)aaS作為一種更靈活的方式,在云服務(wù)中得到廣泛應(yīng)用[2]。在該模式下資源管理單位從完整的單體應(yīng)用變成了更細(xì)粒度的函數(shù)。
.........................
1.2國(guó)內(nèi)外研究現(xiàn)狀
在調(diào)度集群的設(shè)計(jì)領(lǐng)域，目前有多種架構(gòu)類型的調(diào)度集群架構(gòu)。比較典型的有集中式調(diào)度、共享狀態(tài)式調(diào)度和去中心化調(diào)度。集中式調(diào)度采用單一的中央調(diào)度器來管理整個(gè)集群的資源和任務(wù)調(diào)度。所有的節(jié)點(diǎn)和應(yīng)用都需要與中央調(diào)度器交互,匯報(bào)自身狀態(tài)并接收調(diào)度決策。其優(yōu)點(diǎn)在于其架構(gòu)相對(duì)簡(jiǎn)單,便于管理和推理全局狀態(tài)以及更容易實(shí)現(xiàn)復(fù)雜的調(diào)度策略和規(guī)則。其缺點(diǎn)在于其中央調(diào)度器可能會(huì)成為單點(diǎn)故障。當(dāng)集群規(guī)模擴(kuò)大時(shí),中央調(diào)度器可能會(huì)成為性能瓶頸。集中式調(diào)度集群的代表有Apache Hadoop YARN[5]，Apache Mesos[6],以及Spark[7]原生的調(diào)度系統(tǒng)。共享狀態(tài)調(diào)度架構(gòu)引入了多個(gè)相互協(xié)作的調(diào)度器實(shí)例,通過共享集群狀態(tài)來進(jìn)行分布式調(diào)度決策。每個(gè)調(diào)度器實(shí)例都可以獨(dú)立運(yùn)行,并且訪問集群的全局狀態(tài)。其優(yōu)點(diǎn)在于其提高了可伸縮性和容錯(cuò)性,無單點(diǎn)故障，在不同調(diào)度器實(shí)例可以應(yīng)用不同的調(diào)度策略。其缺點(diǎn)需要一個(gè)外部高可用的狀態(tài)存儲(chǔ)系統(tǒng)(如Zookeeper[8])來存儲(chǔ)集群狀態(tài)，并且狀態(tài)共享和一致性協(xié)議可能會(huì)增加集群設(shè)計(jì)的復(fù)雜性。共享狀態(tài)集群的代表有Google Omega,獨(dú)立部署etcd且有多個(gè)apiserver的Kubernetes集群。去中心化調(diào)度采用完全分布式的架構(gòu),沒有中央調(diào)度器或集群狀態(tài)存儲(chǔ)。每個(gè)節(jié)點(diǎn)都是獨(dú)立的調(diào)度器,只根據(jù)本地信息做出調(diào)度決策。
.......................
第2章相關(guān)工作與研究
2.1常見調(diào)度系統(tǒng)架構(gòu)
目前常見的調(diào)度系統(tǒng)架構(gòu)有集中式調(diào)度架構(gòu)，共享狀態(tài)式調(diào)度架構(gòu)，去中心化式調(diào)度架構(gòu)。下面將介紹這些架構(gòu)的典型代表。此外，由于調(diào)度系統(tǒng)的復(fù)雜性，一些調(diào)度可能是混合架構(gòu)的設(shè)計(jì)，融合了多種類型架構(gòu)的優(yōu)勢(shì)，這些調(diào)度集群的存在說明在調(diào)度系統(tǒng)領(lǐng)域架構(gòu)的差異性是相當(dāng)豐富的,正是由于這些架構(gòu)的差異性所在，導(dǎo)致了目前很少有適合的研究工具公平對(duì)比這些架構(gòu)調(diào)度系統(tǒng)的性能差異。
2.1.1集中式調(diào)度架構(gòu)
集中式調(diào)度是最常見的調(diào)度架構(gòu)，它具有簡(jiǎn)單性，一致性，資源集中管理的優(yōu)勢(shì)。但是該架構(gòu)的調(diào)度集群容易因?yàn)閱喂?jié)點(diǎn)故障導(dǎo)致系統(tǒng)失效，并且容易由于集群規(guī)模擴(kuò)展而出現(xiàn)單節(jié)點(diǎn)性能瓶頸[20]。中心化的調(diào)度架構(gòu)被廣泛應(yīng)用在大型的集群管理系統(tǒng)當(dāng)中，包括Hadoop Yarn[5],Quincy[21]，F(xiàn)irmament[22]和Gemini[23]。

決策模擬論文怎么寫

Apache Hadoop YARN是Apache Hadoop生態(tài)系統(tǒng)的一個(gè)關(guān)鍵組件，用于集群資源的管理和任務(wù)調(diào)度。YARN的目標(biāo)是提供一個(gè)通用的、可擴(kuò)展的資源管理平臺(tái)，使得Hadoop能夠運(yùn)行更廣泛的應(yīng)用程序，而不僅僅局限于MapReduce。在YARN當(dāng)中其管理集群資源的核心是ResourceManager，其部署在YARN集群的主節(jié)點(diǎn)當(dāng)中，與此對(duì)應(yīng)的是部署在工作節(jié)點(diǎn)的NodeManager。當(dāng)外部的客戶端向YARN申請(qǐng)資源時(shí)，ResourceManager會(huì)根據(jù)其所有工作節(jié)點(diǎn)的信息，向合適的NodeManager發(fā)送資源分配請(qǐng)求。部署在工作節(jié)點(diǎn)上的NodeManager會(huì)需要定時(shí)地向ResourceManager返回自身節(jié)點(diǎn)的狀態(tài)信息。
............................
2.2調(diào)度集群的軟件模擬
軟件模擬方案相比實(shí)際模擬方案需要的計(jì)算資源更低，測(cè)試的運(yùn)行更為方便，但缺點(diǎn)是軟件模擬在構(gòu)造上與實(shí)際生產(chǎn)環(huán)境的差異較大，調(diào)度集群的研究在軟件模擬中取得的效果缺少可信度。
2.2.1離散事件驅(qū)動(dòng)模擬
離散事件模型可以逐個(gè)事件地動(dòng)態(tài)模擬現(xiàn)實(shí)世界,并生成詳細(xì)的表現(xiàn)報(bào)告，它廣泛地用于各種模擬當(dāng)中[30]。GridSim[13],CloudSim[12]以及其派生的集群模擬器以SimJava[31]為底層模擬框架，SimJava以離散事件模型為核心。圖2.4描述了離散事件驅(qū)動(dòng)的模型。
離散事件驅(qū)動(dòng)的核心概念是事件循環(huán)機(jī)制。事件循環(huán)的名稱的由來在于其算法本身是一個(gè)循環(huán)執(zhí)行事件結(jié)構(gòu)。如圖2.4所示，事件循環(huán)開始前會(huì)進(jìn)行初始化模擬系統(tǒng)的時(shí)間，集群狀態(tài)和事件列表。在事件循環(huán)機(jī)制下，集群狀態(tài)是包含集群中調(diào)度節(jié)點(diǎn)，工作節(jié)點(diǎn)的狀態(tài)，這些狀態(tài)又包含了任務(wù)隊(duì)列的狀態(tài)，工作節(jié)點(diǎn)運(yùn)行任務(wù)的狀態(tài)。事件列表又被稱為未來事件列表(FEL)，未來事件列表代表著在集群未來會(huì)發(fā)生的事件，值得注意的是未來事件集在模擬過程中是可以被不斷修改的。這些事件在列表中以時(shí)間順序排隊(duì)。在開始時(shí),該任務(wù)隊(duì)列會(huì)加入一些初始的事件。該列表中頭部事件就是下一個(gè)集群要發(fā)生的事件。事件循環(huán)會(huì)重復(fù)執(zhí)行最新的事件,當(dāng)執(zhí)行一個(gè)事件后，集群的狀態(tài)會(huì)得到修改，同時(shí)事件集本身也有可能得到更改，該更改包括事件增加，事件內(nèi)容修改，事件刪除。從事件集本身可以修改看出，某個(gè)時(shí)刻下，模擬器的未來事件集并不代表該集群的未來執(zhí)行完全按照事件集進(jìn)行。事件集和集群狀態(tài)共同組成模擬器的狀態(tài)，模擬器的狀態(tài)只會(huì)由于事件的修改而修改，下一個(gè)執(zhí)行的事件是確定的，即事件列表最前的事件。事件的執(zhí)行會(huì)修改集群的狀態(tài)，并會(huì)影響后續(xù)事件的狀態(tài)。
.....................................
第3章 雙模擬方式并行的分布式調(diào)度集群模擬方法 ........................ 18
3.1 模擬方法概述 ...................... 18
3.2 基于Actor模型的分布式任務(wù)調(diào)度系統(tǒng)描述方法 ..................... 19
第4章 大規(guī)模分布式調(diào)度集群模擬系統(tǒng)設(shè)計(jì) ....................... 35
4.1 設(shè)計(jì)目標(biāo)及解決辦法 ..................... 35
4.2 模擬框架整體架構(gòu)設(shè)計(jì)........................ 36
第5章 模擬系統(tǒng)的功能測(cè)試以及可靠性驗(yàn)證 ....................... 55
5.1 實(shí)驗(yàn)環(huán)境配置 ................................ 55
5.1.1 軟件模擬模式的實(shí)驗(yàn)平臺(tái) ......................... 55
5.1.2 實(shí)際部署模擬模式的實(shí)驗(yàn)平臺(tái) ........................ 55
5.1.3 調(diào)度集群算法與參數(shù)配置 .......................... 56
第5章模擬系統(tǒng)的功能測(cè)試以及可靠性驗(yàn)證
5.1實(shí)驗(yàn)環(huán)境配置
本模擬支持兩種模式的集群模擬測(cè)試，因此本文為本模擬器的功能測(cè)試以及可靠性驗(yàn)證準(zhǔn)備了兩套測(cè)試環(huán)境。它們分別是軟件模擬模式測(cè)試使用的單機(jī)環(huán)境，以及實(shí)際部署化模擬模式下的Kubenetes集群實(shí)驗(yàn)環(huán)境。
5.1.1軟件模擬模式的實(shí)驗(yàn)平臺(tái)
在模擬器的軟件模擬模式中，本文使用機(jī)器配置如下所示：•CPU:AMD R5 3600 [email protected]•內(nèi)存：16GB•硬盤:1TB SSD在模擬器的軟件模式中使用的軟件環(huán)境如下•操作系統(tǒng)：Ubuntu:22.04•軟件版本：Go:1.21 Python:3.10 Make:4.3

決策模擬論文參考

..............................
第6章總結(jié)和展望
6.1本文工作總結(jié)
本文提出了一種結(jié)合軟件模擬和實(shí)際測(cè)試模擬的分布式集群模擬方法，它設(shè)計(jì)的目的在于輔助分布式任務(wù)執(zhí)行集群的開發(fā)，特別是為了使普通開發(fā)者能在資源受限的情況下模擬分布式集群在大規(guī)模的場(chǎng)景表現(xiàn)。使用該模擬器可以用于分析不同集群架構(gòu)設(shè)計(jì)的預(yù)期性能，并附帶豐富的集群調(diào)試功能以及結(jié)果分析功能。本文模擬器實(shí)現(xiàn)以上功能的核心設(shè)計(jì)是本模擬采用了的基于Actor模型的集群描述方法，該描述方法使得集群的定義脫離了底層的實(shí)現(xiàn)，使得Actor模型可以被軟件模擬也可以被實(shí)際部署測(cè)試模擬。該做法的優(yōu)勢(shì)是使得開發(fā)者快速的進(jìn)行模型算法的修改，并可快速的將軟件模擬中的模型轉(zhuǎn)換為實(shí)際部署的集群。而兩種模式同時(shí)的模擬使得通過實(shí)際測(cè)試數(shù)據(jù)校準(zhǔn)軟件模擬成為可能。實(shí)際部署測(cè)試用于收集實(shí)際生產(chǎn)環(huán)境的具體環(huán)境參數(shù)用于校準(zhǔn)模擬器。在軟件測(cè)試中本模擬器采用離散時(shí)間驅(qū)動(dòng)架構(gòu)，集群狀態(tài)隨時(shí)間點(diǎn)迭代的模擬方法。經(jīng)過測(cè)試該架構(gòu)的優(yōu)勢(shì)在于可以利用延長(zhǎng)模擬時(shí)間的方式，復(fù)用一臺(tái)計(jì)算機(jī)的資源來模擬大型的集群的運(yùn)行。其中模擬器的設(shè)計(jì)可以用于模擬集群各種網(wǎng)絡(luò)條件的場(chǎng)景，以及可以模擬節(jié)點(diǎn)服務(wù)擁堵的情況。本模擬器的實(shí)際部署模式可以將模擬器模型實(shí)例化真正可運(yùn)行的集群。該模式基于Kubenetes集群，經(jīng)過測(cè)試本模擬器可以無縫完成集群模型的實(shí)例化，并且，實(shí)際測(cè)試得到的數(shù)據(jù)可以用于校準(zhǔn)軟件模擬器使得軟件模擬器在小規(guī)模情景下的實(shí)驗(yàn)結(jié)果逼近實(shí)際部署的實(shí)驗(yàn)結(jié)果，從而佐證軟件模擬的結(jié)果的可靠性。
參考文獻(xiàn)(略)