測(cè)試自動(dòng)化如何加速軟件驗(yàn)證和軟件確認(rèn)

確保嵌入式軟件的正確操作，質(zhì)量、安全性和保障是嵌入式系統(tǒng)軟件活動(dòng)的重要組成部分。在很大程度上，團(tuán)隊(duì)通過(guò)軟件測(cè)試以及整個(gè)開(kāi)發(fā)過(guò)程中的分析、可追溯性、文檔等來(lái)完成此任務(wù)。關(guān)鍵安全軟件具有嚴(yán)格的驗(yàn)證和確認(rèn)方法，這些方法通常被編入行業(yè)標(biāo)準(zhǔn)。這就引出了一個(gè)問(wèn)題：有什么區(qū)別？

驗(yàn)證和確認(rèn)有什么區(qū)別？

軟件驗(yàn)證和軟件確認(rèn)的正式定義在軟件工程術(shù)語(yǔ)的IEEE標(biāo)準(zhǔn)術(shù)語(yǔ)表中定義。

驗(yàn)證：確定軟件開(kāi)發(fā)周期中給定階段的產(chǎn)品是否滿足上一階段所建立的要求的過(guò)程。

確認(rèn)：在軟件開(kāi)發(fā)過(guò)程結(jié)束時(shí)進(jìn)行軟件評(píng)估的過(guò)程，以確保符合軟件要求。

Barry Boehm在“驗(yàn)證和確認(rèn)軟件需求和設(shè)計(jì)規(guī)范”中寫(xiě)了更簡(jiǎn)潔的定義：

驗(yàn)證：“我在正確地制造產(chǎn)品嗎？”

確認(rèn)：“我在制造合適的產(chǎn)品嗎？”

這些定義使測(cè)試的這兩個(gè)關(guān)鍵方面之間的差異變得至關(guān)重要。

驗(yàn)證與確認(rèn)的目標(biāo)

最終目標(biāo)是制造合適的產(chǎn)品。不僅如此，它還可以確保產(chǎn)品的質(zhì)量、安全性和保障，以確保它是正確的產(chǎn)品。

驗(yàn)證是確保工作正確的軟件開(kāi)發(fā)過(guò)程的一部分。軟件驗(yàn)證通常包括：

• 符合行業(yè)標(biāo)準(zhǔn)，確保過(guò)程和工件符合準(zhǔn)則。
• 審查、演練、檢查。
• 對(duì)開(kāi)發(fā)過(guò)程中產(chǎn)生的工件進(jìn)行靜態(tài)分析和其他活動(dòng)。
• 實(shí)施架構(gòu)，設(shè)計(jì)和編碼標(biāo)準(zhǔn)

驗(yàn)證表明最終產(chǎn)品符合要求。這些要求包括功能性、可靠性、性能、安全性和保障。

對(duì)于物理產(chǎn)品，驗(yàn)證包括客戶(hù)自己查看、嘗試和測(cè)試產(chǎn)品。但是對(duì)于軟件來(lái)說(shuō)，驗(yàn)證包括軟件的執(zhí)行和運(yùn)行演示。它通常涉及：

• 代碼執(zhí)行以演示正確的功能。
• 在目標(biāo)環(huán)境中執(zhí)行。
• 壓力、性能、滲透性和其他非功能性測(cè)試。
• 直接并經(jīng)常對(duì)客戶(hù)進(jìn)行驗(yàn)收測(cè)試。
• 使用驗(yàn)證過(guò)程中的工件來(lái)說(shuō)明需求對(duì)最終功能的可追溯性，尤其是對(duì)于特定的安全保障功能。

了解驗(yàn)證目標(biāo)和驗(yàn)證目標(biāo)之間的差異以及軟件開(kāi)發(fā)需要同時(shí)實(shí)現(xiàn)這兩個(gè)方面非常重要。這些活動(dòng)是軟件開(kāi)發(fā)工作的主要部分。組織一直希望在不損害安全性、保障或質(zhì)量的情況下簡(jiǎn)化它們。

如何進(jìn)行驗(yàn)證和確認(rèn)

V模型顯示了進(jìn)行更正式的驗(yàn)證和確認(rèn)的方法，該方法開(kāi)發(fā)了對(duì)安全至關(guān)重要的軟件。它說(shuō)明了每個(gè)開(kāi)發(fā)階段的活動(dòng)及其之間的關(guān)系。

軟件開(kāi)發(fā)的V模型顯示每個(gè)階段與在測(cè)試的每個(gè)階段推斷出的驗(yàn)證之間的關(guān)系。

V模型非常適合說(shuō)明開(kāi)發(fā)階段和驗(yàn)證階段之間的關(guān)系。在每個(gè)測(cè)試階段，都會(huì)根據(jù)定義軟件的階段對(duì)軟件的更完整部分進(jìn)行驗(yàn)證。但是，V模型可能暗示瀑布式開(kāi)發(fā)方法。有多種方法可以將Agile，DevOps和CI/CD集成到此類(lèi)產(chǎn)品開(kāi)發(fā)中。

另一方面，驗(yàn)證可確保每個(gè)階段均已完成并正確完成：

軟件開(kāi)發(fā)的V模型，顯示了每個(gè)開(kāi)發(fā)階段之間的驗(yàn)證關(guān)系。

驗(yàn)證涉及審查、演練、分析、可追溯性、測(cè)試和代碼覆蓋率以及其他活動(dòng)，以確保團(tuán)隊(duì)正確地構(gòu)建過(guò)程和產(chǎn)品。例如，執(zhí)行單元測(cè)試是一個(gè)驗(yàn)證活動(dòng)，確保單元測(cè)試的可追溯性、代碼覆蓋率和測(cè)試進(jìn)度是驗(yàn)證。驗(yàn)證的關(guān)鍵作用是確保構(gòu)建從上一階段到規(guī)范的交付工件，并符合公司和行業(yè)準(zhǔn)則。

驗(yàn)證和確認(rèn)命名混亂

組織可能會(huì)以略有不同的方式使用驗(yàn)證和確認(rèn)。通常的做法是考慮在軟件開(kāi)發(fā)快要結(jié)束時(shí)進(jìn)行驗(yàn)證，在這種活動(dòng)中，團(tuán)隊(duì)向客戶(hù)（或充當(dāng)測(cè)試人員的測(cè)試人員）展示產(chǎn)品并證明滿足所有要求。嵌入式開(kāi)發(fā)仍然使用工廠驗(yàn)收測(cè)試（FAT）的概念。

理念上的另一個(gè)顯著差異是DO-178B/C和用于開(kāi)發(fā)安全關(guān)鍵型航空電子軟件的相關(guān)標(biāo)準(zhǔn)，而其驗(yàn)證并不是一個(gè)眾所周知的術(shù)語(yǔ)。實(shí)際上，如果驗(yàn)證完成，則驗(yàn)證被認(rèn)為是多余的。

驗(yàn)證是確定軟件要求正確和完整的過(guò)程。DO-178C不提供軟件驗(yàn)證測(cè)試的指南，因?yàn)橛欣碛烧J(rèn)為，理論上驗(yàn)證正確的軟件在軟件集成測(cè)試期間應(yīng)該沒(méi)有驗(yàn)證問(wèn)題，除非軟件要求不完整或不正確。DO-178C和DO-278A下的安全關(guān)鍵軟件，美國(guó)宇航局Ames研究中心的Stephen A. Jacklin

盡管我認(rèn)為Boehm的定義與術(shù)語(yǔ)的更常見(jiàn)用法相對(duì)應(yīng)，但仍有一些人可能會(huì)將單元測(cè)試和集成測(cè)試視為驗(yàn)證步驟而非驗(yàn)證步驟。

安全關(guān)鍵軟件的混合DevOps管道

在許多嵌入式軟件組織中，完全敏捷過(guò)程的實(shí)施與行業(yè)安全標(biāo)準(zhǔn)所施加的限制不兼容。工件、代碼、測(cè)試結(jié)果和文檔通常具有必需的日期和設(shè)置的交貨日期。進(jìn)度基于這些可交付成果（里程碑）。

在某些情況下，例如大型軍事和國(guó)防項(xiàng)目，里程碑可交付成果已內(nèi)置在合同和付款安排中。盡管這意味著采用瀑布式方法，但沒(méi)有理由將軟件開(kāi)發(fā)限于此。團(tuán)隊(duì)可以使用混合模型在內(nèi)部使用迭代和敏捷方法來(lái)實(shí)現(xiàn)可交付成果的里程碑。

Parasoft敏捷V模型

之所以在驗(yàn)證和確認(rèn)的討論中提到這一點(diǎn)，是因?yàn)閳F(tuán)隊(duì)可以利用對(duì)復(fù)雜的安全關(guān)鍵型應(yīng)用程序進(jìn)行持續(xù)集成和測(cè)試的許多好處。其中的一部分是將左驗(yàn)證和確認(rèn)移至開(kāi)發(fā)過(guò)程的早期。例如，沒(méi)有理由將所有單元的編碼都推遲到單元測(cè)試之前，也沒(méi)有理由等待靜態(tài)分析來(lái)分析代碼，直到準(zhǔn)備好進(jìn)行集成為止。

同樣，一旦準(zhǔn)備好進(jìn)行單元測(cè)試的組件，開(kāi)發(fā)人員就應(yīng)嘗試進(jìn)行集成測(cè)試。將自動(dòng)化與連續(xù)，迭代的方法相結(jié)合，可以為軟件驗(yàn)證和驗(yàn)證帶來(lái)巨大的好處。Parasoft的工具可解決SDLC所有階段的測(cè)試、質(zhì)量和安全性，如下所示。

V模型顯示了進(jìn)行更正式的驗(yàn)證和確認(rèn)的方法，該方法開(kāi)發(fā)了對(duì)安全至關(guān)重要的軟件。

Parasoft產(chǎn)品如何適合SDLC V模型的每個(gè)階段。

加速驗(yàn)證

驗(yàn)證涉及確保開(kāi)發(fā)的每個(gè)階段都滿足上一步規(guī)范的工作。在軟件編碼和測(cè)試方面，驗(yàn)證可確保該代碼滿足模塊設(shè)計(jì)，并最終滿足其上的高級(jí)設(shè)計(jì)和要求。

此外，驗(yàn)證可確保滿足項(xiàng)目級(jí)別的要求。此類(lèi)要求包括符合行業(yè)標(biāo)準(zhǔn)、風(fēng)險(xiǎn)管理、可追溯性和指標(biāo)（代碼覆蓋率和合規(guī)性）。Parasoft的軟件測(cè)試自動(dòng)化工具通過(guò)自動(dòng)化記錄保存、文檔編制、報(bào)告、分析和報(bào)告的許多繁瑣方面來(lái)加速驗(yàn)證：

• 在開(kāi)發(fā)人員編寫(xiě)代碼時(shí)，請(qǐng)盡早使用靜態(tài)分析以確保質(zhì)量和安全性。此外，靜態(tài)分析可防止將來(lái)出現(xiàn)錯(cuò)誤和漏洞，從而減少在檢查和測(cè)試過(guò)程中遺漏的錯(cuò)誤對(duì)下游的影響。
• 使編碼標(biāo)準(zhǔn)合規(guī)性自動(dòng)化，以減少人工工作并加速代碼檢查。
• 所有工件的雙向可追溯性，以確保需求具有代碼和測(cè)試以證明它們已得到滿足。指標(biāo)、測(cè)試結(jié)果和靜態(tài)分析結(jié)果可追溯到組件，反之亦然。
• 代碼和測(cè)試范圍，以確保所有要求均已實(shí)現(xiàn)，并確保按要求對(duì)實(shí)現(xiàn)進(jìn)行了測(cè)試。
• 報(bào)告和分析功能有助于決策制定并跟蹤進(jìn)度。決策需要基于從自動(dòng)化流程中收集的數(shù)據(jù)。
• 從分析和測(cè)試結(jié)果自動(dòng)生成文檔，以支持流程和標(biāo)準(zhǔn)合規(guī)性。
• 通過(guò)自動(dòng)化最重復(fù)和繁瑣的流程，實(shí)現(xiàn)標(biāo)準(zhǔn)合規(guī)性自動(dòng)化，以減少開(kāi)銷(xiāo)和復(fù)雜性。而且，工具可以跟蹤項(xiàng)目歷史記錄，并將結(jié)果與需求、軟件組件、測(cè)試和記錄的偏差相關(guān)聯(lián)。

加速驗(yàn)證

驗(yàn)證證明一種產(chǎn)品符合其要求，在這種情況下，無(wú)論是單元測(cè)試的隔離還是集成的各個(gè)階段，都必須執(zhí)行代碼。這些測(cè)試套件的自動(dòng)化可為嵌入式軟件開(kāi)發(fā)節(jié)省大量時(shí)間。

驗(yàn)證需要在目標(biāo)硬件上執(zhí)行。優(yōu)化回歸測(cè)試可以充分利用可用資源、人員和硬件。Parasoft測(cè)試自動(dòng)化工具通過(guò)減少對(duì)手動(dòng)測(cè)試的依賴(lài)來(lái)加速驗(yàn)證-保持所有結(jié)果的可追溯性和代碼覆蓋率：

• 所有測(cè)試套件的自動(dòng)化可最大程度地減少手動(dòng)測(cè)試，并減少由于硬件可用性有限而帶來(lái)的測(cè)試瓶頸。
• 基于目標(biāo)和基于主機(jī)的測(cè)試執(zhí)行支持所需的不同驗(yàn)證技術(shù)。
• 團(tuán)隊(duì)開(kāi)發(fā)代碼后即開(kāi)始進(jìn)行左移測(cè)試。它利用單元測(cè)試框架，并在代碼準(zhǔn)備就緒后自動(dòng)生成測(cè)試工具。隨著組織流程的成熟，可以為測(cè)試驅(qū)動(dòng)的開(kāi)發(fā)和持續(xù)測(cè)試提供支持。
• 通過(guò)智能測(cè)試執(zhí)行來(lái)管理更改，以?xún)H針對(duì)已更改的代碼和任何受影響的依賴(lài)項(xiàng)集中測(cè)試。
• 代碼、測(cè)試、靜態(tài)分析結(jié)果以及對(duì)公司范圍的應(yīng)用程序生命周期管理（ALM）工具的要求和支持之間的雙向可追溯性。

總結(jié)

軟件驗(yàn)證可確保團(tuán)隊(duì)構(gòu)建正確的軟件，以滿足客戶(hù)和市場(chǎng)的需求。驗(yàn)證是您滿足要求的證明，并且您的產(chǎn)品可靠、安全并且可以保護(hù)客戶(hù)。

軟件驗(yàn)證可確保團(tuán)隊(duì)根據(jù)貴組織自身的流程和標(biāo)準(zhǔn)以及市場(chǎng)所需的流程和標(biāo)準(zhǔn)來(lái)構(gòu)建產(chǎn)品。 換句話說(shuō)，驗(yàn)證可證明產(chǎn)品有效，而驗(yàn)證可確保您劃過(guò)所有t并加點(diǎn)所有i。

驗(yàn)證和驗(yàn)證會(huì)消耗嵌入式產(chǎn)品開(kāi)發(fā)中的大部分資源。Parasoft的軟件測(cè)試自動(dòng)化套件提供了一套統(tǒng)一的工具，可幫助團(tuán)隊(duì)將測(cè)試移至開(kāi)發(fā)的早期階段，同時(shí)保持可追溯性、測(cè)試結(jié)果記錄保留、代碼覆蓋率詳細(xì)信息、報(bào)告生成和合規(guī)性文檔，從而加快測(cè)試速度。