思科成功案例:思科通過(guò)Parasoft API測(cè)試統(tǒng)一了軟件開(kāi)發(fā)和質(zhì)量保證
思科數(shù)據(jù)中心交換和安全技術(shù)小組(DSSTG)尋求使測(cè)試基礎(chǔ)架構(gòu)自動(dòng)化并進(jìn)一步提高軟件質(zhì)量的方法。鑒于其全球1000強(qiáng)客戶依賴高度安全的解決方案來(lái)支持其自身的復(fù)合應(yīng)用程序,DSSTG希望顯著提高其測(cè)試覆蓋率和生產(chǎn)率,而又不增加實(shí)現(xiàn)這些收益所需的時(shí)間和資源。
借助Parasoft API /云測(cè)試,DSSTG的軟件開(kāi)發(fā)人員和質(zhì)量保證(QA)專家可以共同創(chuàng)建,使用和共享測(cè)試資產(chǎn),從而使測(cè)試覆蓋率提高了25%,測(cè)試用例生產(chǎn)率提高了50%。通過(guò)測(cè)試驅(qū)動(dòng)的開(kāi)發(fā),他們迅速交付了高價(jià)值的高質(zhì)量,關(guān)鍵任務(wù)產(chǎn)品。
挑戰(zhàn):加強(qiáng)開(kāi)發(fā),擴(kuò)大測(cè)試范圍
DSSTG幾乎沒(méi)有錯(cuò)誤余地。客戶依靠DSSTG來(lái)快速有效地部署復(fù)合應(yīng)用程序。考慮到這些應(yīng)用程序和基礎(chǔ)結(jié)構(gòu)的敏感性,客戶的需求和期望值都很高。
為了滿足這些期望,DSSTG在軟件開(kāi)發(fā)和質(zhì)量管理實(shí)踐方面也對(duì)自己設(shè)定了很高的期望。質(zhì)量保證總監(jiān)Konstantin Goldin解釋說(shuō):“ DSSTG產(chǎn)品供企業(yè)客戶使用,這取決于我們?nèi)旌?4x7全天候運(yùn)行并保護(hù)它們免受后端攻擊。” “因此,我們產(chǎn)品的高質(zhì)量是必然的。”
DSSTG知道,軟件開(kāi)發(fā)和質(zhì)量的提高來(lái)自于新思維,增強(qiáng)的方法和自動(dòng)化的基礎(chǔ)結(jié)構(gòu),而不僅僅是將更多的人投入這些挑戰(zhàn)中。測(cè)試驅(qū)動(dòng)的開(kāi)發(fā)是一種前瞻性的軟件設(shè)計(jì)技術(shù),可將開(kāi)發(fā)人員帶入質(zhì)量控制和保證領(lǐng)域。DSSTG決定要采用此技術(shù)并將其轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)做法。
“我們能夠用相同數(shù)量的資源和相同的時(shí)間分配來(lái)增加覆蓋范圍。”
測(cè)試驅(qū)動(dòng)的開(kāi)發(fā)首先涉及編寫測(cè)試用例,然后僅實(shí)現(xiàn)通過(guò)測(cè)試所需的代碼。通過(guò)快速反饋,該方法可確保在修復(fù)過(guò)程中成本最低的情況下盡早解決軟件缺陷。
DSSTG有一個(gè)本地集成測(cè)試框架,該框架接受Java語(yǔ)法的測(cè)試用例,并且該公司從軟件測(cè)試的角度明確了它的局限性。開(kāi)發(fā)和質(zhì)量檢查團(tuán)隊(duì)希望添加更多的測(cè)試用例并增加其測(cè)試范圍。但是現(xiàn)有工具不夠直觀,需要開(kāi)發(fā)人員進(jìn)行大量重復(fù)。
“不幸的是,您不得不不斷重復(fù)測(cè)試工作,” Goldin補(bǔ)充道。 “接受功能時(shí),您需要進(jìn)行一些手動(dòng)測(cè)試。然后,您將使用Java編寫集成測(cè)試。”
現(xiàn)有的工具還限制了QA人員的工作效率,因?yàn)樗麄儾坏貌徊粩嗟赝度霑r(shí)間來(lái)增加Java知識(shí),從而限制了他們編寫新測(cè)試用例或擴(kuò)展與當(dāng)前測(cè)試實(shí)踐和期望相關(guān)的學(xué)習(xí)曲線的能力。
質(zhì)量檢查最關(guān)注的是增加其測(cè)試范圍,尤其是回歸測(cè)試。 “從質(zhì)量檢查的角度來(lái)看,這非常重要,”質(zhì)量檢查首席工程師Ramalakshmi Vijayakumar說(shuō)。 “開(kāi)發(fā)人員編寫測(cè)試用例來(lái)測(cè)試功能。然后,我們將更多測(cè)試用例添加到現(xiàn)有測(cè)試套件中,或者制作我們自己的測(cè)試用例。我們需要處理正面和負(fù)面的案例并進(jìn)行測(cè)試。為了全面測(cè)試這些功能,需求是巨大的。”
行動(dòng):利用Parasoft改變開(kāi)發(fā)和質(zhì)量實(shí)踐
DSSTG在該領(lǐng)域使用了Parasoft SOAtest數(shù)年,以向客戶展示其網(wǎng)關(guān)解決方案的價(jià)值和影響,最終決定開(kāi)始利用同一平臺(tái)來(lái)轉(zhuǎn)變其軟件開(kāi)發(fā)和質(zhì)量實(shí)踐。在過(guò)去的一年中,它一直在使用Parasoft SOAtest,并且最近對(duì)解決方案進(jìn)行了自定義,使其成為大型測(cè)試框架的核心部分。
結(jié)果,Parasoft SOAtest的API測(cè)試不僅被質(zhì)量保證專家使用,而且軟件架構(gòu)師和開(kāi)發(fā)人員也使用了API測(cè)試,這證明了Parasoft SOAtest跨越邊界并在多個(gè)層面上提供業(yè)務(wù)價(jià)值的強(qiáng)大功能。
結(jié)果:統(tǒng)一開(kāi)發(fā)和質(zhì)量保證
Parasoft對(duì)DSSTG的軟件開(kāi)發(fā)和質(zhì)量檢查操作產(chǎn)生了重大影響。它不僅將這兩個(gè)小組統(tǒng)一了,還簡(jiǎn)化了他們的流程并將其績(jī)效提高到了新的水平。
例如,他們?cè)陂_(kāi)發(fā)人員中建立測(cè)試驅(qū)動(dòng)的開(kāi)發(fā)方法方面取得了重大進(jìn)展。Goldin將這種方法描述為“非常簡(jiǎn)單”。正如他所說(shuō):“開(kāi)發(fā)人員定義了功能。然后,他們實(shí)施將適當(dāng)使用該功能的測(cè)試用例。他們確保測(cè)試通過(guò),并且不退縮任何功能。
“當(dāng)開(kāi)發(fā)人員完成工作時(shí),他們已經(jīng)完全創(chuàng)建了功能,他們已經(jīng)開(kāi)發(fā)了完整的集成測(cè)試,可以將其添加到集成測(cè)試框架中,并且可以完成。他們不必花時(shí)間編寫其他測(cè)試。”
這導(dǎo)致了顯著的生產(chǎn)率和質(zhì)量提高。 “發(fā)現(xiàn)已經(jīng)實(shí)施的錯(cuò)誤與在功能中查找錯(cuò)誤相比,功能的成本要高得多。”他補(bǔ)充說(shuō)。
“有了Parasoft,我們就能用一塊石頭殺死兩只鳥,” Goldin說(shuō)。 “您測(cè)試該功能。當(dāng)您對(duì)結(jié)果感到滿意時(shí),您將立即生成一個(gè)回歸套件,并準(zhǔn)備好進(jìn)行自動(dòng)化。您無(wú)需再進(jìn)行兩次測(cè)試。一口氣完成所有操作。那是一個(gè)巨大的優(yōu)勢(shì)。”
但是,特別值得注意的是軟件開(kāi)發(fā)和質(zhì)量檢查流程的統(tǒng)一。現(xiàn)在,由開(kāi)發(fā)人員創(chuàng)建的測(cè)試將由質(zhì)量檢查重用。交付測(cè)試后,QA測(cè)試人員將對(duì)其進(jìn)行擴(kuò)展并創(chuàng)建其他測(cè)試,并將其添加到現(xiàn)有的回歸測(cè)試資產(chǎn)集中。
測(cè)試覆蓋率也有所提高。實(shí)際上,質(zhì)量檢查小組指出,測(cè)試覆蓋率提高了25%,尤其是在回歸測(cè)試方面。
Vijayakumar說(shuō):“我們能夠用相同數(shù)量的資源和相同的分配時(shí)間來(lái)增加覆蓋范圍。” “我們的努力獲得了更多回報(bào)。”
現(xiàn)在,質(zhì)量檢查團(tuán)隊(duì)每天運(yùn)行一次其整個(gè)回歸測(cè)試套件,以獲得合并結(jié)果。這些結(jié)果提供了基于所有測(cè)試的全面功能快照,使團(tuán)隊(duì)可以準(zhǔn)確地知道什么在正確地工作,什么在不正確。通過(guò)對(duì)軟件質(zhì)量的全面了解,DSSTG能夠盡早發(fā)現(xiàn)回歸。 Goldin說(shuō):“回歸不會(huì)持續(xù)太久。” “它們很早就得到解決,從而降低了成本并提高了生產(chǎn)率。”
他進(jìn)一步指出,質(zhì)量檢查團(tuán)隊(duì)可以在新功能上花費(fèi)更多的時(shí)間,而在舊功能上花費(fèi)的時(shí)間更少。他說(shuō):“這是一個(gè)非常積極的周期。” “將新功能引入產(chǎn)品后,您只需為新功能創(chuàng)建測(cè)試,并且測(cè)試創(chuàng)建是自動(dòng)進(jìn)行的,因此您確實(shí)有更多時(shí)間花在開(kāi)發(fā)新功能上。而且,當(dāng)您發(fā)布該版本時(shí),您只需要擔(dān)心當(dāng)前的功能集。減少了返工。”
另一個(gè)好處是可以生成測(cè)試用例。開(kāi)發(fā)人員和QA測(cè)試人員現(xiàn)在都可以輕松生成新的測(cè)試用例,以確定是否滿足軟件要求。滿足了數(shù)百個(gè)新案例到Parasoft SOAtest的軟件需求。在今年早些時(shí)候?qū)?shù)百個(gè)新案例移植到Parasoft SOAtest之后,質(zhì)量檢查小組估計(jì)相關(guān)生產(chǎn)率提高了50%。 Vijayakumar說(shuō):“問(wèn)題不僅是制作新測(cè)試用例的時(shí)間,還在于制作新測(cè)試用例的難易程度。”
現(xiàn)在,開(kāi)發(fā)人員和質(zhì)量檢查測(cè)試人員更加緊密地合作,以確保軟件質(zhì)量保持極高的水平,并確保出廠的產(chǎn)品絕不包含回歸。
“以前,我們?cè)?jīng)有一個(gè)集成測(cè)試套件,它是由開(kāi)發(fā)人員驅(qū)動(dòng)的,” Goldin說(shuō)。 “現(xiàn)在,我們有兩個(gè)集成測(cè)試套件。一種是開(kāi)發(fā)人員測(cè)試套件,用于捕獲立即回歸。另一個(gè)更為精細(xì)的是QA測(cè)試套件,它涵蓋了更多的回歸基礎(chǔ)-添加了更多的測(cè)試用例。”最后,DSSTG團(tuán)隊(duì)在測(cè)試安全性方面引用了Parasoft的優(yōu)勢(shì)。在一種情況下,它能夠隔離一項(xiàng)新功能中隱藏的錯(cuò)誤,否則很難找到。實(shí)際上,不必將安全測(cè)試推遲到最后才將其視為僅審核的做法。
在DSSTG中,它已成為規(guī)范且影響深遠(yuǎn)的整體質(zhì)量流程的一部分。 “我們已經(jīng)使用Parasoft進(jìn)行了廣泛的安全測(cè)試,” Goldin說(shuō)。 “它幫助我們發(fā)現(xiàn)了潛在的安全漏洞。現(xiàn)在,質(zhì)量檢查可以涵蓋從A到Z的安全性。”
最終,Parasoft的自動(dòng)化測(cè)試基礎(chǔ)架構(gòu)對(duì)DSSTG產(chǎn)生了強(qiáng)大的影響。它具有統(tǒng)一的開(kāi)發(fā)和質(zhì)量保險(xiǎn)流程,可幫助團(tuán)隊(duì)創(chuàng)建和重用測(cè)試資產(chǎn)。它提高了生產(chǎn)率。而且,它還增強(qiáng)了整體軟件質(zhì)量實(shí)踐,從而確保DSSTG仍然是為其高要求客戶提供有價(jià)值的解決方案的提供商。 “ Parasoft幫助我們?cè)黾恿藴y(cè)試范圍,并增加了測(cè)試的粒度,” Goldin說(shuō)。 “這有助于我們確保我們的客戶始終收到高質(zhì)量的產(chǎn)品。”