Sebuah Replikasi Extended Percobaan untuk Menilai Metode Inspeksi Persyaratan Perangkat Lunak Inspeksi

KRISTIAN SANDAHL
ZeLab, Ericsson Radio Systems AB, Box 12 48, S-581 12 Link¨oping, Sweden
OLA BLOMKVIST
Quality Technology and Management, Department of Mechanical Engineering, Link¨oping University, S-581 83 Link¨oping, Sweden
JOACHIM KARLSSON
Focal Point AB, Teknikringen 1E, S-583 30 Link¨oping, Sweden
CHRISTIAN KRYSANDER
Department of Computer and Information Science, Link¨oping University, S-581 83 Link¨oping, Sweden
MIKAEL LINDVALL
Department of Computer and Information Science, Link¨oping University, S-581 83 Link¨oping, Sweden
NICLAS OHLSSON
Department of Computer and Information Science, Link¨oping University, S-581 83 Link¨oping, Sweden

Abstrak

Kami telah melakukan suatu replikasi diperpanjang percobaan Porter-Votta-Basili membandingkan metode Skenario dan metode Checklist untuk memeriksa persyaratan spesifikasi menggunakan instrumen identik. Penelitian telah dilakukan dalam konteks pendidikan kita diwakili oleh suatu definisi yang lebih umum dari sebuah cacat dibandingkan dengan daftar cacat asli.


Studi kami melibatkan 24 mahasiswa dimanipulasi tiga variabel independen: deteksi metode, spesifikasi persyaratan, dan urutan inspeksi. Variabel tergantung yang diukur adalah tingkat deteksi cacat. Kami menemukan spesifikasi kebutuhan diperiksa dan bukan metode deteksi menjadi penjelasan yang paling mungkin untuk varians tingkat deteksi cacat. Hal ini menunjukkan bahwa penting untuk mengumpulkan pengetahuan tentang bagaimana spesifikasi kebutuhan dapat menyampaikan pandangan dimengerti produk dan untuk menyesuaikan metode pemeriksaan yang sesuai. Bertentangan dengan percobaan asli, kita tidak bisa secara signifikan mendukung keunggulan metode Skenario. Hal ini sesuai dengan replikasi yang dilakukan oleh Fusaro, Lanubile dan Visaggio, dan mungkin akan dijelaskan oleh kurangnya keterampilan individu deteksi cacat mata pelajaran kita kurang berpengalaman.

Pendahuluan

Pemeriksaan dokumen berbagai siklus kehidupan dianggap sebagai salah satu praktek yang paling efektif untuk jaminan kualitas oleh banyak pengembang perangkat lunak skala besar, seperti Ericsson dan Lucent. Pentingnya memeriksa spesifikasi persyaratan merupakan konsekuensi logis dari fakta yang mendukung bahwa cacat dini terdeteksi, semakin sedikit biaya untuk memperbaikinya (Boehm, 1987). Meskipun efektivitas itu harus disadari bahwa beberapa biaya yang berhubungan dengan inspeksi sebanyak baik dalam staf-jam dan waktu kalender berlalu. Situasi ini panggilan untuk riset intensif dan pengembangan untuk lebih metode pemeriksaan yang efisien. Artikel ini memberikan kontribusi untuk penelitian ini dengan replikasi dari suatu eksperimen awalnya dilakukan di University of Maryland (UMD) dan Lucent (Porter dan Votta, 1994; Porter et al, 1995.). Pada artikel ini kita akan menggunakan pencetus istilah ketika mengacu pada Adam Porter, Larry Votta dan Victor Basili, yang membuat kit laboratorium untuk replikasi eksperimen mereka tersedia untuk kita pada tahun 1995.

Metode

Metode Skenario dan metode Checklist baik pengalaman penggunaan kembali dari inspeksi sebelumnya dengan menarik perhatian para inspektur ‘untuk topik berbagai didefinisikan. Dalam melaksanakan pemeriksaan dengan metode Checklist dua tahap dilakukan:

1. Setiap inspektur menggunakan Checklist untuk individual mendeteksi cacat. Daftar Periksa dalam percobaan adalah dokumen dua halaman pertanyaan, misalnya “Apakah semua masukan yang perlu didefinisikan?”. Daftar Periksa ini dirancang untuk menutupi kesalahan taksonomi dikembangkan oleh Basili dan Weiss.

2. Tim inspektur berkumpul di sebuah pertemuan untuk membahas temuan koleksi individu dan menyusun laporan deteksi cacat. Pemeriksaan menggunakan metode Skenario dilakukan dengan cara yang sama dengan pengecualian bahwa setiap inspektur menggunakan skenario yang unik untuk mendeteksi cacat pada tahap pertama. Skenario ini didokumentasikan dalam satu halaman instruksi imperatif, misalnya “Identifikasi setidaknya satu fungsi yang menggunakan setiap output data objek”. The Skenario harus dirancang untuk melengkapi satu sama lain untuk mengamankan cakupan deteksi sementara pada saat yang sama penyebaran tanggung jawab di antara anggota tim, sehingga menghindari kerja yang berlebihan. Dalam percobaan tiga skenario didefinisikan. Untuk informasi rinci, kami lihat pencetus (Porter et al, 1995.).

Diskusi dan Rekomendasi

Pencetus juga mengamati bahwa spesifikasi kebutuhan menjelaskan variasi pada tingkat yang signifikan, begitu pula juga replikasi yang dilaporkan dari University of Bari (Fusaro et al, 1997.). plot probabilitas normal kami lakukan juga mengungkapkan tingkat signifikan spesifikasi. Dalam percobaan penjelasan tersebut dapat dicari dalam sifat spesifikasi. Spesifikasi Cruise memiliki beberapa kekurangan utama yang spesifikasi WLMS menghindari:

1. Sistem Cruise Seluruh terlalu naif ketika datang ke pengukuran parameter fisik dan kontrol throttle. WLMShas sikap yang jujur lebih sebagai sistem laboratorium.

2. Sistem Cruise mencoba untuk menyelesaikan beberapa tugas, baik kontrol throttle dan jarak tempuh dan pelaporan bahan bakar. Tujuan WLMS jauh lebih jelas dan terkonsentrasi.

3. Sebagian besar fungsi Cruise dimakamkan dalam penggunaan sifat rekursif dari daftar istilah. WLMS dijelaskan lebih dalam hal serangkaian mesin negara, yang lebih mudah untuk memvisualisasikan saat menjalankan skenario.

Kami telah melaporkan replikasi dari eksperimen dikendalikan dengan menggunakan instrumen yang sama tetapi di lain budaya pendidikan. Kami telah memperpanjang percobaan dengan satu set yang lebih besar cacat spesifikasi. Cacat ditambahkan fokus pada kemungkinan bahwa cacat dari spesifikasi sebagai dokumen akan menimbulkan masalah dan menunda pekerjaan dalam fase siklus hidup sub-berturut-turut.

Desain kami dan teknik analisis yang berbeda dari contoh lain dari percobaan ini. Dengan pemikiran ini, hasil penelitian kami menunjukkan bahwa spesifikasi adalah faktor paling signifikan menjelaskan varians antara variabel independen.

Demikian pula untuk replikasi dari Bari, kami tidak dapat mendukung preferensi pencetus ‘metode berbasis skenario. Kami juga mencatat bahwa rata-rata tingkat kecacatan deteksi lebih rendah dalam replikasi dan Bari. Penjelasan hipotetis didukung oleh kedua ulangan adalah bahwa subjek sarjana tidak mengembangkan keterampilan masing-masing inspeksi cukup untuk mengambil keuntungan penuh dari teknik yang lebih canggih yang disarankan dalam Skenario.
Kami percaya bahwa kami telah mengamati bagaimana pemula inspektur menemukan cacat lebih dalam spesifikasi aa yang dapat mengungkapkan sifat-sifat yang menarik dari produk dengan cara yang dimengerti dan alami, terlepas dari metode inspeksi. Dalam dunia yang terbaik dari pembacaan produk dan keahlian inspektur bertepatan.

Menerapkan metode memberikan variasi yang tidak dapat dijelaskan secara kebetulan murni. Ini menghilangkan kecurigaan bahwa perlakuan tidak berpengaruh. Perbedaan yang signifikan dalam kinerja antara dua pasang tim menunjukkan bahwa kadang-kadang sulit bagi pemula untuk memahami dan mengambil keuntungan penuh dari sebuah metode baru.

Tentu saja, pertanyaan yang paling menarik adalah apa yang terjadi ketika percobaan direplikasi menggunakan subjek profesional. Kami berharap bahwa pekerjaan kami akan menunjukkan kelayakan dan utilitas percobaan direplikasi untuk organisasi profesi untuk mendapatkan yang diperlukan bunga dan sumber daya.

Hasil

Hipotesis yang dihasilkan dari ini adalah bahwa lebih mudah untuk menemukan cacat pada spesifikasi yang baik dan jelas. Tantangannya adalah untuk menentukan baik dan jelas cukup tepat untuk memungkinkan percobaan di masa depan.

Replikasi dari Bari dihasilkan serangkaian hipotesis tentang mengapa pendekatan Skenario tidak meningkatkan efektifitas menyeluruh dalam inspeksi (. Fusaro et al, 1997):

1. Subjek diminta untuk belajar hal baru terlalu banyak.

2. Cacat pada bagian pengantar menciptakan kebingungan.

3. Pelatihan tidak adil.

4. Subyek yang mengalami masalah dengan pendekatan Skenario digunakan teknik yang berbeda untuk melaksanakan tugas

5. batasan waktu terlalu pendek

Referensi

Barton, R. R. 1998. Design-plots for factorial and fractional-factorial designs. Journal of Quality Technology 30(1): 40–54.

Bisgaard, S., and Fuller, H. T. 1994. Analysis of factorial experiments with defects or defectives as the response. Quality Engineering 7(2): 429–443.

Boehm, B. W. 1987. Industrial software metrics top 10 list. IEEE Software 4: 84–85.

Box G. E. P., Hunter W. G., and Hunter J. S. 1978. Statistics for Experimenters. An Introduction to Design, Data Analysis, and Model Building. New York: John Wiley & Sons.Fusaro, P. F., Lanubile, F., and Visaggio, G. 1997. A replicated experiment to assess requirements inspection techniques. Empirical Software Engineering 2: 39–57.

Heninger, K. L. 1980. Specifying software requirements for complex systems: New techniques and their application. IEEE Transactions on Software Engineering SE-6: 2–13.

IEEE Std. 830. 1984. IEEE Guide to Software Requirements Specifications. New York: Institute of Electrical and Electronic Engineers.

Porter, A. A., and Votta, L. G. 1994. An experiment to assess different defect detection methods for software requirements inspections. Proceedings of the 16th International Conference on Software Engineering. Sorrento, Italy, 103–112.

Porter A. A., Votta L. G., and Basili V. R. 1995. Comparing detection methods for software requirements inspections: A replicated experiment. IEEE Transactions on Software Engineering 21: 563–575.

Sauer, C., Jeffery, R., Lau, L., and Yetton, P. 1996. A behaviourally motivated programme for empirical research into software development technical reviews. Centre for Advanced Empirical Software Research, The University of New South Wales, Technical report 96/5.