Ringkasan Pertemuan 9 - 10

 Pertemuan 9 - 10

Evaluasi

1. Evaluasi empiris

 

Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian dan observasi serta dapat digunakan untuk memperoleh data lapangan dan memetakan strategi mitigasi bencana di beberapa tingkatan pemerintahan yang berlaku selama ini.

 

2. Perancangan Eksperimen

 

a. Hipotesa

 

Merupakan prediksi yang dihasilkan dalam eksperimen dan Masih menggunakan variable independent dan dependent, dimana variasi di dalam independent variable akan menyebabkan perbedaan pada dependent variable.

 

b. Variable

 

- Independent variabel

 

karakter suatu eksperimen yang memanipulasi untuk menghasilkan kondisi yang berbeda sebagai perbandingan.

contoh : jenis interface, level dari help, jumlah item menu dan perancangan icon.

 

- Dependent variabel

 

variabel yang dapat diukur dalam eksperimen.

contoh : kecepatan dari pemilihan menu.

 

c. Rancangan

 

- Between-Groups (Randomized)

 

* Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen dan control

* Setiap user menghasilkan satu kondisi

* Pengaruh dari subyek banyak.

 

- Within-Groups

 

* Setiap user akan menampilkan kondisi yang berbeda

* Jumlah user yang tersedia lebih sedikit

* Pengaruh dari subyek lebih sedikit

 

d. Paradigma evaluasi

 

• “Quick and dirty” evaluation

 

Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya

 

• Usability testing

 

Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya

 

• Field studies

 

Berbeda dengan usability testing, evaluasi ini dilakukan di lingkungan asli dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebut berdampak padanya

 

• Predictive evaluation

 

Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk

 

3. Partisipasi, IRB dan Etika

 

- Partisipasi

 

Merupakan keikutsertaan, peran serta atau keterlibatan yang berkaitan dengan keadaaan yang berbentuk harta benda, tenaga, dan keterampilan.

 

- IRB (Institutional Review Board)

 

Merupakan sebuah kelembagaan dewan peninjau ( IRB ), juga dikenal sebagai komite etika independen atau dewan peninjau etik , adalah panitia yang telah ditunjuk secara resmi untuk menyetujui, memantau, dan meninjau biomedis dan perilaku penelitian yang melibatkan manusia.

- Etika

 

Etika evaluasi terdiri dari 4 hal, yaitu:

a. Kerahasiaan hasil evaluasi

b. Keamanan evaluasi

c. Intepretasi hasil evaluasi

d. Penggunaan evaluasi

 

4. Pengumpulan Data

 

a. Teknik

 

- Teknik Observasi

 

* Think aloud

 

Cara yang popular dalam mengumpulkan informasi dengan melihat interaksi user.

 

* Analisa Protokol

 

* Automatic protocol analysis tools

 

EVA (Experimental Video Annotator) yaitu sistem prototipe yang berjalan pada multi-media workstation yang dihubungkan langsung ke video recorder.

 

* Post-task walkthroughs

 

Terdapat beberapa keadaan yang menyebabkan subyek tidak dapat berbicara selama observasi sebenarnya seperti subyek sedang mengerjakan tugas yang sangat penting dan banyak. Pada keadaan ini post-task walkthroughs dapat melihat secara subyektif perilaku user.

 

- Teknik Query

 

* Interview

 

Meng-interview user tentang pengalaman mereka dengan sistem interaktif yang menyediakan informasi secara langsung dan terstruktur.

 

* Questionnaire

 

Metode alternatif yang agak kurang fleksibel dibandingkan dengan interview tetapi dapat meraih subyek yang banyak dan membutuhkan waktu yang tidak lama. Terdapat beberapa jenis questionnaire yaitu General, Open-ended, Scalar, Multi-choice, Ranked.

b. Metode

 

- Kuesioner

 

Kuesioner adalah daftar pertanyaan tertulis yang ditujukan kepada responden. Jawaban responden atas semua pertanyaan dalam kuesioner kemudian dicatat/direkam

 

- Observasi

 

Pengamatan melibatkan semua indera (penglihatan, pendengaran, penciuman, pembau, perasa).

 

- Wawancara

 

Pengambilan data melalui wawancara /secara lisan langsung dengan sumber datanya, baik melalui tatap muka atau lewat telephone, teleconference.

 

- Dokumen

 

Pengambilan data melalui dokumen tertulis mamupun elektronik dari lembaga/institusi.

 

5. Analisa Data dan Interpretasi Hasil

 

Analisis data adalah proses Penyederhanaan data ke dalam bentuk Yang lebih mudah dibaca dan Diinterpretasikan. Analisis dan interpretasi data diperlukan untuk merangkumkan apa yang telah diperoleh, menilai apakah data tersebut berbasis kenyataan, teliti, dan benar. Analisis dan interpretasi data juga diperlukan untuk memberi jawaban terhadap pertanyaanpertanyaan yang diajukan.