Kajian Artikel Ilmiah IMK -Complementing Teks Entry Evaluations with a Composition Task

Complementing Teks Entry Evaluations with a Composition Task

KEITH VERTANEN, Montana Tech
PER OLA KRISTENSSON, University of St Andrews

URl : http://dl.acm.org/citation.cfm?doid=2592268.2555691
A common methodology for evaluating teks entry methods is to ask participants to transcribe a predefined set of memorable sentences or phrases. In this article, we explore if we can complement the conventional transcription task with a more externally valid composition task. In a series of large-scale crowdsourced experiments, we found that participants could consistently and rapidly invent high quality and creative compositions with only modest reductions in entry rates. Based on our series of experiments, we provide a best-practice procedure for using composition tasks in teks entry evaluations. This includes a judging protocol which can be performed either by the experimenters or by crowdsourced workers on a microtask market. We evaluated our composition task procedure using a teks entry method unfamiliar to participants. Our empirical results show that the composition task can serve as a valid complementary teks entry evaluation method.

DWIA PUNGKY ARUMDANI (G64120064) Undergraduate Student of Computer Science FMIPA IPB

Metode entri teks yang efektif sangatlah penting dalam penggunaannya. Karena terdapat faktor yang diperhatikan, seperti bentuk perangkat mobile, atau kemampuan motorik pengguna terbatas. Keyboard QWERTY mungkin tidak selalu menjadi perangkat input layak. Akibatnya, beragam metode entri teks telah dirancang dan dievaluasi menggunakan berbagai modalitas input, seperti single-switch, keypad, layar sentuh, eye-pelacak, accelerometers, dan joystick. Mirip dengan teknik antarmuka pengguna lain, metode entri teks perlu dievaluasi dalam efesiensi dan efektivitas pengunaannya. Dalam artikel ini ditunjukkan bagaimana task komposisi dapat digunakan untuk membantu mengevaluasi metode entri teks. Task komposisi dapat melengkapi task transkripsi tradisional yang digunakan dalam entri teks evaluasi sebelumnya. 

Task transkripsi pada entri teks evaluasi, prosedur yang ditetapkan ketika membandingkan dua metode entri teks yaitu melakukan kontrol percobaan. Biasanya melibatkan 6-20 peserta dalam dalam subjek eksperimen multisession di mana metode entri teks merupakan independen variabel dan tingkat kesalahan merupakan variabel dependen. Dalam percobaan evaluasi entri teks ini, peserta diperintahkan untuk menuliskan sebuah frase atau kalimat yang mengesankan dengan cepat dan seakurat mungkin. Para peneliti telah terus-menerus menyempurnakan task transkripsi. Secara khusus, pilihan frase set telah banyak dibahas dalam literatur. MacKenzie dan Soukoreff mengkritik praktek ini, menunjuk dua keterbatasan. Pertama, peneliti sering tidak menentukan frase yang tepat mereka digunakan. Ini berarti bahwa banyak penelitian entri teks tidak bisa secara akurat direproduksi. Kedua, frase stimulus harus diingat. Hal ini penting untuk menghindari peserta beralih perhatian visual mereka bolak-balik antara kalimat stimulus dan metode entri teks. Untuk membantu situasi ini, MacKenzie dan Soukoreff merilis frase yang tersedia untuk umum terdiri dari 500 frase. MacKenzie dan Soukoreff menggunakan idiom singkat dengan harapan membuat teks rangsangan mudah bagi peserta untuk mengingat. Sejak rilis frase set ini, peneliti juga telah mengembangkan alternatif frase set untuk aplikasi spesialis. 

Melengkapi task transkripsi, tinjauan sebelumnya menjelaskan bahwa task transkripsi telah tertanam kuat sebagai metodologi penelitian untuk entri teks percobaan. Keuntungan dari task transkripsi adalah bahwa hal itu memperkuat validitas internal percobaan dengan mengurangi varians antara peserta dari setidaknya tiga sumber. Pertama, memastikan semua peserta menulis teks yang sama. Hal ini menghilangkan varians yang mungkin terjadi karena untuk peserta menulis teks sangat beragam. Sebagai contoh, jumlah memperhatikan ejaan, tata bahasa, dan penggunaan kosakata sangat bervariasi antara menulis sebuah dokumen hukum terhadap menulis pesan singkat ke teman. Kedua, task transkripsi tidak memerlukan peserta untuk memikirkan sesuatu untuk menulis, suatu proses yang menuntut waktu proses kognitif tambahan. Jika terjadi waktu proses ini di tengah-tengah masuknya frase, itu akan meningkatkan varians tarif masuk diukur. Ketiga, selama sebagai stimulus yang singkat dan mudah diingat, peserta dapat menginternalisasi rangsangan sebelum mereka mulai menulis. Kelemahan dari menggunakan task transkripsi terutama validitas eksternal rendah. 

Menggunakan task komposisi pada percobaan entri teks, penulis percaya aspek lain dari entri teks dapat dijelaskan dengan melengkapi task transkripsi dan task komposisi. Namun, terdapat beberapa kekhawatiran :

1) Task komposisi mungkin terlalu lambat untuk memberikan perkiraan terpercaya tentang potensi teks kinerja metode entri.

(2) Overhead kognitif yang berhubungan dengan komposisi menciptakan dapat meningkatkan varians antara peserta dan, oleh karena itu, mengurangi validitas internal.

(3) Peserta mungkin merasa sulit untuk berpikir tentang hal-hal untuk menulis dan mungkin menghabiskan besar proporsi percobaan merencanakan apa untuk menulis bukan benar-benar menggunakan metode entri teks.

(4) Mungkin tidak ada cara yang baik untuk menentukan tingkat kesalahan komposisi karena tidak ada teks referensi.

(5) Peserta mungkin kurang kreativitas, sehingga komposisi yang pendek dan sederhana.

Dalam artikel ini, penulis berharap untuk meringankan masalah evaluasi entri teks dan menunjukkan bagaimana task komposisi dapat menjadi metode tambahan yang berguna dalam evaluasi entri teks. Tujuan penulis tidak untuk menggantikan task transkripsi tradisional tetapi untuk menyediakan peneliti dengan opsi tambahan yang dapat membantu evaluasi entri teks menjadi lebih baik.

Untuk menunjukkan bahwa task komposisi dapat diterapkan untuk evaluasi entri teks, penulis menggambarkan serangkaian percobaan. Dalam percobaan pertama, penulis membandingkan task transkripsi dengan empat task komposisi yang berbeda. Dalam percobaan kedua, penulis mengeksplorasi task komposisi dengan menyelidiki bagaimana fine tune prosedur memastikan peserta menulis teks berkualitas tinggi. Kedua percobaan ini menggunakan keyboard QWERTY berukuran penuh sebagai metode entri teks. Dalam percobaan ketiga, penulis mengevaluasi komposisi yang diusulkan dan membandingkannya dengan task transkripsi untuk metode entri teks asing bagi peserta: keyboard dioptimalkan pada layar. Dalam percobaan terakhir, peneliti menyelidiki menggunakan crowdsourcing untuk eisiensi penilaian komposisi. Akhirnya, penulis membahas keterbatasan, implikasi, masalah terbuka, memberikan prosedur praktek terbaik untuk menggunakan task komposisi dalam entri teks evaluasi, dan setelah itu menyimpulkan.

Kesimpulannya pada artikel ini, penulis telah mengusulkan metodologi baru untuk menambah evaluasi entri teks yaitu dengan menambahkan task komposisi. Sementara task transkripsi memiliki validitas internal yang lebih tinggi, task komposisi memiliki validitas eksternal yang lebih tinggi. Dengan demikian, task-task ini menempati titik yang berbeda dalam pertukaran antara validitas internal dan eksternal. Apakah kita ingin memahami bagaimana metode entri teks berperilaku ketika mereka digunakan dalam situasi dekat dengan praktek yang sebenarnya, yaitu, ketika pengguna menulis pesan mereka sendiri dan email? Ketika menjawab pertanyaan penelitian ini, kami telah menunjukkan bahwa komposisi task adalah metode yang sangat handal. Pertama, peserta menulis komposisi yang asli. Namun, pada saat yang sama, komposisi ini dapat cukup dibatasi sehingga gaya teks individu tidak berbeda jauh. Kedua, komposisi peserta dapat diandalkan dinilai baik oleh eksperimen dengan melakukan evaluasi. Langkah terakhir ini sangat penting karena tingkat kesalahan dapat dikontrol untuk memastikan dan membandingkan tarif masuk dua metode entri teks yang berbeda. Dengan demikian, mungkin menggunakan task komposisi untuk membandingkan dua metode entri teks terhadap satu sama lain.

Berikut kajian artikel yang telah saya komentari :

shellafuribirumardika.blogspot.com/2015/06/experiencing-coincidence-during-digital.html?showComment=1434946178994&m=1#c2369514659287089790

rachmatarramadhan.blogspot.com/2015/06/kajian-artikel-ilmiah-imk-optimistic.html?showComment=1434947332444&m=1#c2327381704670359166

defrianiputri.blogspot.com/2015/06/exploring-sustainable-practices-in.html?showComment=1434947827464&m=1#c8606637808786854468

~PUNGKYAYA