การวัดประสิทธิภาพ | ||
หน้าหลัก : ความหมาย : ประเภท : รวบรวมข้อมูล |
ที่มา |
2 - 3 กรกฎาคม 2558 ร่วมประชุมวิชาการ NCCIT 2015 จัดโดยมหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ
ได้นั่งฟังในห้อง Arnoma II ที่โรงแรม Arnoma Grand Bangkok Hotle วันที่ 3 กรกฎาคม 2558
มี Dr.Montean Rattanasiriwongwut ช่วงเช้า และ Mr.Tanapon Jensuttiwetchakul ช่วงบ่าย ทำหน้าที่เป็น Session Chair
ได้พูดคุยเรื่องการประเมินผลงาน ว่าบางงานไม่ควรมีการประเมินด้วย User Satisfaction เพียงอย่างเดียว
ผมมองเห็นหลายบทความ มีการประเมินเรื่องประสิทธิภาพของผลงานที่พัฒนาขึ้นมา ว่าสิ่งที่ต้องการวัด มีประสิทธิภาพหรือไม่
และต้องระมัดระวังว่า การประเมินโดยผู้เชี่ยวชาญไม่ใช่การประเมินประสิทธิภาพ แต่เป็นการวัดความเที่ยงตรงตามเนื้อหา (content validity)
ด้วย การหาค่าสัมประสิทธิ์ความสอดคล้อง (IOC) การทำวิจัยแล้วเก็บข้อมูลด้วยแบบสอบถามจะใช้การวัดแบบนี้กันมาก
งานที่นำเสนอมีหลายประเภท บางงานจะวัดที่ความถูกต้อง ว่าเครื่องมือที่ใช้ เมื่อใช้จริงมีร้อยละของความถูกต้องเป็นเท่าใด
แต่บางงานก็ไม่ได้วัดผลเชิงสถิติ เพราะการทำให้เครื่องมือนั้นเกิดขึ้นก็ถือว่ายากยิ่งแล้ว
+ http://www.4shared.com/office/28zMTRiMce/Proceeding_NCCIT2015.html + https://www.scribd.com/doc/270448822/All-papers-in-NCCIT2015 |
ความหมาย |
ค่าความระลึก (precision) คือ การวัดความสามารถในการที่จะขจัดเอกสารที่ไม่เกี่ยวข้องออกไป โดย precision เป็น อัตราส่วนของจำนวนเอกสารที่เกี่ยวข้องและถูกดึงออกมา กับจำนวนเอกสารที่ถูกดึงออกมาทั้งหมด
ค่าความแม่นยำ (recall) คือ การวัดความสามารถของระบบในการดึงเอกสารที่เกี่ยวข้องออกมา โดย recall เป็น อัตราส่วนของจำนวนเอกสารที่เกี่ยวข้องและถูกดึงออกมา กับจำนวนเอกสารที่เกี่ยวข้องทั้งหมด วิธีการคำนวณค่าวัดประสิทธิภาพ (F-measure) F-measure คำนวณได้จากสูตรดังนี้ F-Measure = 2 x Precision x Recall / (Precision + Recall) โดยที่ Precision = Corr / OutputWord Recall = Corr / RefWord เมื่อ Corr = จำนวนข้อมูลที่เกี่ยวและถูกดึงออกมา OutputWord = จำนวนข้อมูลที่ถูกดึงออกมา RefWord = จำนวนข้อมูลที่เกี่ยวข้องทั้งหมด + http://thailang.nectec.or.th/best/?q=node/13 + http://www.thaiall.com/blog/burin/5425/ |
ต.ย.1 | งานของ เจตรินทร์ วงศ์ศิลป์ และณัฐกิตติ์ ศรีกาญจนเพริศ และจันทิมา พลพินิจ ศึกษาเรื่อง การวิเคราะห์ความรู้สึกแบบอัตโนมัติจากข้อความแสดงความคิดเห็น หน้า 1 - 6 งานนี้จะใช้การกรองคำ จนได้คำที่ต้องการ แล้วนำไปเปรียบเทียบหาค่า positive & negative เช่น ผาแต้ม สวยมาก ก็จะเป็นคำที่ผ่านการถูกคัดกรอง แต่จะต้องสร้างโมเดลวิเคราะห์ความรู้สึก งานนี้ใช้ นาอีฟเบย์ (Naïve Bayes) และมีการวัดผลการทดสอบ (Experimental Results) ด้วย 3 ค่า คือ การวัดความแม่นยำ (Recall) ค่าการค้นคืน หรือค่าความระลึก (Precision) ค่าการวัดประสิทธิภาพพื้นฐานในการจัดกลุ่มเอกสาร (F-Measure) |
ต.ย.2 | งานของ เอกพงษ์ เชื้อสุวรรณ์ ศึกษาเรื่อง การขจัดคุณลักษณะข้อมูลรบกวนด้วยอัลกอริทึม Significant Matrix II หน้า 7 - 12 ได้นำเสนอการขจัดข้อมูลรบกวนที่มีประสิทธิภาพกว่า ทำให้ลดเวลาลงได้ ด้วยการลดจำนวนของคุณลักษณะข้อมูลที่ไม่พึงประสงค์หรือข้อมูลที่อาจก่อให้เกิดความผิดพลาดในการเรียนรู้ของเครื่อง |
ต.ย.3 | งานของ ทิชากร เนตรสุวรรณ์ และไกรศักดิ์ เกษร ศึกษาเรื่อง การจำแนกข่าวภาษาอังกฤษด้านอาชญากรรมออนไลน์ด้วยเทคนิคการทำเหมืองข้อความ หน้า 61 - 66 วัดประสิทธิภาพของแบบจำลองด้วย 3 ค่า คือ Precision, Recall และ F-Measure |
การทดสอบ |
การทดสอบสามารถทำได้หลายด้าน
- การทดสอบความสามารถในการทำงานของระบบ (Functional Test) - การทดสอบประสิทธิภาพในการทำงาน (Performance Test) - การทดสอบความถูกต้องและน่าเชื่อถือของระบบ (Reliability Test) - การทดสอบความสะดวกและง่ายต่อการใช้งาน (Usability Test) - การทดสอบความปลอดภัยในการใช้งาน (Security Test) |
+ ผู้สนับสนุน + รับผู้สนับสนุน |