ในยุคที่ใครๆก็ผลิต
Indicator, EA, Ai ช่วยเทรดได้เต็มบ้านเต็มเมือง
แต่จะถามว่าจะมีซักกี่ตัวที่ใช้เทรด
แล้วทำกำไรได้จริง
ยุคนี้ไม่ได้เป็นยุคที่ขาดแคลนระบบเทรด
แต่เป็นยุคที่ขาดแคลน ของที่ทำเงินได้จริง
และมันหายากขึ้นไปอีก 10 เท่า
เพราะของที่ “ดูดี” มันมีเต็มไปหมด
จนเราแยกไม่ออกแล้วว่า
อันไหนของจริง อันไหนแค่ผลเทสสวย
การนั่งจูนตัวเลขระบบ
การขยับค่าโน่นนิด ค่านี่หน่อย
เราก็แทบจะได้ ผลเทสที่สวยงามแทบทุกครั้งเลย
แต่ความเป็นจริงคือ
ผลเทสสวย แต่เทรดจริงพัง!
อาการนี้มีชื่อ — เรียกว่า Overfitting
แปลแบบบ้านๆ คือ ระบบมัน “จำคำตอบได้”
พูดง่ายๆคือ มันคือการสอบ ที่รู้เฉลยอยู่แล้ว
แต่ไม่ใช่ผลสอบที่วัดความสามารถในการเอาชนะได้จริงๆครับ
แล้วเราจะรู้ได้ยังไง
ว่าระบบที่เราทำมา มันจำคำตอบ หรือมันเก่งจริง
เครื่องมือที่ใช้ตรวจ มันมีอยู่แล้วครับ
เรียกว่า Out-of-Sample!
มันคือข้อมูลที่เราตั้งใจซ่อนไว้
ไม่ให้ระบบได้เห็น ตอนที่เรากำลังสร้างมัน
สมมติคุณมีข้อมูลย้อนหลัง 5 ปี
คนส่วนใหญ่จะเอาทั้ง 5 ปี มาเทสรวดเดียว
จูนไปเรื่อยๆ จนเลขสวย แล้วก็จบ
แต่คนที่ทำระบบอย่างจริงจัง เขาจะแบ่งก่อนครับ
2 ปีแรก เอาไว้สร้างระบบ จูนได้เต็มที่ตามใจ
อีก 3 ปีที่เหลือ ปิดตายไว้ ห้ามแตะ
ส่วนแรกคือสนามซ้อม
ส่วนที่ปิดไว้คือสนามสอบ
พอสร้างระบบเสร็จ ค่อยเปิดสนามสอบออกมารัน
แค่นั้นเองครับ ไม่มีอะไรซับซ้อนไปกว่านี้
แล้วมันบอกอะไรเรา
มันบอกอย่างเดียวเลยครับ
ระบบนี้เจอข้อมูลที่ไม่เคยเห็นมาก่อน แล้วยังทำเงินได้อยู่ไหม
ถ้าผลในสนามสอบ ออกมาใกล้เคียงกับตอนซ้อม
แปลว่าระบบมันจับพฤติกรรมจริงของตลาดได้
แต่ถ้าผลตกฮวบ จนคนละเรื่อง
แปลว่าที่เห็นสวยๆ ตอนแรก มันคือการจำล้วนๆ
และนี่คือความจริงที่เจ็บครับ
ตลาดข้างหน้า ที่เรากำลังจะเอาเงินจริงไปเทรด
มันคือข้อมูลที่ระบบไม่เคยเห็นเลยสักวัน
ระบบที่สอบผ่านแค่ข้อมูลที่มันเคยเห็น
มันเลยบอกอะไรเกี่ยวกับอนาคตไม่ได้
เพราะงั้น ตัวเลขที่ผ่านสนามสอบมาแล้ว
มันถึงน่าเชื่อถือกว่ากันเยอะครับ
เพราะมันคือตัวเลขที่ระบบทำได้ โดยไม่มีใครช่วย
ไม่มีการย้อนกลับไปแก้ ไม่มีการรู้เฉลยล่วงหน้า
มันคือสภาพเดียวกันเป๊ะ
กับวันที่เราเอาเงินจริงลงสนาม
ความน่าเชื่อถือของตัวเลข
ไม่ได้อยู่ที่มันสวยแค่ไหน
แต่อยู่ที่มันถูกทดสอบมายังไง
Winrate 90% ที่ได้จากการจูนจนเข้ารูป
มีค่าน้อยกว่าเลข Winrate 65% ที่ผ่านสนามสอบมาแล้วครับ
แล้วมันเกี่ยวอะไรกับเงินในพอร์ตเรา
เกี่ยวตรงๆ เลยครับ
เวลาเราตัดสินใจว่าจะลงไม้ใหญ่แค่ไหน
เราดูจากช่วงที่พอร์ตติดลบลึกสุดในผลเทส
แล้วบอกตัวเองว่า เท่านี้เรารับไหว
แต่ถ้าเลขนั้น มาจากระบบที่จูนจนเข้ารูป
ช่วงติดลบที่เห็น มันคือค่าที่ตื้นที่สุดเท่าที่จะได้เห็น
ของจริงลึกกว่านั้นเสมอ
พอลงไม้ตามเลขในฝัน วันที่ของจริงมาถึง
มันจะหนักกว่าที่ใจเตรียมไว้
แล้วคนส่วนใหญ่ ก็จะทิ้งระบบตรงจุดนั้นพอดี
คนทำระบบส่วนใหญ่ ไม่ได้ตั้งใจหลอกใครหรอกครับ
เขาหลอกตัวเองก่อนเสมอ
เพราะการเห็นตัวเลขสวยขึ้นทีละนิดตอนจูน
มันให้ความรู้สึกดี เกินกว่าจะหยุด
ความอยากเห็นเลขสวย
คือศัตรูตัวจริงของคนสร้างระบบ
ส่วนตัวผมเลือกทางที่เข้มกว่านั้นอีกขั้นครับ
เพราะผมพยายามฆ่าระบบเทรดตัวเอง ทุกวิถีทางแล้ว
แต่สุดท้าย ก็ยังเอามันไม่ลง
มันไม่ยอมตายซักที
นั่นแหละคือสิ่งที่จะทำให้ผมสบายใจ
และนอนหลับได้เต็มอิ่ม
ในวันที่ผมปล่อยระบบเทรดนั้น
ออกสู่สนามเทรดจริง
คำถามที่พบบ่อย
Out-of-Sample คืออะไร
Out-of-Sample คือข้อมูลย้อนหลังส่วนที่เราตั้งใจแยกเก็บไว้ ไม่ให้ระบบเทรดได้เห็นตอนสร้างและปรับค่า แล้วค่อยเอามาทดสอบหลังระบบเสร็จแล้ว จุดประสงค์คือดูว่าระบบยังทำกำไรได้ไหมเมื่อเจอข้อมูลที่ไม่เคยเห็นมาก่อน ซึ่งเป็นสภาพเดียวกับตลาดจริงในอนาคต ส่วนข้อมูลที่ใช้สร้างและปรับค่าระบบเรียกว่า In-Sample
Overfitting ในระบบเทรดคืออะไร
Overfitting คืออาการที่ระบบเทรด 'จำ' ข้อมูลชุดที่ใช้ทดสอบได้แม่นมาก แต่ไม่ได้เข้าใจพฤติกรรมตลาดจริง เกิดจากการปรับค่าพารามิเตอร์ซ้ำๆ จนผลแบ็กเทสสวยขึ้น ซึ่งเท่ากับสอนให้ระบบเก่งกับอดีตชุดนั้นชุดเดียว ผลคือผลทดสอบสวยแต่พังตอนเทรดจริง เปรียบเหมือนการสอบที่รู้เฉลยล่วงหน้า
ควรแบ่งข้อมูล In-Sample กับ Out-of-Sample สัดส่วนเท่าไหร่
ไม่มีสัดส่วนตายตัว แต่หลักสำคัญคือต้องแบ่งก่อนเริ่มสร้างระบบ ไม่ใช่แบ่งหลังทำเสร็จ ตัวอย่างเช่นมีข้อมูล 5 ปี อาจใช้ 2 ปีแรกสร้างและปรับค่าระบบได้เต็มที่ แล้วปิดอีก 3 ปีที่เหลือไว้เป็นสนามสอบ ห้ามแตะจนกว่าระบบจะเสร็จ หัวใจไม่ได้อยู่ที่ตัวเลขสัดส่วน แต่อยู่ที่การไม่แอบดูข้อมูลส่วนที่ปิดไว้
ทำไม Winrate สูงจากแบ็กเทสถึงเชื่อไม่ได้
เพราะ Winrate ที่ได้จากการปรับค่าจนเข้ารูปกับข้อมูลชุดเดิม สะท้อนแค่ว่าระบบเข้ากับอดีตได้ดีแค่ไหน ไม่ได้บอกว่าจะทำเงินได้จริงในอนาคต Winrate 90% ที่มาจากการจูนจนเข้ารูป จึงมีค่าน้อยกว่า Winrate 65% ที่ผ่านการทดสอบกับข้อมูลที่ระบบไม่เคยเห็น ความน่าเชื่อถือของตัวเลขไม่ได้อยู่ที่มันสวยแค่ไหน แต่อยู่ที่มันถูกทดสอบมาอย่างไร
Out-of-Sample เกี่ยวอะไรกับการกำหนดขนาดการลงทุน
เพราะเรามักคำนวณขนาดไม้จากช่วงที่พอร์ตติดลบลึกที่สุด (Drawdown) ที่เห็นในผลทดสอบ แต่ถ้าตัวเลขนั้นมาจากระบบที่ปรับค่าจนเข้ารูป ค่าที่เห็นคือค่าที่ตื้นที่สุดเท่าที่จะได้เห็น ของจริงจะลึกกว่าเสมอ ผลคือเสี่ยงเกินตัวโดยไม่รู้ตัว และมักเลิกใช้ระบบตอนเจอ Drawdown จริงที่หนักกว่าที่เตรียมใจไว้
