ผู้ร่วมก่อตั้ง OpenAI และ Andrej Karpathy ผู้เข้าร่วมทีม Anthropic เมื่อเดือนที่แล้ว ได้แบ่งปันความคิดเห็นเกี่ยวกับ Claude Fable 5 ในวันที่ 9 มิถุนายน โดยกล่าวว่ามีการกระโดดด้านประสิทธิภาพที่มีนัยสำคัญข้ามรุ่น พร้อมเปรียบว่า “ซอฟต์แวร์ไหลออกมาอย่างไม่ขาดสายเหมือนน้ำประปา” เพื่อบรรยายผลกระทบต่อประสิทธิภาพการผลิต อย่างไรก็ตาม Karpathy ได้เตือนอย่างชัดเจนว่าอย่าเลิกตรวจทานโค้ด
การประเมินความสามารถในการยืนยันของ Karpathy ต่อ Fable 5
การกระโดดด้านประสิทธิภาพข้ามรุ่น: Karpathy ยืนยันว่า Fable 5 ทำให้เกิดการกระโดดด้านประสิทธิภาพข้ามรุ่น ซึ่งเห็นได้ชัดเป็นพิเศษเมื่อทำงานที่ยาวและซับซ้อน สามารถดำเนินการตามคำสั่งที่ซับซ้อนได้อย่างมีประสิทธิภาพ โดยแทบไม่ต้องมีการแทรกแซงจากมนุษย์
การดีบักความซับซ้อนของลำดับงานที่ยาว: Karpathy ระบุว่าเมื่อเผชิญกับเป้าหมายการพัฒนาขนาดใหญ่ Fable 5 สามารถเข้าใจเจตนาได้อย่างรวดเร็วและเดินหน้าด้วยตนเอง ซึ่งเป็นครั้งแรกที่ทำให้เขาเกิดความอยากอย่างแรงกล้าที่จะไม่ดูโค้ดเลย
คำเตือนที่ชัดเจน（คำพูดของ Karpathy）: เขาย้ำว่าอย่าข้ามการตรวจทานโค้ดอย่างสิ้นเชิงในสภาพแวดล้อมการผลิต นี่คือคำเตือนโดยตรงของเขาสำหรับผู้ใช้งาน
คำอธิบายเกี่ยวกับโมเดลระดับฐาน（คำยืนยันของ Karpathy）: Karpathy ระบุว่า Claude Fable 5 และ Claude Mythos 5 ใช้โมเดลระดับฐานเดียวกัน และ Fable 5 ได้เพิ่มมาตรการป้องกันด้านความปลอดภัยเพิ่มเติมบนพื้นฐานนี้
ปรากฏการณ์ขัดแย้งของ Jevons: กรอบวิเคราะห์ของ Karpathy
Karpathy ระบุในบทวิจารณ์ว่า เมื่อซอฟต์แวร์ที่พร้อมใช้งานสามารถไหลออกมาได้เหมือนน้ำประปา ปรากฏการณ์ “ความขัดแย้งของ Jevons”（Jevons Paradox）ในแวดวงซอฟต์แวร์จะถูกกระตุ้นขึ้น
คำจำกัดความของ Jevons Paradox: เมื่อประสิทธิภาพการใช้ทรัพยากรเพิ่มขึ้นอย่างมาก เนื่องจากต้นทุนการใช้งานลดลงอย่างมาก ความต้องการรวมสำหรับทรัพยากรนั้นกลับเพิ่มขึ้นแบบทวีคูณ ไม่ใช่ลดลง
การวิเคราะห์การประยุกต์ของ Karpathy（จากบทวิจารณ์บนแพลตฟอร์ม X ของเขา）: เขาชี้ว่า ผลกระทบที่ถูกกระตุ้นดังกล่าวจะทำให้ผู้คนสร้างเครื่องมือแบบใช้ครั้งเดียวที่ “เฉพาะเจาะจงมากเป็นพิเศษ”（hyper-specific）จำนวนมาก รวมถึงชุดทดสอบขนาดมหาศาล ซึ่งสุดท้ายจะผลักดันความต้องการซอฟต์แวร์โดยรวมให้เติบโตแบบทวีคูณ
ประเด็นคำถามเกี่ยวกับการยืนยันกลไกการป้องกันความปลอดภัย
Karpathy ระบุในบทวิจารณ์ว่า ในช่วงเริ่มเผยแพร่ Claude Fable 5 กลไกการป้องกันความปลอดภัยยัง “ไว” เกินไป และจำเป็นต้องมีการปรับปรุงในภายหลัง การประเมินนี้สอดคล้องกับคำอธิบายของแอนโทรปิกอย่างเป็นทางการในประกาศการเปิดตัว Fable 5: Anthropic ยอมรับว่ามาตรการด้านความปลอดภัยในปัจจุบันบางครั้งอาจรายงานผลบวกปลอมสำหรับคำขอที่ไม่เป็นอันตราย (อัตราการทริกเกอร์โดยรวมต่ำกว่า 5%) และระบุว่ากำลังพยายามปรับปรุงเพื่อให้ลดผลบวกปลอมลงโดยเร็ว
คำถามที่พบบ่อย
“Jevons Paradox” ที่ Karpathy กล่าวถึงใน การสร้างโค้ดด้วย AI หมายถึงอะไร？
จากบทวิจารณ์บนแพลตฟอร์ม X ของ Karpathy เมื่อ AI ทำให้ต้นทุนการผลิตซอฟต์แวร์เข้าใกล้ศูนย์ ความต้องการซอฟต์แวร์จะไม่ลดลงตามนั้น แต่กลับเพิ่มขึ้นแบบทวีคูณ เขาคาดการณ์ว่าจะส่งผลให้ผู้พัฒนาสร้างเครื่องมือแบบใช้ครั้งเดียวที่ปรับแต่งแบบเฉพาะทางมากขึ้น และสร้างชุดทดสอบขนาดใหญ่ ซึ่งจะขยายปริมาณการใช้ซอฟต์แวร์โดยรวมให้มากขึ้น
เหตุใด Karpathy จึงเตือนอย่างชัดเจนว่าอย่าข้ามการตรวจทานโค้ดอย่างสิ้นเชิงในสภาพแวดล้อมการผลิต？
Karpathy ระบุว่า แม้ความสามารถของ Fable 5 จะทำให้เขาเกิดแรงปรารถนาที่อยากไม่มองโค้ดเลยเป็นครั้งแรก แต่เขาก็เตือนอย่างชัดเจนว่าควรไม่ทำวิธีนี้ในสภาพแวดล้อมการผลิต คำเตือนของเขาสอดคล้องกับคำแนะนำอย่างเป็นทางการของ Anthropic — แม้โมเดลที่ทรงพลังเพียงใด ผลลัพธ์ก็ยังต้องมีการดูแลโดยมนุษย์เพื่อให้มั่นใจในความน่าเชื่อถือ
มุมมองเฉพาะของ Karpathy ต่อกลไกการป้องกันความปลอดภัยของ Fable 5 คืออะไร？
Karpathy ระบุในบทวิจารณ์ว่า ในช่วงเริ่มเผยแพร่ Fable 5 การตั้งค่ากลไกการป้องกันความปลอดภัยมีความไวมากเกินไป และยังต้องปรับปรุงต่อไป ในประกาศอย่างเป็นทางการของ Anthropic ก็ยืนยันเช่นกันว่า ในขณะนี้มาตรการด้านความปลอดภัยบางครั้งอาจรายงานผลบวกปลอมสำหรับคำขอที่ไม่เป็นอันตราย โดยมีอัตราการทริกเกอร์ต่ำกว่า 5% และระบุว่ากำลังปรับปรุงอย่างต่อเนื่อง
