อยากเชิญชวน โดยเฉพาะคนที่เชื่อว่า risk ที่เราอาจจะสูญเสียการควบคุม superintelligent machine เป็นแค่ myth ให้อ่านเล่มนี้เป็นพิเศษ ถึงแม้การอ้างว่าคนพูด/เขียน คือ Stuart Russell (ผู้เขียนตำราเรียนระดับตำนาน AI: A Modern Approach ร่วมกับ Peter Norvig) แล้วบอกว่า ฟังเค้าเถอะ เค้ามีประเด็น นั้นเป็นจะ fallacy แต่ในแง่ probabilistic reasoning ก็ไม่ใช่จะ invalid เสียทีเดียว จึงขอเสริมคำเชิญชวนข้างต้นด้วยข้อความว่า คนเขียนคือ Stuart Russell เชียวนะ แน่นอนว่า ความเสี่ยงจากการสูญเสียการควบคุมเอไอ ไม่ใช่ในแบบที่เอไอมีจิตสำนึกแล้วลุกขึ้นมายึดครองโลก หรือปลดแอกจากการกดขี่ของมนุษย์ แต่ Russell ชี้ไปถึงปัญหาที่อยู่ในนิยามเอไอแบบมาตรฐาน Machines are intelligent to extent that their actions can be expected to achieve their objectives. เพราะไม่มีอะไรรับประกันว่า their objectives จะ align กับ ours และยังชี้ให้เห็นปัญหาหลายมิติจาก overly intelligent AI เช่น ปัญหากอริลลา (การเกิดขึ้นของสายพันธุ์ใหม่ที่ฉลาดกว่าเอป ไม่ได้เป็นประโยชน์กับสายพันธุ์เดิมเสมอไป ดูอย่างที่โฮโมเซเปียนส์ควบคุมเอปสิ) ปัญหาคิงไมดาส (จงระวังพรที่คุณขอ) และปัญหาการสร้าง instrumental goals ของเอไอ เพื่อป้องกันการแก้ปัญหาโดยคนแบบสิ้นคิด อาทิ การดึงปลั๊กไฟ ... ชอบที่ Russell ฟาดข้อโต้แย้งกลับแบบฉลาด และ logically sound มาก ๆ ชอบที่เขาเสนอ principles of provably beneficial AI โดยเฉพาะ concept เรื่อง provably beneficial AI ที่มี mathematical guarantees นั้นน่าประทับใจ ชอบการทำให้ machine ไม่มีความมั่นใจใน preferences ของคนที่มันพยายามจะ maximize เพื่อที่ความเป็นไปได้หนึ่ง (หรือคำตอบหนึ่ง) คือการยอมให้มันถูก shutdown