ตำนานเล่าว่า ชายผู้หนึ่งชื่อนายเมือง เป็นพ่อค้าช้าง ตะแกมีเมียสองคน เมียหลวงชื่อนางศิลา และมีลูกสาวชื่อนางยี่สุ่น ส่วนเมียน้อยชื่อนางบุปผา และมีลูกชายชื่อนายชังกั้ง ลักษณะนิสัยของนายชังกั้งตรงกับชื่อคือเป็นคนเกกมะเหรก ดื้อดึง และมุทะลุ ฝ่ายเมียหลวงและเมียน้อยก็ไม่ลงรอยกัน มักทะเลาะด่าทอและตบตีกันเสมอ
วันหนึ่งนายเมืองเดินทางไปค้าขายต่างถิ่น นางยี่สุ่นลูกสาวไม่อยู่บ้านเช่นกัน นางมักอาศัยเรือสำเภาเดินทางหนีไปค้าขายถึงต่างแดน ฝ่ายนายชังกั้งนั้นก็ไม่อยู่ติดบ้าน นางบุปผา ผู้เป็นแม่ก็มิได้เป็นห่วง เพราะเอือมระอายากที่จะตักเตือนสั่งสอนลูก ภายในบ้านจึงเหลือแต่เมียหลวงและเมียน้อย ต่างก็ทำงานคนละอย่าง คือเมียหลวงนั่งทอผ้าหรือทอหูกอยู่ใต้ถุนบ้าน และเมียน้อยตำข้าวโพดโดยใช้สากตำลงไปในครก ชาวใต้เรียกการตำข้าวว่า “ซ้อมสาร”
ช่วงหนึ่งต่างเกิดปากเสียงกันอย่างรุนแรง ถึงกับบันดาลโทสะออกมาอย่างไม่ยั้งคิด นั่นคือ เมียหลวงใช้กระสวยทอผ้าซึ่งชาวใต้เรียกว่า “ตรน” ฟาดศีรษะเมียน้อยอย่างเต็มแรงจนเป็นแผลแตกเลือดไหลแดนฉาน ฝ่ายเมียน้อยก็ไม่ยอมแพ้ง่ายๆ นางจึงใช้สากตำข้าวกระทุ้งหน้าอกเมียหลวงอย่างแรงจนอกทะลุ ในที่สุดทั้งคู่ทนความเจ็บปวดไม่ไหวถึงแก่ความตายและกลายเป็นภูเขา นั้นคือเมียหลวงเป็น “เขาอกทะลุ” ส่วนเมียน้อยเป็น “เขาหัวแตก” ซึ่งทางการเรียกว่า “เขาคูหาสวรรค์”
ฝ่ายนายเมืองกลับจากการค้าช้าง เมื่อพบเหตุการณ์ดังกล่าวจึงเสียใจและตรอมใจ ในที่สุดก็ถึงแก่ความตายกลายเป็น “เขาเมือง หรือ เขาชัยบุรี” ซึ่งมีลักษณะคล้ายช้างหมอบ ฝ่ายลูกสาวเมื่อขึ้นจากเรือสำเภาและเห็นเหตุการณ์วิปโยคเช่นนั้น นางยิ่งโศกเศร้าเสียใจเลยถึงแก่ความตายเช่นกัน และกลายเป็น “เขาชัยสน” ซึ่งมีลักษณะคล้ายเรือสำเภา ศพสุดท้ายคือนายชังกั้งกลายเป็น “ภูเขาชังกั้ง หรือเขากัง” ปัจจุบันอยู่ในเขตโรงพยาบาลพัทลุง
