Sau khi đào kênh Thoại Hà (còn gọi là kênh Đông Xuyên) vào năm 1818, để đánh dấu công trình có ý nghĩa này, Thoại Ngọc Hầu đã nhờ Đốc học Gia Định thành là Cao Bá soạn một bài văn bia rồi sau đó lại nhờ Thiêm sự Công bộ phụng thủ Châu Đốc đồn tiền lương quân vụ Đoàn Hầu sửa lại cho đúng. Năm Minh Mạng thứ ba (1822), ông long trọng làm lễ dựng bia và khánh thành miếu thờ Sơn thần, nay là ngôi Đình thần thờ Thoại Ngọc Hầu tại thị trấn Núi Sập, thuộc huyện Thoại Sơn.

Bia Thoại Sơn bằng đá, đầu bia chạm to hai chữ Thoại Sơn, chiều cao 3 mét, ngang 1,2 mét, bề dày 2 tấc, mặt bia chạm đúng 629 chữ Hán. Hiện nay, bia vẫn còn ở y vị trí ban đầu (trong đình), nét chữ Hán trên mặt bia còn sắc và đẹp.     

Bia Thoại Sơn

(trích bản dịch)

... Suy ra dấu cũ, núi này xưa thuộc địa phận nước Phiên (Cao Miên), tục quen gọi là Núi Sập. Từ các triều vua trước khai mở cõi Nam, mới cho vào bản đồ. Song le, cây hoang vẫn còn rậm rạp, luống làm hang ổ cho hươu nai, nơi thắng tích nầy bị vùi chôn không biết bao năm vậy!

Mùa thu năm Đinh Sửu (1817), lão thần kính, được vua trao ấn phù giữ trấn Vĩnh Thanh, mùa xuân năm Mậu Dần (1818) vâng chỉ đốc suất đào kênh Đông Xuyên.

Ngày thụ mệnh vua, sớm khuya kính sợ, đốn cây rậm, bới bùn lầy, đào kênh dài đến 12.410 tầm, trải qua một tháng thì xong việc, nghiễm nhiên trở thành ra một sông to, luôn luôn ghe thuyền qua lại tiện lợi...

Lại vâng theo lời dụ của vua, lấy danh tước Thoại Ngọc của lão thần, vì đã coi sóc việc nầy mà đặt tên là núi Thoại để nêu lên cho tên kênh Đông Xuyên, lão thần do tên núi nầy mà được đội mang một danh dự ngoài phần mong mỏi.

... Kính dựng một miễu thần nơi chân núi, chọn đá làm bia, ghi to hai chữ Thoại Sơn, cùng kể rõ nguyên lai trên núi, ngõ hầu lưu lại đời đời không mất...

Bia Thoại Sơn là một áng văn hay, một tác phẩm nghệ thuật độc đáo và còn là di tích lịch sử nổi tiếng. Ngày 28 tháng 9 năm 1990, bia đã được Bộ Văn hóa ra quyết định số 993/VH.QĐ công nhận là Di tích lịch sử cấp quốc gia.