Trên núi Ngọc Bội cũ, ông cho xây một tháp đá, đỉnh tháp hình ngọn bút lông, thân tháp có khắc ba chữ "Tả Thanh Thiên" (viết lên trời xanh), ngày nay thường gọi đó là Tháp Bút. Tiếp đến là một cửa cuốn gọi là Đài Nghiên, trên có đặt một cái nghiên mực bằng đá hình nửa quả đào bổ đôi theo chiều dọc, có hình ba con ếch đội. Trên nghiên có khắc một bài minh nói về công dụng của cái nghiên mực xét về phương diện triết học. Người đời sau ca ngợi là: Nhất đài Phương Đình bút. Từ cổng ngoài đi vào có hai bức tường hai bên, một bên là bảng rồng, một bên là bảng hổ, tợng trưng cho hai bảng cao quý nêu tên những người thi đỗ, khiến cho các sĩ tử đi qua càng gắng công học hành.

CầuTên cầu Thê Húc nghĩa là giữ lại ánh sáng đẹp của mặt trời. Cầu Thê Húc dẫn đến cổng đền Ngọc Sơn, còn gọi là Đắc Nguyệt Lâu (lầu được trăng) dưới bóng cây đa cổ thụ, ở giữa một vùng cây cối um tùm, trông như từ dưới nước nhô lên. Đền chính gồm hai ngôi nối liền nhau, ngôi đền thứ nhất về phía Bắc thờ Trần Hưng Đạo và Văn Xương. Tượng đặt ở hậu cung trên bệ đá cao khoảng 1m, hai bên có hai cầu thang bằng đá. Tượng Văn Xương đứng, tay cầm bút. Phía Nam có đình Trấn Ba (đình chắn sóng - ngụ ý là cột trụ đứng vững giữa làn sóng không lành mạnh trong nền văn hoá đương thời). Đình hình vuông có tám mái, mái hai tầng có 8 cột chống đỡ, bốn cột ngoài bằng đá, bốn cột trong bằng gỗ.

ĐềnCác nhân vật được thờ trong đền ngoài Văn Xương Đế Quân, Lã Động Tân, Quan Vân Trường, Trần Hưng Đạo, còn thờ cả phật A Di Đà. Điều này thể hiện quan niệm Tam giáo đồng nguyên của người Việt.Tuy là một ngôi đền kiến trúc mới, song đền Ngọc Sơn là một điển hình về không gian và tạo tác kiến trúc. Sự kết hợp giữa đền và hồ đã tạo thành một tổng thể kiến trúc Thiên - Nhân hợp nhất, tạo vẻ đẹp cổ kính, hài hoà, đăng đối cho đền và hồ, gợi nên những cảm giác chan hoà giữa con người và thiên nhiên. Đền và hồ đã trở thành những chứng tích gợi lại những kỉ niệm xa về lịch sử dân tộc, thức tỉnh niềm tự hào, yêu nước chính đáng, cũng như tâm linh, ý thức mỗi người Việt Nam trước sự trường tồn của dân tộc.