Nguyên vào năm Tự Đức thứ 14 (1862) ba tỉnh miền Đông Nam Kỳ lần lượt lọt vào tay thực dân Pháp xâm lược. Lúc bấy giờ tỉnh Vĩnh Long cũng đã lọt vào tay quân viễn chinh Pháp nhưng theo hòa ước Nhâm Tuất (1862) thì Pháp phải trả tỉnh Vĩnh Long lại cho triều đình Huế. Do đó, sĩ phu ở các tỉnh Biên Hòa, Gia Định và Định Tường đã rầm rộ “tỵ địa” về Vĩnh Long. Quan đốc học Vĩnh Long là Nguyễn Thông đã chọn nơi rộng rãi gần tỉnh thành Vĩnh Long để tập hợp họ lại tổ chức ôn tập chờ ngày thi cử. Mặc dù đang sống trong cảnh dầu sôi lửa bỏng nhưng giới sĩ phu thời bấy giờ đã gấp rút xây dựng một Văn Thánh Miếu bên cạnh nơi họ ôn tập. Tuy danh nghĩa là đề cao Nho giáo nhưng thực chất là xây dựng một tụ điểm hoạt động văn hóa đề cao các bậc tiền hiền và giáo dục lòng yêu nước. Công trình này khởi công từ mùa đông năm Giáp Tý (1864) và hoàn thành vào mùa thu năm Bính Dần (1866) .
Sau khi hoàn thành, giới quan lại sĩ phu đã thành lập hội Văn Thánh Miếu để trông nom việc cúng tế. Hội cũng tạo được ruộng đất hương quả và xin cấp miếu phu quét dọn hàng ngày. Thế nhưng chỉ có mấy tháng sau thì quân viễn chinh Pháp lại đem chiến thuyền uy hiếp và chiếm thành Vĩnh Long lần thứ hai. Phan Thanh Giản tuẩn tiết, Nguyễn Thông “tỵ địa” ra Bình Thuận.

Sau khi chiếm Vĩnh Long, bọn thực dân Pháp lấy cớ thiếu gỗ xây dựng dinh tham biện (dinh tỉnh trưởng) định phá Văn Thánh Miếu. Lúc đó ông Bá hộ Trương Ngọc Lang ( tức Bá hộ Non - người Minh Hương) được đồng bào đề cử đứng ra tranh thủ với quân viễn chinh giữ lại công trình văn hóa này. RồI từ đó đến nay, Văn Thánh Miếu Vĩnh Long được trùng tu, tôn tạo các công trình phụ vào các năm 1872, 1903, 1914, 1933, 1963, 1994 và gần đây nhất là năm là tháng 6/ 2006.
Văn Thánh Miếu Vĩnh Long ở tại làng Long Hồ, tổng Long An, huyện Vĩnh Bình, nay thuộc phường tư thị xã Vĩnh Long. Tuy đã trãi qua các lần trùng tu và trải qua nhiều giai đoạn lịch sử nhưng vẫn giữ được nét cổ kính.
Sát đường là cổng tam quan xây theo lốI cổ lâu có ba tầng mái. Chiếc cổng này đơn giản nhưng mỹ thuật, có nét đặc biệt so với những chiếc cổng khác. Sau cổng là thần đạo đi thẳng vào điện Đại Thành. Hai bên là hai hàng sao cao vút như hai hàng lính áp hầu. Phía trước chính diện, giữa thần đạo là ba tấm bia đá. Đáng kể nhất là tấm bia do Phan Thanh Giản viết trước khi tuẩn tiết, Trương Ngọc Lang lập năm 1872. Tấm bia thứ nhì kỷ niệm ông Tống Hữu Định và giới trí thức trùng tu tái thiết ngôi miếu năm 1903. Tấm bia thứ ba ca ngợi tấm lòng hảo tâm của bà Trương Thị Loan (con gái của Trương Ngọc Lang) hiến đất làm hoa lợi hương hỏa. Hai tấm bia sau do Nguyễn Liên Phong viết vào thập niên đầu của thế kỷ này.
Trước kia, khuôn viên có hai cái ao trồng sen có tên là hồ Nhật Tinh và hồ Nguyệt Anh. Trong văn bia do Phan Thanh Giản viết có nói đến “Thơ Lầu” (lầu sách) ở bên tả Văn Thánh Miếu (từ trong nhìn ra ). Do đó,sau khi Phan Thanh Giản tuẩn tiết, các con của Phan Thanh Giản vào bưng biền kháng chiến chống giặc; những người Minh Hương, đứng đầu là bá hộ Trương Ngọc Lang đã lập sổ quyên tiền xây dựng một “Tân Đình” (1869) phía tả Văn Thánh Miếu để thờ Phan Thanh Giản. Năm 1872 công trình này hoàn thành, Trương Ngọc Lang dựng bia đặt tên là Tụy Văn Lâu (lầu nhóm họp giới văn nhân tài tử). Tụy Văn Lâu được trùng tu năm 1914 và khoảng năm 1920 – 1923 được đổi tên là Văn Xương Các ( gác Văn Xương).
Văn Xương Các làm theo kiểu trùng thềm điệp ốc. Trên gác là nơi cất sách và thờ Văn Xương Đế Quân - vị tinh quân chủ quản việc thi cử học hành. Bài vị Văn Xương Đế Quân đặt trong khám thờ, chạm trỗ sơn thếp đẹp đẽ.
Nhưng tầng dưới Văn Xương Các mới là nơi quan trọng nhất. Gian giữa là nơi văn nhân thi ngồi đàm đạo. Phía sau là khánh thờ Gia Định Sử sỉ Sùng Đức Tiên sinh Võ Trường Toản và Khâm sai Kinh lược sứ Phan Thanh Giản.
Khánh thờ này chạm trỗ tinh vi, trong đặt hai bài vị, có câu đối ca tụng hai kẻ sĩ đứng đầu đất Gia Định.
            Hoàng phong “Sử sĩ” thanh cao lão.
            Tự hiệu “ thư sinh” tiết liệt thần
            (Vua phong “Sử sĩ” thanh cao lão
            Tự hiệu “ thư sinh” tiết liệt thần)
Đến khoảng năm 1933, Phan Thanh Giản được nhà Nguyễn phong thần. Từ đó tại khám thờ này có thêm một hòm sắc và một bức chân dung Phan Thanh Giản rất sống động, do hoạ sĩ Philippe Trần vẽ. Một số nhà hảo tâm đã hiến thêm nhiều câu đối ca tụng Phan Thanh Giản. Do đó, vị trí Võ Trường Toản đã bị lu mờ.
Bên tả khánh thờ chính là khánh thờ các quan đại thần có công khởI xướng xây dựng Văn Thánh Miếu:
            - Tổng đốc Vĩnh Long Trương Văn Uyển.
            - Bố chánh Vĩnh Long Nguyễn Văn Nhã.
            - Án sát Vĩnh Long Võ Doãn Thanh.
            - Bố chánh Quảng Ngãi Nguyễn Thông (nguyên đốc học Vĩnh Long).
Gian bên hữu thờ các đại thần:
            - Tuần phủ Hà Tiên Lê Quang Nguyên .
            - Án sát Hà Tiên Nguyễn Toán.
            - Án sát An Giang Phạm Hữu Chánh
            - Tri phủ Định Viễn Lê Văn Khiêm
            - Tri phủ Định Viễn Nguyễn Tống Minh
            - Giáo thọ Hoằng tự Nguyễn Tu Mẫn.
            - Tổng đốc Thuận Khánh Nguyễn Mục Như (Nguyễn Văn Phong)
            - Bá hộ Trương Trọng Tiên (Trương Ngọc Lang)
Nguyễn Mục Như người Vĩnh Long, là cha chồng bà Trương Thị Loan. Hai ông Trương Ngọc Lang và Nguyễn Văn Phong được thờ tại Văn Thánh Miếu là do bà Trương Thị Loan gửi hậu. Riêng Trương Ngọc Lang là người có công lớn trong việc trùng tu và bảo vệ Văn Thánh Miếu.
Khu vực chính của Văn Thánh Miếu gồm Đại Thành Điện và hai ngôi miếu ở trước sân đâu mặt nhau gọi là Tả vu và Hữu vu. Khu vực này có tường hoa bao bọc, chỉ có thể ra vào bằng cửa Kim Thanh và Ngọc Chấn. Chính điện làm theo kiểu trùng thềm điệp ốc. Bên trong bài trí đơn giản, giữa khánh thờ bài vị “ Đại Thành Chí ThánhTiên sư Khổng Phu Tử” và bài vị bốn vị đứng vào hàng đệ tử của ngài gọi là “Tứ Phối”. Sau này, khi họa sĩ Philippine Trần vẽ chân dung Phan Thanh Giản có vẽ chân dung bán thân của Khổng Tử. Bức chân dung này thay thế bức tranh cũ. Cũng trong chính điện hai bên Tả ban và Hữu ban là khánh thờ “Thập nhị hiền triết”; Còn hai bên nhà Tả hữu - Hữu vu thờ “Thất thập nhị hiền”, mỗI bên ba mươi sáu vị. Đồ tự khí trong ba khu vực thờ phượng này tuy có chạm trỗ, sơn thếp nhưng mỹ thuật đơn giản. Đồ tự khí bằng gỗ, sành sứ, đồng thau.
Trong Văn Miếu có rất nhiều hoành phi, câu đối do các nhà hảo tâm ở khắp nơi hiến cúng. Trong đó có câu đối của Thượng thư Cao Xuân Dục cúng năm 1913 khi ông đến Vĩnh Long:
            Xuân thu hà đẳng càn khôn, đạo tại Ngũ Kinh song nhật nguyệt.
            Thù Tứ biệt thành vũ trụ, đồ qua Lục Tỉnh nhất cung tường .
            Tạm dịch:
            ( Xuân thu trờI đất bậc nào, đạo tại năm kinh đôi nhật nguyệt.
            Thù Tứ cõi bờ riêng đó, đường qua sáu tỉnh một cung tường).
            MỗI năm tại Văn Thánh Miếu có các ngày lễ lớn:
Tế Khổng Tử và các vị Thánh Hiền vào ngày Xuân Đinh và Thu Đinh (ngày Đinh đầu tháng hai và ngày Đinh cuốI tháng tám).
Tại Văn Xương Các có lễ giỗ Phan Thanh Giản (mùng bốn và mùng năm tháng bảy), ngày giỗ các quan đại thần và cúng âm lịch (ngày 12 và 13 tháng mười).
Nếu so sánh lễ hội với các đình miếu khác ở Vĩnh Long thì lễ hội tại Văn Thánh Miếu thu hút khách hành hương chưa đông nhưng khách đến đây đều với tấm lòng nhiệt thành với văn hóa và yêu kính các bậc tiền nhân.

Văn Thánh Miếu Vĩnh Long được Bộ Văn hóa Thông tin công nhận là di tích văn hóa cấp quốc gia vào ngày 25 tháng 3 năm 1991 (Quyết định số 0557 QĐ ngày 25/3/1991).