Tháp được xây dựng uy nghi trên một khu đất tương đối bằng phẳng gần đỉnh núi Nhạn, bên bờ bắc sông Đà Rằng, gần quốc lộ 1, thị xã Tuy Hoà.
Tháp Nhạn là nơi thờ phụng thần linh của ngời Chăm cổ từ thế kỷ thứ 2 trở về trước. Tháp có hình tứ giác với 4 tầng, càng lên cao càng thu nhỏ lại so với tầng dưới, nhưng vẫn theo phong cách tầng dưới. Tháp cao gần 20 m, mỗi cạnh chân tháp dài 11 m. Trên mặt tường tháp không có hoa văn trang trí. Vòm cửa giữa hình cung nhọn có hình đầu quái vật trên đỉnh. Đây là một chóp tháp được kết hợp hài hoà giữa hai hình tượng chóp nón cùng với hình tượng Linga, một vật mà người Chăm thường thờ ở các tháp, nên chóp tháp ở đây tạc theo hình tợng Linga nhng cha có dạng hoàn chỉnh như những Linga ở Ponagar hoặc Đà Nẵng và Quảng Nam.
Khi thực dân Pháp xâm lược nước ta, chúng nã pháo làm cho đỉnh tháp và 3 góc tháp bị đổ về phía cửa tháp ở hướng đông. Do bị hư hại nhiều trong chiến tranh, vào cuối năm 1960 dới chính quyền Ngụy, tỉnh Phú Yên cho tu bổ tháp, hàn gắn những chỗ bị nứt bên trong và ngoài tháp. Người ta dùng xi măng xây kín cả chân tháp.
Hiện nay trong tháp Nhạn không có bộ thờ và các tợng thờ. Phía sau tháp có một phiến đá lớn cao 1,30 m, mỗi cạnh rộng 0,90 m, dới chân có chạm hình cánh sen. Dới chân núi Nhạn về phía tây nam, ven bờ sông có một tảng đá khá bằng phẳng trên khắc 3 chữ cổ (dạng chữ Phạn) ta thờng gặp ở các tấm bia trụ cột trong các tháp Chàm như ở Ponagar. Tảng đá cao 5m, rộng 5 m. Chữ khắc ở khoảng 1/3 tảng đá. Có lẽ đây là thư tịch duy nhất ở khu vực tháp còn lưu lại. Tháp Nhạn tiêu biểu cho nghệ thuật kiến trúc của người Chăm ở vùng đất Phú Yên xa.
