Cao Bằng là mảnh đất giàu truyền thống lịch sử, văn hóa với nhiều địa danh nổi tiếng, trong đó có Đền Kỳ Sầm nằm ở Bản Ngần, xã Vĩnh Quang, cách trung tâm Thành phố khoảng 5 km. Đền Kỳ Sầm thờ Khâu Sầm Đại Vương Nùng Trí Cao (1025 - 1055), người dân tộc Tày, một nhân vật có liên quan đến sự nghiệp giữ nước thời Lý (vua Lý Thái Tông thế kỷ XI). Đền Kỳ Sầm được công nhận Di tích lịch sử văn hóa cấp Quốc gia từ năm 1993.