Ông từng tiêu hết 5 tấn vàng của cha mẹ. Dù rất giàu có, do ăn chơi, không chú tâm làm ăn, sau khi cha qua đời, gia sản của ông nhanh chóng suy sụp. Sau khi ông mất, con cháu rơi vào cảnh nghèo khó.
Cuộc đời và cả khối tài sản khổng lồ của ông Huyện Sỹ đều có nhiều câu chuyện khiến hậu thế sau này phải trầm trồ, kính nể.