Thời điểm khi hoạt động trong nhóm TVXQ, anh sống một mình, một fan cuồng đã chuyển đến tòa nhà đối diện và ở cùng tầng để liên tục theo dõi anh. Dù rất yêu thích ban công nhưng sau đó anh không dám dùng vì fan cuồng luôn nhìn chằm chằm anh từ phía đối diện.
Kim Jae Joong thường xuyên phải thay đổi chỗ ở và mua xe mới vì fan cuồng theo dõi, thậm chí quấy rối lúc nửa đêm.