Boleh Nggak Sih Nolak Orang Tua yang Dulu Nggak Pernah Ada?

Assalamu alaikum, jadi judulnya tuh ngejelasin banget situasi gue, tapi ini bener-bener bikin pusing. Intinya, ini soal salah satu orang tua gue yang pergi pas gue masih bayi. Sekarang, setelah bertahun-tahun, mereka nyoba balik dan jadi bagian hidup gue. Gue nggak mau ngomongin buruk tentang mereka, tapi jujur aja, mereka bukan orang baik. Mereka udah ngehina orang-orang yang beneran ngebesarin gue. Gue udah maafin mereka meskipun mereka terus nyakitin, sampe akhirnya gue bilang stop dan serahin semuanya ke Allah biar Dia yang nilai. Tapi gue sama sekali nggak ada keinginan buat nyambung lagi, ngerawat mereka, atau bahkan cuma tau siapa mereka. Itu dibolehin nggak sih dalam Islam?