Ya, itu tidak sopan. Itu tidak menunjukkan rasa hormat. Jika digunakan dalam konteks selama percakapan yang sedikit memanas, orang mungkin akan mengatakan “terserah” karena mereka tidak tahu bagaimana mengekspresikan diri, dan karena mereka tetap “aman” dengan kata seperti “apa pun”.