根据中国计划生育政策，独生子女家庭可以领取独生子女证，但如果该家庭的孩子已经结婚或者已经去世，独生子女证需要退还。以下是独生子女证退还手续可能存在的麻烦：
1. 手续繁琐：独生子女证退还需要前往当地计划生育委员会办理相关手续，如填写表格、提供身份证明等等。
2. 时间耗费：办理退还手续需要排队等候，整个过程较为繁琐，需要花费一定的时间。
3. 材料要求严格：在退还手续中，需要提供相关的证明材料，如户口本、身份证等等，如果材料不齐全或者不符合要求，可能需要重新补充或更换，增加办理难度和时间成本。
4. 可能存在争议：如果独生子女的离婚、去世等情况不明确，可能会产生争议，需要通过法庭诉讼解决，增加了退还手续的复杂程度。
总之，虽然独生子女证退还手续存在一定的麻烦性，但是只要持之以恒，认真办理，还是可以比较顺利地完成的。
