香港 过境免签！ 需要让我安心的回答……

我是去程：北京-香港（不入境）-台北              回程： 台北-香港（入境停留5天）-北京 
去程用入台证，但是回程时入台证会被收回，好像那些乱七八糟的章会盖在入台证上，那我在回程入境时就只有台湾通行证（上面只有一个签注，没有章）和护照

所以我到底要不要办港澳通行证？台湾算不算第三国、算不算是除了中国内地和澳门之外的地方？！

咨询旅行社，他们告诉我不用港澳通行证。
本来我也很肯定的不办港澳通行证，但是越看那些帖子里的回答就越犹豫，不是DT就是有问题……
办个证，没多少钱，但是时间相当麻烦呀……

跪求高人出现……