城管在当事人不知情的情况下把广告牌收走，如果广告牌是违法设置的，那么城管人员的行为是合法的。
根据《城市市容和环境卫生管理条例》规定
第十一条 在城市中设置户外广告、标语牌、画廊、橱窗等，应当内容健康、外型美观，并定期维修、油饰或者拆除。
大型户外广告的设置必须征得城市人民政府市容环境卫生行政主管部门同意后，按照有关规定办理审批手续。
第三十六条 有下列行为之一者，由城市人民政府市容环境卫生行政主管部门或者其委托的单位责令其停止违法行为，限期清理、拆除或者采取其他补救措施，并可处以罚款：
（一）未经城市人民政府市容环境卫生行政主管部门同意，擅自设置大型户外广告，影响市容的；
（二）未经城市人民政府市容环境卫生行政主管部门批准，擅自在街道两侧和公共场地堆放物料，搭建建筑物、构筑物或者其他设施，影响市容的；
（三）未经批准擅自拆除环境卫生设施或者未按批准的拆迁方案进行拆迁的。
