解:(1)过A点作AP⊥底A'B'C'D于P，AE⊥A'D'于E，AF⊥A'B'于F，过A'作A'Q⊥AC于Q，则四边形A'EPF为正方形，A'Q=AP
AE=AF=AA'sin60°=b√3/2 A'E=A'F=AA'cos60°=b/2
在正方形A'EPF中，A'P=A'E√2=b/√2=AQ
A'Q=AP=√(AA'^2-AQ^2)=√[b^2-(b/√2)^2]=b/√2
∴AC'=√(CQ^2+A'Q^2)=√[(a√2+b/√2)^2+(b/√2)^2]=2a^2+2ab+b^2
(2)延长DC到M，使CM=CD，连接BM， 作D'O⊥CD于O
则BM=AC=a√2 且BM//AC ∠MBD'即为所求的夹角
BD'为矩形BDD'B'的对角线，
BD'=√(BD^2+DD'^2)=√[(a√2)^2+b^2]=√(2a^2+b^2)
D'O=A'E=b/2
MD'^2=MO^2+D'O^2=(MO+CM+CD)^2+D'O^2=(a√2+2a)^2+(b/2)^2=(6+2√2)a^2+b^2/4
由余弦定理知：
cos∠MBD'=(BM^2+BD'^2-MD'^2)/(2*BM*BD')
={(a√2)^2+(2a^2+b^2)-[(6+2√2)a^2+b^2/4]}/[2*a√2*√(2a^2+b^2)]
=[3b^2-(160+96√2)a^2]/[2a√(4a^2+b^2)]
