f(x)=x^2-x-3
f(x)=x就可以化为x^2-2x-3=0
解得x=3或者-1就是不动点
(2)
f(x)-x=ax^2+bx+(b-1)=0
这个方程有两个不同的根说明a不等于0且判别式大于0
即b^2-4a(b-1)>0对任意实数b恒成立
b^2-4a(b-1)=(b-2a)^2+4a-4a^2>0恒成立
所以4a-4a^2>0即0
(3)
由于A、B是不动点
所以A、B在直线y=x上
所以AB的斜率是1
那么直线y=kx+1/(2a^2+1)的斜率就是-1即k=-1
且A、B的中点在这条直线上
设A(x1,x1)B(x2,x2)
则AB的中点是((x1+x2)/2,(x1+x2)/2)
所以(x1+x2)/2=-(x1+x2)/2+1/(2a^2+1)
即x1+x2=1/(2a^2+1)
而x1,x2满足方程ax^2+bx+(b-1)=0
所以x1+x2=-b/a
所以-b/a=1/(2a^2+1)
b=-a/(2a^2+1)=-1/(2a+1/a)
因为0
所以2a+1/a取值范围就是[根号2/2,+无穷大)
所以b>=-1/2根号2=-根号2/4
