Đáp án D

Cách 1:

Mặt cầu (S) có tâm I(5;-3;7) và bán kính R=62.

IA→=−5;11;−5⇒IA=171>62 nên điểm A nằm ngoài mặt cầu.

IB→=4;−4;16⇒IB=122>62 nên điểm B nằm ngoài mặt cầu.

⇒A,I,B không thẳng hàng.

Mặt phẳng (P) qua A và tiếp xúc với (S) nên khi (P) thay đổi thì tập hợp các đường thẳng qua A và tiếp điểm tạo thành hình nón.

Gọi AB,P=α⇒dB,P=AB.sinα đạt giá trị lớn nhất A,B,I,H đồng phẳng ⇔AIB⊥P ( H là hình chiếu của B lên (P)).

Mặt phẳng (P) qua A và nhận n→=1;m;n làm vectơ pháp tuyến nên có phương trình x+my−nz−8m−2n=0.

Mặt phẳng (P) tiếp xúc với S⇔dI,P=R.

⇔5n−11m+51+m2+n2=62⇔5n−11m+52=721+m2+n2⇔49m2−47n2−110mn+50n−110m−47=0 1

Ta có: IA→,IB→=156;70;−24.

Gọi n1→ là vectơ pháp tuyến của mặt phẳng (AIB), chọn n1→=13;5;−2.

Do AIB⊥P⇔n1→.n→=0⇔13+5m−2n=0 2.

Thế (2) vào (1) ta được phương trình:

2079m2+8910m+6831=0⇔m=−1m=−68312079l

Thay m=-1 vào (2) suy ra: n=4.

Vậy m.n=-4.

Cách 2:

Mặt cầu (S) có tâm I(5;-3;7) và bán kính R=62.

Mặt phẳng (P) qua A và nhận n→=1;m;n làm vectơ pháp tuyến nên có phương trình x+my+nz−8m−2n=0.

Mặt phẳng (P) tiếp xúc với (S):

⇔dI,P=R⇔5n−11m+51+m2+n2=62⇔dB,P=21n−15m+91+m2+n2=5n−11m+5−4m+16n+41+m2+n2≤5n−11m+5+44n−m+11+m2+n2≤62+442+−12+12n2+m2+11+m2+n2=182

Dấu bằng xảy ra khi n4=m−1=11⇔m=−1; n=4.

Vậy m.n=-4.

Hàm số y=f(x) có bảng biến thiên như hình bên