Trong không gian Oxyz, cho hai mặt phẳng (alpha): x-my + z +6m +3=0

Mặt phẳng α:x−my+z+6m+3=0 có một vectơ pháp tuyến là n1→=1;−m;1, và mặt phẳng β:mx+y−mz+3m−8=0 có một vectơ pháp tuyến là n2→=m;1;−m.

Ta có M−3m+4m−3;0;−3m−4m∈Δ=α∩β. 

Do đó Δ có một vectơ chỉ phương là u→=n1→;n2→=m2−1;2m;m2+1.

Gọi (P) là mặt phẳng chứa đường thẳng Δ và vuông góc với mặt phẳng Oxy. Khi đó P có một vectơ pháp tuyến là n→=u→;k→=2m;1−m2;0.

Phương trình mặt phẳng (P) là : 2mx+1−m2y+6m2+6m−8=0.

Vì Ia;b;c∈Oxy nên I(a;b;0).

Theo giả thiết ta suy ra (P) là tiếp diện của mặt cầu S⇒dI;P=R

⇔2ma+1−m2b+6m2+6m−84m2+1−m22=R>0

⇔2ma+3+6−bm2+b−8m2+1=R>0

⇔2ma+3+6−bm2+b−8=Rm2+12ma+3+6−bm2+b−8=−Rm2+1

⇔2a+3=06−b=Rb−8=RR>02a+3=06−b=−Rb−8=−RR>0⇔a=−36−b=b−8R=6−b>0a=−3=06−b=b−8−R=6−b<0⇒a=−3b=7.

Vậy I(-3;7;0), do đó P=10a2−b2+3c2=41.