Giả sử \(A\left( {m;0;0} \right),B\left( {0;n;0} \right)\) với \(m > 0,n > 0\).

Do đó phương trình mặt phẳng \(\left( P \right):\frac{x}{m} + \frac{y}{n} + \frac{z}{3} - 1 = 0\).

Theo giả thiết \(G\left( {a;b;c} \right)\) là trọng tâm tam giác \(ABC\) \( \Rightarrow m = 3a,n = 3b,c = 1\).

Mặt phẳng \(\left( P \right)\) đi qua điểm \(M\left( {1;8;0} \right)\) nên \(\frac{1}{m} + \frac{8}{n} - 1 = 0 \Rightarrow m = \frac{n}{{n - 8}}\) với \(n > 8\).

Vì \(OG\) nhỏ nhất nên \(P = {a^2} + {b^2} + {c^2} = \frac{{{{\left( {\frac{n}{{n - 8}}} \right)}^2}}}{9} + \frac{{{n^2}}}{9} + 1\) đạt giá trị nhỏ nhất.

Đặt \(f\left( n \right) = \frac{{{{\left( {\frac{n}{{n - 8}}} \right)}^2}}}{9} + \frac{{{n^2}}}{9} + 1\). Suy ra \(f'\left( n \right) = \frac{1}{9}\left( {\frac{{ - 2n}}{{n - 8}}.\frac{8}{{{{\left( {n - 8} \right)}^2}}} + 2n} \right)\).

Có \(f'\left( n \right) = 0 \Leftrightarrow n = 10\)(thỏa mãn).

Bảng biến thiên

Diện tích của hình chữ nhật (ảnh 1)

Dựa vào bảng biến thiên ta có minP khi \(n = 10\). Suy ra \(m = 5;a = \frac{5}{3},b = \frac{{10}}{3}\).

Vậy \(G\left( {\frac{5}{3};\frac{{10}}{3};1} \right)\).

Phương trình mặt phẳng ( Oxy ) là