Lời giải:

Ta có: 3.(a² + b² + c²) = (a + b + c)(a² + b² + c²)

= a³ + ab² + ac² + a²b + b³+ bc² + ca² + cb² + c³

= (a³ + b³ + c³) + (ab² + bc² + ca²) + (a²b + b²c +c²a)

Áp dụng BĐT AM – GM, ta có:

· a³ + ab² \( \ge \) \(2\sqrt {{{\rm{a}}^4}{{\rm{b}}^2}} \)= 2a²b

· b³ + bc² \( \ge \) \(2\sqrt {{{\rm{b}}^4}{{\rm{c}}^2}} \)= 2b²c

· c³ + ca² \( \ge \) \(2\sqrt {{{\rm{c}}^4}{{\rm{a}}^2}} \)= 2c²a

Suy ra (a³ + b³ + c³) + (ab² + bc² + ca²) \( \ge \) 2.(a²b + b²c +c²a)

(a³ + b³ + c³) + (ab² + bc² + ca²) + (a²b + b²c +c²a) \( \ge \) 3.(a²b + b²c +c²a)

3.(a² + b² + c²) \( \ge \) 3.(a²b + b²c +c²a)

a² + b² + c² \( \ge \) a²b + b²c +c²a

\(\frac{1}{{{{\rm{a}}^{\rm{2}}}{\rm{b + }}{{\rm{b}}^{\rm{2}}}{\rm{c + }}{{\rm{c}}^{\rm{2}}}{\rm{a}}}} \ge \frac{1}{{{{\rm{a}}^{\rm{2}}}{\rm{ + }}{{\rm{b}}^{\rm{2}}}{\rm{ + }}{{\rm{c}}^{\rm{2}}}}}\)

a² + b² + c² +\(\frac{{{\rm{ab + bc + }}{\rm{ ca}}}}{{{{\rm{a}}^{\rm{2}}}{\rm{b + }}{{\rm{b}}^{\rm{2}}}{\rm{c + }}{{\rm{c}}^{\rm{2}}}{\rm{a}}}} \ge \frac{{{\rm{ab + bc + ca}}}}{{{{\rm{a}}^{\rm{2}}}{\rm{ + }}{{\rm{b}}^{\rm{2}}}{\rm{ + }}{{\rm{c}}^{\rm{2}}}}}\)+ a² + b² + c²

=\(\frac{{{{({\rm{a + b + c)}}}^2} - ({{\rm{a}}^{\rm{2}}}{\rm{ + }}{{\rm{b}}^{\rm{2}}}{\rm{ + }}{{\rm{c}}^{\rm{2}}})}}{{\rm{2}}}.\frac{{\rm{1}}}{{{{\rm{a}}^{\rm{2}}}{\rm{ + }}{{\rm{b}}^{\rm{2}}}{\rm{ + }}{{\rm{c}}^{\rm{2}}}}}\)+a²+b²+c²

Gọi a² + b² + c² = t

Suy ra P \( \ge \) \(\frac{{{3^2} - {\rm{t}}}}{{{\rm{2t}}}}\)+ t = \(\frac{{9 - {\rm{t}}}}{{{\rm{2t}}}}\) + t

Bài toán trở thành tìm GTNN của \(\frac{{9 - {\rm{t}}}}{{{\rm{2t}}}}\) + t

Theo BĐT Bunhiacopxki, ta có:

(a² + b² + c²)(1² + 1² + 1²) \( \ge \) (a.1 + b.1 + c.1)²

a² + b² + c² \( \ge \) \[\frac{{{{({\rm{a + b + c)}}}^2}}}{3}\] = \[\frac{{{3^2}}}{3}\] = \[\frac{9}{3}\]

t \( \ge \) 3

Đặt A = \(\frac{{9 - {\rm{t}}}}{{{\rm{2t}}}}\) + t

Thử các giá trị của t, ta có:

t = 3 thì A = 4

t = 3,5 thì A = 4,29

t = 4 thì A = 4,625

t = 5 thì A = 5,4

t = 6 thì A = 6,25

Nhận thấy biểu thức A tăng dần khi t tăng

Do đó \[{{\rm{A}}_{\min }}\] = 4 tại t = 3

Vậy \[{{\rm{P}}_{\min }}\] = 4 tại a = b = c = 1.

a^3-3ab^2 = 2; b^3-3a^2b=-11