Cho phương trình x^2 - 2( m + 1)x - m^2 - 3 = 0với m là tham số.

a) Thay \(m = 0\) vào phương trình (*) ta có: \({x^2} - 2x - 3 = 0\)

Phương trình có dạng \(a - b + c = 0\) nên có hai nghiệm phân biệt \({x_1} =  - 1\); \({x_2} = 3\).

Vậy khi \(m = 0\) thì phương trình có tập nghiệm \(S = \left\{ { - 1;3} \right\}\).

b) Ta có \(a.c = 1.\left( { - {m^2} - 3} \right) =  - {m^2} - 3 < 0\) với mọi \(m\) nên phương trình \(\left( * \right)\) có hai nghiệm phân biệt trái dấu \({x_1},{x_2}\) với mọi \(m\).

Theo hệ thức Vi-et ta có :

\(\left\{ \begin{array}{l}{x_1} + {x_2} = 2\left( {m + 1} \right)\\{x_1}{x_2} =  - {m^2} - 3\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}{x_2} = 2m + 2 - {x_1}\\{x_1}{x_2} =  - {m^2} - 3\end{array} \right.\).

Theo bài ta có:

\({\left( {{x_1} + {x_2} - 6} \right)^2}\left( {{x_2} - 2{x_1}} \right) = {\left( {{x_1}{x_2} + 7} \right)^2}\left( {{x_1} - 2{x_2}} \right)\)

\( \Leftrightarrow {\left( {2m - 4} \right)^2}\left( {{x_2} - 2{x_1}} \right) = {\left( { - {m^2} + 4} \right)^2}\left( {{x_1} - 2{x_2}} \right)\)

\( \Leftrightarrow 4{\left( {m - 2} \right)^2}\left( {{x_2} - 2{x_1}} \right) = {\left( {m - 2} \right)^2}{\left( {m + 2} \right)^2}\left( {{x_1} - 2{x_2}} \right)\)

\( \Leftrightarrow {\left( {m - 2} \right)^2}\left[ {4\left( {{x_2} - 2{x_1}} \right) - {{\left( {m + 2} \right)}^2}\left( {{x_1} - 2{x_2}} \right)\,} \right] = 0\)

\( \Leftrightarrow \left[ \begin{array}{l}m = 2\\4\left( {{x_2} - 2{x_1}} \right) - {\left( {m + 2} \right)^2}\left( {{x_1} - 2{x_2}} \right) = 0\left( {**} \right)\end{array} \right.\)

Xét phương trình \(\left( {**} \right)\): \(4\left( {{x_2} - 2{x_1}} \right) - {\left( {m + 2} \right)^2}\left( {{x_1} - 2{x_2}} \right) = 0\)

Do \({x_1},{x_2}\) trái dấu nên \(\left( {{x_2} - 2{x_1}} \right);\left( {{x_1} - 2{x_2}} \right)\) trái dấu

Mặt khác \({\left( {{x_1} + {x_2} - 6} \right)^2} \ge 0;{\left( {{x_1}{x_2} + 7} \right)^2} \ge 0\) với mọi \({x_1},{x_2}\).

Do đó phương trình \(\left( {**} \right)\) vô nghiệm.

Vậy \(m = 2\).