Lời giải: Xét phương trình: cos²x – 4cosx + m = 0 (1)

Đặt t = cosx \(\left( {\left| t \right| \le 1} \right)\)

Khi đó phương trình (1) trở thành: t² – 4t + m = 0 (2)

Để phương trình (1) có nghiệm khi phương trình (2) có nghiệm thỏa mãn \(\left| t \right| \le 1\).

Phương trình (2) có nghiệm khi: \(\Delta ' \ge 0 \Leftrightarrow 4 - m \ge 0 \Leftrightarrow m \le 4\)(8)

Khi đó phương trình có nghiệm là: \(\left[ \begin{array}{l}t = 2 + \sqrt {4 - m} \\t = 2 - \sqrt {4 - m} \end{array} \right.\)

Mà \(\left| t \right| \le 1\)

\( \Rightarrow \left[ \begin{array}{l}\left| {2 + \sqrt {4 - m} } \right| \le 1\\\left| {2 - \sqrt {4 - m} } \right| \le 1\end{array} \right.\)

\( \Leftrightarrow \left[ \begin{array}{l}\sqrt {4 - m} \le - 1(VL)\\\left| {2 - \sqrt {4 - m} } \right| \le 1\end{array} \right.\)

\( \Leftrightarrow \left| {2 - \sqrt {4 - m} } \right| \le 1\)

\( \Leftrightarrow \left[ \begin{array}{l}2 - \sqrt {4 - m} \le 1\\2 - \sqrt {4 - m} \ge - 1\end{array} \right.\)

\( \Leftrightarrow \left[ \begin{array}{l}\sqrt {4 - m} \ge 1\\\sqrt {4 - m} \le 3\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}m \le 3\\m \ge - 5\end{array} \right. \Leftrightarrow - 5 \le m \le 3\)

Kết hợp với điều kiện (*) ta được: \( - 5 \le m \le 3\)

Vậy với \(-5 \le m \le 3\) thì phương trình đã cho có nghiệm.

Tập xác định của hàm số y = tan3x là D = R\{k2pi/3,k thuộc Z)