Ta có 4sin²2x – 3sin2x.cos2x – cos²2x = 0 (1)

Trường hợp 1: cos2x = 0.

Phương trình (1) tương đương với: 4sin²2x = 0.

⇔ sin2x = 0 (loại vì cos2x = 0).

Trường hợp 2: cos2x ≠ 0.

Chia hai vế của phương trình (1) cho cos²2x, ta được: 4tan²2x – 3tan2x – 1 = 0.

⇔tan2x=1tan2x=−14.

⇔2x=π4+kπ2x=arctan−14+kπ k∈ℤ

⇔x=π8+kπ2x=12arctan−14+kπ2 k∈ℤ

So với điều kiện cos2x ≠ 0, ta nhận x=π8+kπ2;x=12arctan−14+kπ2 k∈ℤ.

•Vì x ∈ (0; π) nên 0<π8+kπ2<π

⇔−π8<kπ2<7π8.

⇔−14<k<74

Mà k ∈ ℤ, suy ra k ∈ {0; 1}.

Do đó x=π8; x=5π8 .

•Vì x ∈ (0; π) nên .

⇔−12arctan−14<kπ2<π−12arctan−14.

⇔−1πarctan−14<k<2−1πarctan−14.

Mà k ∈ ℤ.

Suy ra k ∈ {1; 2}.

Do đó x=12arctan−14; x=12arctan−14+π2.

Vậy trong (0; π), phương trình đã cho có nghiệm là: x=π8; x=5π8; x=12arctan−14; x=12arctan−14+π2.

Do đó ta chọn phương án D.

Rút gọn: căn 14- căn 6căn 5+căn 9 -4 căn 5 .