Đáp án A.

Cho hình lăng trụ ABC.A'B'C' có đáy là tam giác vuông cân tại A. Hình chiếu vuông góc của điểm A' lên mặt phẳng (ảnh 1)

Gọi \(N\) là trung điểm của \(BC,G\) là trọng tâm tam giác \(ABC\)

Hình chiếu vuông góc của điểm \(A'\) lên mặt phẳng \(\left( {ABC} \right)\) trùng với trọng tâm tam giác \(\left( {ABC} \right)\) nên \(A'G \bot \left( {ABC} \right)\)

Tam giác \(ABC\) vuông cân tại \(A\) nên \(AN \bot BC\left( 1 \right)\)

Lại có \(A'G \bot BC\left( 2 \right)\)

Từ \(\left( 1 \right)\) và \(\left( 2 \right)\) ta có \(BC \bot \left( {A'AN} \right)\)

Trong mặt phẳng \(\left( {A'AN} \right)\) từ \(N\) kẻ \(NH \bot A'A\) suy ra \(NH\) là ddonanj vuông góc chung của \(AA'\) và \(BC\) do đó \(d\left( {A'A;BC} \right) = NH = \frac{{\sqrt {17} }}{6}a\)

Đặt \(AB = 2x\)

Vì tam giác \(ABC\) vuông cân tại \(A\) nên \(BC = 2x\sqrt 2 ;AN = \frac{1}{2}BC = x\sqrt 2 \)

\(G\) là trọng tâm tam giác \(ABC \Rightarrow AG = \frac{2}{3}AN = \frac{{2x\sqrt 2 }}{3}\)

Trong tam giác vuông \(A'AG\) có \(A'{G^2} = A'{A^2} - A{G^2} = 4{a^2} - \frac{{8{x^2}}}{9}\)

Trong mặt phẳng \(\left( {A'AN} \right)\) kẻ \(GK//NH \Rightarrow GK = \frac{2}{3}NH = \frac{{a\sqrt {17} }}{9}\)

Trong tam giác vuông \(A'AG\) có

\(\frac{1}{{G{K^2}}} = \frac{1}{{A'{G^2}}} + \frac{1}{{A{G^2}}} \Leftrightarrow \frac{{81}}{{17{a^2}}} = \frac{1}{{4{a^2} - \frac{{8{x^2}}}{9}}} + \frac{1}{{\frac{{8{x^2}}}{9}}}\)

\( \Leftrightarrow \frac{{81}}{{17{a^2}}} = \frac{{4{a^2}}}{{\left( {4{a^2} - \frac{{8{x^2}}}{9}} \right).\frac{{8{x^2}}}{9}}}\)

\( \Leftrightarrow 64{x^4} - 288{a^2}{x^2} + 68{a^4} = 0\)

\( \Leftrightarrow \left[ \begin{array}{l}{x^2} = \frac{{17}}{4}{a^2} \Rightarrow x = \frac{{\sqrt {17} }}{2}a \Rightarrow AB = a\sqrt {17} \\{x^2} = \frac{1}{4}{a^2} \Rightarrow x = \frac{1}{2}a \Rightarrow AB = a\end{array} \right.\)

Mà \(AB < a\sqrt 3 \) nên \(AB = a\)

Cách để tính AB

Ta có \(NH.AA' = A'G.AN\) (vì cùng bằng 2 lần diện tích tam giác \[A'NA)\]

\( \Leftrightarrow \frac{{a\sqrt {17} }}{6}.2a = \sqrt {4{a^2} - \frac{{8{x^2}}}{9}} .x\sqrt 2 \)

\( \Leftrightarrow 16{x^4} - 72{a^2}{x^2} + 17{a^4} = 0 \Leftrightarrow \left[ \begin{array}{l}{x^2} = \frac{{17}}{4}{a^2} \Rightarrow x = \frac{{\sqrt {17} }}{2}a \Rightarrow AB = a\sqrt {17} \\{x^2} = \frac{1}{4}{a^2} \Rightarrow x = \frac{1}{2}a \Rightarrow AB = a\end{array} \right.\)

Mà \(AB < a\sqrt 3 \) nên \(AB = a.\)

\(A'{G^2} = A'{A^2} - A{G^2} = 4{a^2} - \frac{{8{x^2}}}{9} = \frac{{34{a^2}}}{9} \Rightarrow A'G = \frac{{a\sqrt {34} }}{3}\)

Thể tích \(V\) của khối lăng trụ \(ABC.A'B'C'\) là

\(V = A'G.{S_{ABC}} = \frac{{a\sqrt {34} }}{3}.\frac{1}{2}.a.a = \frac{{\sqrt {34} {a^3}}}{6}.\)

Trong khai triển (1-x)^11 hệ số của số hạng chứa x^3 là