Cho hình chóp S.ABC có đáy ABC là tam giác vuông tại B

Cạnh bên \(SA\) vuông góc với đáy nên góc tạo bởi đường thẳng \(SC\) với mặt phẳng \(\left( {ABC} \right)\) là góc \(\widehat {SCA}\). Theo bài ra ta có \(\widehat {SCA} = 60^\circ \)\( \Rightarrow SA = AC\tan \widehat {SCA} = 5a \cdot \tan 60^\circ = 5a\sqrt 3 \).

Gọi \(N\) là là trung điểm của cạnh \(BC\), ta có \(MN{\rm{//}}AB\)\( \Rightarrow AB{\rm{//}}\left( {SMN} \right)\).

Do đó \(d\left( {AB,SM} \right) = d\left( {AB,\left( {SMN} \right)} \right) = d\left( {A,\left( {SMN} \right)} \right)\).

Trong mặt phẳng \(\left( {ABC} \right)\), kẻ \(AH \bot MN\)\( \Rightarrow \) tứ giác \(ABNH\) là hình chữ nhật.

Trong mặt phẳng \(\left( {SAH} \right)\), kẻ \(AK \bot SH\). \(\left( 1 \right)\)

Do \(AH \bot MN\) và \(SA \bot MN\) nên \(MN \bot \left( {SAH} \right)\) \( \Rightarrow MN \bot AK\). \(\left( 2 \right)\)

Từ \(\left( 1 \right)\) và \(\left( 2 \right)\) suy ra \(AK \bot \left( {SMN} \right)\) \( \Rightarrow d\left( {A,\left( {SMN} \right)} \right) = AK\).

Xét tam giác vuông \(SAH\), ta có \(\frac{1}{{A{K^2}}} = \frac{1}{{A{H^2}}} + \frac{1}{{S{A^2}}} = \frac{1}{{{{\left( {2a} \right)}^2}}} + \frac{1}{{{{\left( {5a\sqrt 3 } \right)}^2}}} = \frac{{79}}{{300{a^2}}}\).

\( \Rightarrow AK = \frac{{10a\sqrt 3 }}{{\sqrt {79} }}\). Vậy \(d\left( {AB,SM} \right) = \frac{{10a\sqrt 3 }}{{\sqrt {79} }}\). Chọn D.