Cho hình chóp S.ABC có đáy ABC là tam giác vuông tại
Sử dụng định lí Pythagore ta tính được \(AC = 5a\).
Có \(\left( {SC,\left( {ABC} \right)} \right) = \widehat {SCA} = 60^\circ \). Suy ra \(SA = AC \cdot \tan 60^\circ = 5a\sqrt 3 \).
Gọi \(N\) là trung điểm \(BC\)\( \Rightarrow AB{\rm{//}}\left( {SMN} \right)\)
\( \Rightarrow d\left( {AB,{\rm{ }}SM} \right) = d\left( {A,\left( {SMN} \right)} \right)\).
Dựng \(AH \bot MN\) tại \(H\) trong mặt phẳng \(\left( {ABC} \right)\).
Dựng \(AK \bot SH\) tại \(K\) trong mặt phẳng \(\left( {{\rm{S}}AH} \right)\).

\( \Rightarrow AK \bot \left( {SMN} \right)\) tại \(K\) nên \(d\left( {A,\left( {SMN} \right)} \right) = AK\)\[ \Rightarrow d\left( {AB,SM} \right) = AK\].
Ta có: \(AH = NB = 2a\).
Khi đó, \(\frac{1}{{A{K^2}}} = \frac{1}{{A{H^2}}} + \frac{1}{{S{A^2}}} = \frac{1}{{4{a^2}}} + \frac{1}{{75{a^2}}} = \frac{{79}}{{300{a^2}}}\)\( \Rightarrow AK = \frac{{10a\sqrt 3 }}{{\sqrt {79} }}\). Chọn B.