
Введем прямоугольную систему координат так, как показано на рисунке. Пусть \(AD=a, BD=b, CD=c\). Тогда \(A(a;0;0)\), \(B(0;b;0)\), \(C(0;0;c)\), \(D(0;0;0)\).
Проведем \(HK\perp AB\). Так как \(DH\perp (ABC)\), то по теореме о трех перпендикулярах \(DK\perp AB\). Следовательно, \(S_{DAB}=0,5AB\cdot
DK\), \(S_{HAB}=0,5 AB\cdot HK\). Так как из прямоугольного \(\triangle
DHK\): \(HK=DK\cdot \cos\angle DKH\), то \[S_{HAB}=S_{DAB}\cdot \cos\angle DKH\quad (*)\] Заметим, что \(\angle DKH\) – угол между гранями \(ABC\) и \(DAB\).
2) 
Запишем подобные равенства для всех треугольников \(\triangle HAB,
\triangle HAC, \triangle HBC\).
Уравнение плоскости \(DAB\): \(z=0\); плоскости \(DAC\): \(y=0\); плоскости \(DBC\): \(x=0\).
Уравнение плоскости \(ABC\): \(\frac xa+\frac yb+\frac zc=1\)
По формуле косинуса угла между плоскостями: \[\begin{aligned}
&\cos \angle(ABC, DAB)=\dfrac{\frac 1c}{\sqrt{\frac 1{a^2}+\frac
1{b^2}+\frac 1{c^2}}}\\[2ex]
&\cos \angle(ABC, DAC)=\dfrac{\frac 1b}{\sqrt{\frac 1{a^2}+\frac
1{b^2}+\frac 1{c^2}}}\\[2ex]
&\cos \angle(ABC, DBC)=\dfrac{\frac 1a}{\sqrt{\frac 1{a^2}+\frac
1{b^2}+\frac 1{c^2}}}\end{aligned}\] Следовательно, так как \(S_{DAB}=0,5ab\), \(S_{DAC}=0,5ac\), \(S_{DBC}=0,5bc\), то \[\begin{cases}
\dfrac 5{11}=\dfrac 12ab\cdot \dfrac{\frac 1c}{\sqrt{\frac
1{a^2}+\frac 1{b^2}+\frac 1{c^2}}}\\[2ex]
\dfrac4{11}=\dfrac12ac\cdot \dfrac{\frac 1b}{\sqrt{\frac
1{a^2}+\frac 1{b^2}+\frac 1{c^2}}}\\[2ex]
\dfrac2{11}=\dfrac12bc\cdot \dfrac{\frac 1a}{\sqrt{\frac
1{a^2}+\frac 1{b^2}+\frac 1{c^2}}} \end{cases}\quad (**)\] Разделим первое уравнение на второе, второе на третье и получим: \[\begin{cases}
\dfrac 54=\dfrac{b^2}{c^2}\\[2ex]
2=\dfrac{a^2}{b^2}
\end{cases}\quad\Rightarrow\quad
\begin{cases} a^2=2b^2\\[2ex] c^2=\dfrac45b^2 \end{cases}\] Подставим полученные выражения для \(a\) и \(c\) через \(b\) в первое уравнение системы \((**)\), откуда найдем \(b^2\): \[b^2=\sqrt{\dfrac{10}{11}}\] Тогда \[a^2=2\sqrt{\dfrac{10}{11}}\quad {\small{\text{и}}}\quad c^2=\dfrac45
\sqrt{\dfrac{10}{11}}\] Так как объем пирамиды равен \[V=\dfrac13\cdot a\cdot \dfrac{bc}2=\dfrac16abc=\dfrac16
\cdot \sqrt{a^2b^2c^2}\] то: \[V=\dfrac2{33}\cdot \sqrt[4]{110}\]
Ответ:
\(\dfrac{2\sqrt[4]{110}}{33}\)