Cho a, b là các số nguyên dương và q = (a^2 + b^2) / (ab + 1)

Giả sử q không phải là số chính phương

Xét tập S(q) = \(\left\{ {\left. {\left( {a;b} \right) \subset {{\left( {{\mathbb{N}^*}} \right)}^2}} \right|q = \frac{{{a^2} + {b^2}}}{{ab + 1}}} \right\}\). Theo giả thiết S(q) ≠ ∅ nên theo nguyên lý cực hạn tồn tại cặp số (A; B) thuộc S(q) sao cho A + B nhỏ nhất.

Giả sử A ≥ B.

Xét phương trình q = \(\frac{{{x^2} + {B^2}}}{{Bx + 1}} \Leftrightarrow {x^2} - Bqx + {B^2} - q = 0\)

Rõ ràng A là một nghiệm của phương trình. Giả sử nghiệm còn lại là a.

Theo định lý Vi–ét ta có:

\(\left\{ \begin{array}{l}A + a = Bq\\Aa = {B^2} - q\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}a = Bq - A\left( 3 \right)\\a = \frac{{{B^2} - q}}{A}\left( 4 \right)\end{array} \right.\)

Đến đây ta có thể đi đến kết luận A ≤ a.

Theo phương trình trên thì A² ≤ Aa = B² + 6 ⇔ (A – B)(A + B) ≤ 6.

Từ đó suy ra (A – B)(A + B) ∈ {0;1;2;3;4;5;6} với A ≥ B.

Từ đây kiểm tra được chỉ có cặp A = B = 1 thỏa mãn p là số nguyên dương

Khi đó: p = 8 là số lập phương

Như vậy với mọi số nguyên dương thỏa mãn điều kiện bài toán thì p = 8 (A = B = 1 chỉ là các số nhỏ nhất thỏa mãn tính chất này)

Vậy giả sử ban đầu là sai.

Vậy p là số chính phương.