Если положить, что сторона треугольника равна а, то сторона шестиугольника равна а/3, и большая диагональ шестиугольника равна 2а/3.
Возможны два варианта, удовлетворяющих условию задачи.
1. окружность вписана в треугольник, отсекаемый стороной шестиугольника. Сторона такого треугольника равна b = а/3.
2. окружность является вневписанной, то есть лежит за пределами треугольника, касаясь стороны и продолжения двух других. Если провести прямую, параллельную стороне, которой касается эта окружность таким образом, чтобы оокружность оказалась вписанной, то сторона получившегося правильного треугольника будет равна b = 3а.
Для правильного треугольника сторона и радиус вписанной окружности связаны так
b = 2r√3;
В условии r = √3; то есть b = 6; поэтому а = 18 или 2, а большая диагональ шестиугольника равна 12 или 4/3.