Насколько критично несовпадения частоты

Купил направленную антенну для yota MIG LTE MIMO 2.6-17 диапазон частот 2500-2700. Но почти сразу понял, что от йоты ничего хорошего не добьюсь, перешел на билайн, но у нас билайн работает на частоте 1815.1 / 1720.1 MHz, можно ли успешно использовать эту антенну для билайна, с учетом разных частот? До вышки метров 500, без антенны RSSI:-71dBm, RSRP:-102dBm, RSRQ:-15dB, SINR:0dB. С антенной RSRP:-83dBm, SINR от 2 до 14 постоянно скачет, и скорость скачет от 20 до 60.

Использовать можно, но надо иметь в виду, что КУ антенны на другой частоте будет значительно меньше. Насколько меньше - надо смотреть частотную х-ку антенны.

Рабочий диапазон частот мГц, 2500-2700
Коэффициент усиления антенны 17дБ. ±0,5 дБ.
Поляризация Линейная, выбирается при установке
Угол диаграммы направленности по уровню -3Дб H ± 17º; E ± 16º
Угол регулировки по вертикали  , град. ± 10º
Максимальная подводимая мощность, Вт не более 100
К.С.В.Н. менее 1,5 на участок 2500-2700 МГц
Входное сопротивление, Ом 50

Это все понятно. Частотная характеристика - это график зависимости КУ антенны от частоты. На частоте 2600 получаем заявленный КУ=17 дБи, а какой будет КУ на частоте 1800 можно узнать только посмотрев на этот график. По осям: горизонтальная ось - частота в МГц, вертикальная ось - КУ.

Без специального оборудования не определить?

У производителя должна быть такая х-ка. Попробуйте обратиться к ним.
В принципе можно как-то оценить без оборудования. Думаю, что КУ на частоте 1800 будет порядка 10-12 дБи. Вряд ли больше.

Если в радиусе 500 м. есть 3 вышки хватит такого усиления или лучше приобрести антенну с частотой 1800?

Если скорость вас устраивает, то приобретать ничего не надо. Конечно, при правильной антенне параметры будут лучше, но намного ли - вот в чем вопрос. Мегафон и Йота в этом году скорость больше 30 Мбит/с не дают, хотя в прошлом году я от Мегафона получал до 200 Мбит/с. Видимо, поставили ограничители.

с этой антенной, но без монтажа антенны (держу в руке) скорость на билайне до 50 поднимается, но не стабильно

Стабильность от антенны практически не зависит. Она зависит в основном от загрузки БС. Если скорость скачет в течение сеанса, например, в течение часа скорость сильно меняется, то это, скорее всего, влияние отраженных сигналов. Антенну поднимите повыше и появится стабильность.