Виженер

Существует ли метод дешифрования криптограммы, зашифрованной шифром Виженера. Исходные данные: открытый текст-английский (знаю вероятности букв) и имею шифрованный текст криптограммы.

Здесь общеизвестная теория
https://studref.com/403679/informatika/teoriya_kriptoanaliza_shifra_vizhener

На занятии по разбору криптостойкости системы RSA студент(слушатель) задал интересный(с моей точки зрения) вопрос, который выкладываю здесь.
Пусть получили шифрованное сообщение системы RSA, открытый ключ знаем, зашифруем им это шифрованное сообщение, потом снова зашифруем и т.д. Что увидим в этом процессе?

Решаю систему линейных стохастических уравнений
679x1+0x2+70x3+251x4=267
251x1+679x2+0x3+70x4=518
70x1+251x2+679x3+0x4=170
Решение калькулятор-онлайн:
x1=14103705/36012206
x2=22224897/36012206
x3=- 653363/36012206
x4=336967/36012206
Что за ерунда, откуда отрицательные значения, у меня одни вероятности

Некоторая цифра зашифрована шифрсистемой RSA, получился шифртекст 125. Известен модуль m=391 и открытый ключ е=3. Секретный ключ не известен. Требуется дешифрование. Я сделал, но не уверен-7.
Задача олимпиады ИКСИ.

Пошел на олимпиаду ИКСИ без подготовки, получил вот такую задачу, как к ней подходить?
Сообщение было зашифровано шифром Виженера с использованием ключевого слова из пяти букв. Результат зашифрования выглядит так:

мхлщлифцбдюгишсптаивпбьдюолдьуэюыйемхл

Восстановите исходное сообщение и ключевое слово.

Как обнаружить, что две криптограммы зашифрованы одинаковой гаммой(одинаковым модульным гаммированием). Надо задачу поставить математически. В книгах описывются разные практические методы, например, протяжка вероятного слова, но нет строгой математической постановки. А у меня дипломная работа математическая.