Неожиданно получаю одинаковые ответы на одинаковые вопросы:

Практически, так «настоящая» нейросеть работать не должна. Видимо, включается оптимизация расходов.

Кстати, в «реальном» прототипе «настоящей» нейросети, а именно в человеческом мозге, также встроена куча оптимизаций, чтобы проводить поменьше дорогостоящих вычислений. Например, именно поэтому у нас, кожаных, есть так называемые «когнитивные искажения».