>почему в диагностике об ошибке конечному пользователю нельзя выдавать трассировку стека

Нипочему. Принято так со времён С++ (где такая трассировка могла появиться теоретически, практически же с ней проблемы). Вот-де, конечный пользователь узнает, что у нас используется, полезет ломать - ну, и как? Многих именно так сломали?

То есть конечно более правильно присвоить запросу некий id, при выдаче ошибки записать стектрейс в лог вместе этим id, а пользователю показать только id.

Но хорошо бы к столь великой правильности разработки добавить ещё профдень, библиотечный день, длительный отпуск и бесплатное жильё. А то поставят сроки как для скоростной разработки, а качества ожидают, как от правильной, вот и получается то, что получается.