Кратко: масса ртути не изменилась, объём увеличился, а плотность уменьшилась.
Почему так:
Термометр запаян, ртуть никуда не исчезает и не добавляется. Поэтому её масса: \[ m=\text{const} \]
При нагревании ртуть расширяется — молекулы начинают двигаться быстрее, средние расстояния между ними немного возрастают. Значит, объём ртути: \[ V \uparrow \]
Плотность вычисляется по формуле: \[ \rho=\frac{m}{V} \] Масса не меняется, а объём растёт, поэтому плотность уменьшается: \[ \rho \downarrow \]
То есть при повышении температуры: масса — та же, объём — больше, плотность — меньше. Поднятие столбика ртути в термометре — следствие теплового расширения ртути, а не появления новой ртути.