Hola Juan,
una restricción de calorías para bajar grasa corporal, lamentablemente no es selectiva, y responde a cuestiones genéticas. La grasa abdominal acumulada conlleva mayores riesgos para la salud, así que aunque tengas el resto del cuerpo delgado, habría que ver ese dato.
Existe el indice de cintura/cadera que te puede adelantar algo, es decir, medir ambos y dividirlos entre sí. Valores normales están dentro de 0,78-0,94 normal para hombres.
Si el índice es mayor a 1, te recomiendo que hagas una consulta con un dietista profesional para que te diseñen una dieta personalizada.
Puedes hacer es ayudarte con ejercicios, para que esa zona sea más firme en cuanto a musculatura. Además llevar una dieta equilibrada siempre ayuda a reducir grasas y estar más saludable.
Saludos