Si no he entendido mal, suponiendo que introducimos A=1 y B=4, el resultado será 2+3, vamos 5. Por lo tanto creo que el código sería el siguiente (sobre el tuyo):
#include <stdio.h>
#include <stdlib.h>
/Escribir un programa que calcule e imprima la suma de los números enteros comprendidos entre A y B
que deben leerse por teclado y filtrarse para que A<=B. Los valores de A y B no deben incluirse en la suma./
int main(void) {
int a,b,i,aux;
printf("Introduce el valor del primer numero\n");
fflush(stdout);
scanf("%d",&a);
printf("Introduce el valor del segundo numero\n");
fflush(stdout);
scanf("%d",&b);
aux =0;
for (i=a+1; i<b; i++)
{
aux=i+aux;
}
printf("La suma es %d",aux);
fflush(stdout);
return 0;
}
Mi consejo ahora es que te enotes las 4 variables en un papel, des valor a a y b y sigas el proceso que seguiría y los valores de cada variable linea por linea, seguro que así lo entenderás.