CORS 에러가 개발 서버에서만 발생합니다

React(localhost:3000)에서 Express API(localhost:4000)를 호출하면 CORS 에러가 납니다.

Access to fetch at 'http://localhost:4000/api/users' 
from origin 'http://localhost:3000' has been blocked 
by CORS policy

프로덕션에서는 같은 도메인이라 문제없는데 개발할 때만 이런 에러가 나니까 매번 불편합니다. 프록시 설정을 해야 한다고 하는데 어떻게 하는 건가요?