Node.js에서 대용량 JSON 파일 읽을 때 메모리 부족 에러 — 스트림 처리 방법

Question

김영삼 · Accepted Answer

대용량 JSON은 전체를 메모리에 올리면 안 됩니다. 스트림 파싱을 사용하세요:// jsonstream 또는 stream-json 패키지 사용
const { parser } = require('stream-json')
const { streamArray } = require('stream-json/streamers/StreamArray')
const fs = require('fs')

const pipeline = fs.createReadStream('large.json')
  .pipe(parser())
  .pipe(streamArray())

pipeline.on('data', ({ value }) => {
  // 한 건씩 처리 — 메모리 절약
  processItem(value)
})
pipeline.on('end', () => console.log('완료'))이렇게 하면 500MB 파일도 수십 MB 메모리로 처리할 수 있습니다.

프론트수진 · Answer

덕분에 완벽히 해결했습니다! 감사합니다 🙏

댓글 0