[노드 2] 3장. 노드 기능 알아보기 (2)

 

 

🌟3장(2) 키워드🌟

fs모듈의 CRUD

동기메서드

비동기 메서드

동기-블로킹 방식과 비동기-논블로킹 방식

Buffer

Stream

 

 

 

 

3.6 파일 시스템 접근하기

 

fs 모듈 : 파일 시스템 접근 모듈 (파일 생성, 삭제, 읽기, 쓰기 | 폴더 생성, 삭제). 콜백 형식 모듈

 

웹 브라우저와 차이점 : 웹에서는 파일 시스템 접근 대부분 금지

 

 

 

아래의 두 가지 파일을 통해 fs 모듈 사용 방법 익히기 (읽기):

 

// readme.txt

짐을 읽거라

 

// readFile.js

const fs = require('fs');

fs.readFile('./readme1.txt', (err, data) => {
  if (err) {
    throw err;
  }
  console.log(data);
  console.log(data.toString());
});

 

두 파일을 작성하고 js를 실행하면, 터미널에서 아래와 같은 내용이 나온다.

 

 

위의 js 파일을 설명하자면,

1) 모듈을 부르고,

2) 읽을 파일의 경로(콘솔 기준)를 지정한다.

3) 콜백 함수를 메서드 인수로 같이 넣는다

4) 콜백 함수의 매개변수로 에러 또는 데이터를 받는다.

 

 

위의 터미널이미지의 경우 데이터를 받아온 경우.

 

 

 

버퍼 : readFile의 결과물 제공 형식. 메모리 데이터. 문자열로 변환해야 사람이 읽을 수 있음. 컴퓨터마다 다름.

 

 

 

 

 

 

프로미스 형식으로 바꾼 fs 모듈 :

const fs = require('fs').promises;

fs.readFile('./readme.txt')
.then((data) => {
    console.log(data);
    console.log(data.toString());
  })
  .catch((err) => {
    console.error(err);
  });

 

 

* promises 속성을 불러온다.

* . 마침표를 활용한다

 

 

 

 

아래의 파일을 통해 fs 모듈 사용 방법 익히기 (생성, 쓰기):

 

const fs = require('fs');

fs.writeFile('./writeme.txt', '글이 입력됩니다', (err) => {
  if (err) {
    throw err;
  }
  fs.readFile('./writeme.txt', (err, data) => {
    if (err) {
      throw err;
    }
    console.log(data.toString());
  });
});

 

 

실행하면 터미널에 아래와 같은 출력값 확인 가능

 

실제로 writeme.txt 파일 생성, 읽기 가능.

 

 

 

 

 

 

 

 

---

 

 

3.6.1 동기 메서드와 비동기 메서드

 

 

동기 방식 : fs 모듈, readFileSync, writeFileSync 등 ~Sync 메서드 (초기화할 경우)

 

비동기 방식 : setTimeout, process.nextTick 등의 대부분

 

 

 

 

 

아래의 예제를 통한 비동기 메서드 방식 관찰:

// readme2.txt

저를 여러 번 읽어보세요.

 

// async.js

const fs = require('fs');

console.log('시작');
fs.readFile('./readme2.txt', (err, data) => {
  if (err) {
    throw err;
  }
  console.log('1번', data.toString());
});
fs.readFile('./readme2.txt', (err, data) => {
  if (err) {
    throw err;
  }
  console.log('2번', data.toString());
});
fs.readFile('./readme2.txt', (err, data) => {
  if (err) {
    throw err;
  }
  console.log('3번', data.toString());
});
console.log('끝');

 

 

위의 파일 실행 결과

반복 실행 때마다 3-5 번째 줄 결과가 달라짐

 

 

실행 순서:

1) 백그라운드에 해당 파일 읽기 요청

2) 다음 작업으로 넘어가기

3) 나중에 읽기가 완료, 백그라운드가 메인 스레드에 알림 (백그라운드는 세 개를 거의 동식에 실행)

4) 메인 스레드는 그때 등록한 콜백 함수 실행

 

장점 :

I/O 요청이 많이 들어와도 메인 스레드는 백그라운드로 요청처리를 위임, 이후 새로운 요청 계속 받음.

 

 

 

 

***NOTE***

• 동기와 비동기 : 백그라운드 작업 완료 확인 여부
• 블로킹과 논블로킹 : 함수가 바로 return 되는지 여부

 

노드의 경우, 동기-블로킹 방식과 비동기-논블로킹 방식이 대부분. 나머지는 거의 없음.

• 동기-블로킹 방식 : 백그라운드 작업 완료 여부 계속 확인. 호출 함수는 백그라운드 작업 완료 후 return
• 비동기-논블로킹 방식 : 호출 함수 바로 return, 다으 ㅁ작업으로. 백그라운드 작업 완료 여부는 나중에 백 그라운드에서 끝났다고 알리면 그 때 처리 (위의 예시 사례)

 

 

 

동기 방식을 이용해 결과가 달라지지 않고 순서대로 출력할 때 코드 :

// sync.js

const fs = require('fs');

console.log('시작');
let data = fs.readFileSync('./readme2.txt');
console.log('1번', data.toString());
data = fs.readFileSync('./readme2.txt');
console.log('2번', data.toString());
data = fs.readFileSync('./readme2.txt');
console.log('3번', data.toString());
console.log('끝');

 

출력 결과

 

위의 반복시 달라지는 결과가 나오는 코드와의 차이점 :

• readFile -> readFileSync 메서드(콜백함수 X, 직접 return 값 받기. 바로 백그라운드 결과 가져옴)
• readFileSync 메서드로 인해 매우 많은 요청이 들어울 경우 성능에 문제 발생 (백그라운드 작업시 메인 스레드는 대기만 할 수 있음 - 비효율적)
• 결국, readFileSync 보다 fs 메서드 추천. 더 효율적이므로.

 

 

 

 

 

비동기 방식을 이용해 결과가 달라지지 않고 순서대로 출력할 때 코드 :

 

// asyncOrder.js


const fs = require('fs');

console.log('시작');
fs.readFile('./readme2.txt', (err, data) => {
  if (err) {
    throw err;
  }
  console.log('1번', data.toString());
  fs.readFile('./readme2.txt', (err, data) => {
    if (err) {
      throw err;
    }
    console.log('2번', data.toString());
    fs.readFile('./readme2.txt', (err, data) => {
      if (err) {
        throw err;
      }
      console.log('3번', data.toString());
      console.log('끝');
    });
  });
});

 

readFile 콜백 다음에 '}'로 닫기 전, readFile을 입력.

 

 

콘솔 출력 결과는 아래로, 동기 메서드를 사용했을 때와 결과는 동일.

 

* 단점 : 콜백 지옥 발생

 

 

 

 

 

 

위의 단점을 asyn/await와 프로미스를 이용해 어느 정도 해결한 비동기 코드는 아래와 같음.

 

// asyncOrderPromise.js

const fs = require('fs').promises;

console.log('시작');
fs.readFile('./readme2.txt')
  .then((data) => {
    console.log('1번', data.toString());
    return fs.readFile('./readme2.txt');
  })
  .then((data) => {
    console.log('2번', data.toString());
    return fs.readFile('./readme2.txt');
  })
  .then((data) => {
    console.log('3번', data.toString());
    console.log('끝');
  })
  .catch((err) => {
    console.error(err);
  });

 

 

실행 결과는 위의 사례와 동일함.

 

 

* 장점 : 비동기, 프로미스 방법 작성, 콜백 지옥 해결

 

 

---

 

 

3.6.2 버퍼와 스트림 이해하기

 

 

버퍼스트림의 내용을 사람이알아보려면 string으로 바꿔야 하는 이유가 뭘까?

-> data 가 버퍼이기 때문!

 

 

파일 읽기 쓰기 방식 :

1) 버퍼 이용

영상을 재생할 수 있을 때 까지 데이터를 모으는 동작

 

2) 스트림 이용

전송 컴퓨터에서 수신 컴퓨터로 영상 데이터를 조금씩 전송

* 스트림 과정에서 버퍼 이용 가능(너무 느린 전송 속도 보완 등)

 

 

 

노드의 파일 읽기:

파일을 읽을 때 메모리에 파일 크기만큼의 공간 마련

파일 데이터를 메모리에 저장

사용자가 해당 데이터 조작

 

 

노드의 버퍼와 스트림:

1) 버퍼 : readFile 메서드를 이용해 읽은 파일의 형식.

메모리에 저장된 데이터. 원본 데이터가 전송 전에 어느 공간에 담겨있을 때, 그 데이터를 버퍼라고 한다

 

2) 스트림 :

 

 

 

Buffer class : 버퍼를 직접 다루는 클래스. 여러 가지 메서드 제공

 

• from(문자열): 문자열을 버퍼로 바꿈. length 속성 = 버퍼의 크기. 바이트 단위.
• toString(버퍼): 버퍼를 다시 문자열로 바꿈. 이때 base64나 hex를 인수로 넣으면 해당 인코딩으로도 변환.
• concat(배열): 배열 안에 든 버퍼들을 하나로 합침.
• alloc(바이트): 빈 버퍼를 생성. 바이트를 인수로 넣으면 해당 크기의 버퍼가 생성.

 

 

 

const buffer = Buffer.from('저를 버퍼로 바꿔보세요');
console.log('from():', buffer);
console.log('length:', buffer.length);
console.log('toString():', buffer.toString());

const array = [Buffer.from('띄엄 '), Buffer.from('띄엄 '), Buffer.from('띄어쓰기')];
const buffer2 = Buffer.concat(array);
console.log('concat():', buffer2.toString());

const buffer3 = Buffer.alloc(5);
console.log('alloc():', buffer3);

 

 

 

콘솔 결과

 

* 단점 : 파일의 용량에 맞춰서 해당 크기의 버퍼를 메모리에 만들어야 함. 동시에 여러 개를 하면 메모리 문제 발생 가능. (서버 등)

* 단점 : 모든 내용을 버퍼에 다 작성한 후 다음 동작으로 진행. 매번 전체 용량의 버퍼 처리가 필요해 시간 소요

 

 

 

Buffer 해결 : 스트림

-> 버퍼의 크기를 작게 만들기

-> 데이터를 여러 번에 걸쳐 나눠 보내기

 

 

 

(버퍼) 100mb 파일 전송 -> 메모리 100mb 확보 -> 버퍼로 100mb 옮김

 

 

(스트림) 100bm 파일을 1mb로 100번 나눠 전송 -> 메모리 각각 1mb 확보 -> 버퍼로 1mb 옮김 -> 다음 메모리 각각 1mb 확보 -> 버퍼로 1mb 옮김 -> ..... " 100번 반복"

 

 

 

 

 

 

 

 

createReadStream의 예제 :

 

 

// readme3.txt

저는 조금씩 조금씩 나눠서 전달됩니다. 나눠진 조각을 chunk라고 부릅니다.

 

const fs = require('fs');

const readStream = fs.createReadStream('./readme3.txt', { highWaterMark: 16 });
const data = [];

readStream.on('data', (chunk) => {
  data.push(chunk);
  console.log('data :', chunk, chunk.length);
});

readStream.on('end', () => {
  console.log('end :', Buffer.concat(data).toString());
});

readStream.on('error', (err) => {
  console.log('error :', err);
});

 

 

 

 

 

 

콘솔 출력 결과

 

 

---

출처: 조현영, 『Node.js 교과서』 개정판 3판, 길벗(2022), 3-6장.

Node.js #2 

Editor : 라마