too many clients에서 벗어나보자

💡 백오피스 개발 중 가장 화나게 만드는 too many clients 오류를 수정해보려 합니다.

스토어&센터 백오피스 모두 Next.js와 knex를 사용하고 있는데, 개발 과정에서 커넥션 수가 넘치는 상황이 너무나도 많이 발생했다.

(프로덕션 환경에서는 확인 해보지 않았으나) 내가 확인한 커넥션이 발생하는 케이스는

1. 페이지 이동
2. 내가 띄어논 페이지 화면에서의 코드 수정 후 저장 시 리로딩

두 가지 케이스에서 발생 하는 것을 확인 할 수 있었다.

2번 케이스의 경우 npm run start:dev 로 실행시켜놓고 계속해서 작업을 하니 문제가 되지 않나 생각이 들었다.

커넥션 수 확인 방법

SELECT
  datname,
  count(*) as connection_count
FROM
  pg_stat_activity
GROUP BY
  datname;

해결 과정

1. max_connections 수정

   전혀 도움이 되지 않았다.

   그저 연결되는 양만 많아지게 할 뿐.. 근본적인 해결책은 되지 않는다.

   무한으로 증가하는 커넥션을 막을 방법이 아니다.

2. connection pool 설정

   knexConfig 에 커넥션 풀을 설정해두었다.

      pool: { min: 2, max: 10 }

   적용한 즉시 잘 적용되나 확인은 할 수 없었으나, 추후 로그를 확인 해 봤을 때 커넥션 수에는 도움이 되지 않는 것을 확인 했다.

   커넥션 수가 초과하는 원인은 아래와 같을 수 있다고 한다.

    1.    커넥션 누수(Connection Leak):
        •    트랜잭션이나 쿼리를 실행한 후 커넥션을 제대로 반환하거나 종료하지 않는 경우, 커넥션 풀에서 커넥션이 누수되어 계속 증가할 수 있습니다.
    2.    커넥션 풀 설정이 제대로 적용되지 않음:
        •    설정 파일이나 코드에서 커넥션 풀 설정이 제대로 적용되지 않거나, 잘못된 설정이 있을 수 있습니다.
    3.    다중 인스턴스 문제:
        •    애플리케이션이 여러 인스턴스로 실행되는 경우, 각 인스턴스가 자신의 커넥션 풀을 관리하게 되어 총 커넥션 수가 증가할 수 있습니다.
    4.    커넥션 풀의 임시 증가:
        •    특정 상황에서 커넥션 풀이 일시적으로 최대 값을 초과할 수 있는 버스트(Burst) 상황이 발생할 수 있습니다. 예를 들어, 순간적으로 많은 요청이 몰릴 때 일시적으로 더 많은 커넥션이 필요할 수 있습니다.

3. 애플리케이션 종료 할 때만이라도 커넥션을 끊어버리자

   자주 종료해주면 커넥션 문제는 없을 것 처럼 보였다.

   커넥션이 끊기는 엄청난 로그들도 확인 할 수 있었다.

    async function handleExit(signal: string) {
      logger.info(`Received ${signal}. Closing database connection pool...`);
      await connection.destroy();
      process.exit(0);
    }
   
    process.on('SIGINT', () => handleExit('SIGINT'));
    process.on('SIGTERM', () => handleExit('SIGTERM'));

   

4. 커넥션을 전역으로 쓰자

   knexInstance가 있으면 있는 걸로 쓴다.

   없으면 새로 만들어서 사용한다.

    declare global {
      var knexInstance: Knex | undefined;
    }
   
    if (!global.knexInstance) {
      global.knexInstance = knex(knexConfig);
    }
   
    const connection = global.knexInstance; 

   테스트 해보니 1,2번 케이스 모두 커넥션 수가 늘어나지 않는 걸 확인 했다.

   하지만 아래와 같은 단점이 있다고 한다.

    1.    모듈 간 결합: 전역 변수를 사용하면 모듈 간 결합이 강해져 코드의 유연성과 모듈화가 떨어질 수 있습니다. 이는 코드 유지보수에 어려움을 초래할 수 있습니다.
    2.    테스트 어려움: 전역 상태를 사용하는 코드는 단위 테스트나 통합 테스트 시 독립적으로 테스트하기 어려울 수 있습니다. 테스트 환경에서 전역 상태를 초기화하거나 변경하는 데 추가 작업이 필요합니다.
    3.    다중 인스턴스 환경: 클라우드 환경이나 컨테이너화된 애플리케이션에서는 여러 인스턴스가 동시에 실행될 수 있습니다. 이 경우, 각 인스턴스가 자체 전역 커넥션 풀을 관리하게 되어 데이터베이스 커넥션 수가 예상보다 많아질 수 있습니다.
    4.    메모리 누수 가능성: 전역 변수를 사용하면 애플리케이션이 종료될 때까지 메모리에서 해제되지 않습니다. 올바르게 관리되지 않으면 메모리 누수의 원인이 될 수 있습니다.

   3번과 4번의 단점이 크리티컬하다고 느껴 조언을 구해보니 Next.js는 전역 DB Instance를 사용하는 것이 맞다고 해서 위와 같이 수정했다.