[팁] MySQL 속도 튜닝

[1] 처음 Mysql을 설치하면, autocommit이 true로 설정된다.
이것은 데이터를 insert할 때마다 commit을 자동으로하기 때문에 속도가 느리다.
100,000개의 Insert 수행결과 54초 정도 걸렸다.

[2] autocommit을 false로 설정해 보았다.
방법은 [mysqld] 아래 init_connect=set autocommit=0 를 추가 하는 것이다. 그리고 mysql을 restart 해준다.
> show variables  like ‘%auto%';
+————————-+——-+
| Variable_name            | Value |
+———————-+——-+
| autocommit                  | OFF

정확하게 설정이 먹었다…
이번에 다시 똑같은 100,000개의 insert를 수행하니 26초루 줄었다…
이것두 빠르지 않넹…

[3] 이번엔 insert를 쿼리를 개선해 보았다.
inset into A (a) values (‘1′);
inset into A (a) values (‘2′);
이렇게만 insert할 수 있는지 알았는데, inset into A (a) values (‘1′),(‘2′)이와 같은 insert가 가능했다. values를 이와 같이 100개씩 붙여서 insert했더니, 7초로 확~ 줄었다.
애초 54초에 비해서 1/6배나~~~
100개 이상도 value를 붙여 보았으나 크게 차이는 없었다~~

(database) ETL 툴에 대한 장단점

장점

  1. 시각적으로 데이터 변한 Logic 에 대한 Flow 가 보이므로 처리 흐름을 쉽게 파악할 수 있다. 작성도 용이함 (Drag&Drop, 속성 지정)
  2. Job Scheduling 및 Worlflow 관리 기능이 있으므로 작업간의 연관성(Dependecy), 성공, 실패, 중지시 처리흐름 구현이 쉽고, 작업에 수행주기를 구미에 맞게 설정 가능, 이기종 DB 및 시스템간 통합이 용이함
  3. ETL 작업 수행에 대한 각종 처리 관련 통계에 대한 관리 및 확인이 용이함
    (처리건수, 처리 시간, 실패건수 , 시스템 자원 사용율)
  4. 관리의 용이성
    데이터 처리 로직을 ETL Tool통해 일원화 할 수 있고 SQL구사 능력이 높지 않아도 사용가능함
  5. 관리해야 할 시스템이 늘어 날 수록 관리가 Hand Coding에 의한 로직 보다 쉬워짐

단점

  1. License 비용
  2. 특정 ETL에 대한 종속성 (해당 Tool을 다룰 수 있는 사람이어야 함)
  3. Hand Coding으로 최적화 하는 경우 보다는 일반적으로 느림 (대량 데이터의 경우 ETL 보다 DBA가 직접 처리 하는것이 유리함)

 

 

금연 성공기 – 1일차

나는 담배를 피기 때문에 사람들과 특별히 이아기 하는 시간을 갖게 되고, 그래서 통해 더 많은 정보를 얻는다고 혼자 위안하고 있었다.

하~지~만… 담배가 일하는데 정말 도움이 안된다고 생각하기는 처음이고, 드디어 금연을 하기로 결심하여 이렇게 글도 적어본다.

나는 건강한 체질이 아니다.

그래서 술을 마셔도 해독이 늦고 담배를 피워도 뒷목이 뻐근해서 풀릴 때까지 아침 늦게까지 잠을 잔다. 요사이 주말은 거의 누워있는 시간이 점점 많아 지고 있다. 바쁜 평일을 위해서 주말 쉬는 거라고 혼자 위안삼고는 있지만 그러기에는 가족들에게 매우 미안하다.

나의 생활을 게으르게 하는 것이 바로 흡연이라는 생각이 든다.
흡연으로 인해서 뒷목이 뻐근하고 이것으로 인해서 아침에 눈을 일찍 뜰 수가 없다.
그리고 정말 하루 종일 일해도 시간이 모자란데, 잦은 흡연으로 인해 야근이 기본이 되어버렸다.
그리고 담배값을 4,500원으로 올린다고 하는데, 국가에 세금을 덜 내기 위해서라도 빨리 끊어버려야 되겠다는 생각이다.

담배 생각은 곧 연기를 내뿜는 것에 대한 습관인 것 같다.
첫째 날인 오늘, 중간 중간 담배가 생각났고, 그럴 때마다 두 가지를 실천했다.
(먹거나 자거나)

오늘 비록 먹은 건 새우깡과 저녁 식사 뿐이지만, 잠은 정말 많이 잤다.
지금은 밤 10시 직전….
이 글을 쓰면서도 나는 소시지를 먹고 있다.
글을 마무리하고, 일을 조금 하다가 23시에 바로 잘 것이다.

건강한 생활을 위해서 내일도 꼭 금연 2일차에 도전할 것이다.