티스토리

개발 노트

검색하기

블로그 홈

개발 노트

kchanguk.tistory.com/m

창욱씨 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

Full Text Index Full Text Index 배경 일반적으로 mysql에서 문자열을 검색할 때, 텍스트 내용이 어마어마한 경우에는 성능이 저하됩니다. 이를 해결하기 위해 Full Text Index가 만들어졌습니다. Full Text Index은 첫 글자 뿐 아니라 중간의 단어나 문자응로도 인덱스를 생성해 주기 때문에 순식간에 검색 결과를 얻을 수 있습니다. Full Text Index 인덱싱 Stop-word parser 공백이나 Tab, 문장 기호 또는 사용자가 정의한 문자열을 기준으로 토큰을 나누는 기법입니다. ex) 아빠가 방에 들어갔다. -> 아빠가/방에/들어갔다 N-gram parser n-gram 기법을 이용하여 할당한 토큰의 크기 n만큼씩 데이터를 인덱스로 파싱해두었다가 사용하는 기법입니다. ex) 아빠가.. 공감수 0 댓글수 0 2023. 9. 30.
Timestamp, Datetime Timestamp 1970-01-01 00:00:01 ~ 2038-01-19 08:44:07 까지의 데이터만 지원 4byte 크기가 필요 TIMEZONE에 따라 시간 변화 가능 데이터가 숫자형으로 저장 Datetime 1000-01-01 00:00:00 ~ 9999-12-31 23:59:59 사이의 데이터 지원 5byte + 3byte(초단위를 저장하기 위함) 크기가 필요 TIMEZONE에 따라 시간 변화 불가 데이터가 문자형으로 저장 공감수 0 댓글수 0 2023. 6. 19.
varchar, char, text char 고정 크기의 문자열을 담는 데이터 타입 경우에 따라 데이터가 낭비될 수 있음 크기가 고정이라 남는 부분에 대한 연산이 필요 없기에 조회시 속도가 varchar에 비해 빠른 속도를 보임 varchar 가변 크기의 문자열을 담는 데이터 타입 인덱스 생성이 가능 text 가변 크기의 문자열을 담는 데이터 타입 최대 65535 글자를 담을 수 있지만 크기 지정 불가 길이를 표현하기 위한 2byte의 공간복잡도 존재 인덱스를 제한적으로 생성 가능. 부분 prefix 인덱스만 가능 text를 사용하는 이유 varchar 타입은 한 레코드에 65535 글자만 적재할 수 있음(한 레코드 모든 글자의 합 - InnoDB의 레코드 크기 제한사항) text 타입은 위와 같은 제한이 없고 다른 속성들과 별도로 다른 .. 공감수 0 댓글수 1 2023. 4. 22.
SQL SELECT 쿼리문 문법 순서와 실행 순서 문법 순서 SELECT > FROM > WHERE > GROUP BY > HAVING > ORDER BY 실행 순서 FROM > ON > JOIN > WHERE > GROUP BY > HAVING > SELECT > DISTINCT > ORDER BY FROM: 조회 테이블 확인 ON: 조인 조건 확인 JOIN: 테이블 조인 WHERE: 데이터 추출 조건 확인 GROUP BY: 특정 컬럼 그룹핑 HAVING: 그룹핑 이후 데이터 추출 조건 SELECT: 데이터 추출 DISTINCT: 중복 제거 ORDER BY: 데이터 순서 정렬 공감수 0 댓글수 0 2023. 3. 11.
MySQL Lock Row Level Lock Shared Lock Shared Lock은 특정 Row를 읽을 때 사용되는 Lock 입니다. Shared Lock끼리는 동시에 접근이 가능합니다. 즉 하나의 row를 여러 트랜잭션이 동시에 읽을 수 있다는 것입니다. 하지만 Shared Lock이 설정된 Row에 Exclusive Lock을 사용할 수는 없습니다. 즉, 특정 Row를 누가 읽고 있음으로 Shared Lock이 설정되어 있는데, 다른 사용자가 그 데이터에 쓰기 작업을 하기 위해 Exclusive Lock을 걸 수 없다는 의미입니다. 일반적인 Select 쿼리는 Lock을 사용하지 않고 DB를 읽어 들입니다. 하지만 Select ... FOR Share 등 일부 Select 쿼리는 특정 Row를 읽을 때 InnoD.. 공감수 0 댓글수 0 2022. 11. 14.
TRUNCATE VS DELETE VS DROP TRUNCATE 전체 데이터를 한 번에 삭제하는 방식 최초 생성되었을 당시의 STORAGE만 남기고 데이터가 담겨있던 STORAGE는 RELEASE됨 TRUNCATE 명령어를 실행하면 처음 테이블을 CREATE한 상태와 동일 자동 COMMIT이 되기 때문에 삭제된 데이터는 복구 불가 DELETE WHERE절을 사용하여 테입르에 있는 데이터를 하나하나 석택하여 제거하는 방법 WHERE절을 사용하지 않고 테이블의 모든 데이터를 삭제하더라도 내부적으로는 한줄 한줄 일일이 제거함 처리 속도가 느린 편이고 성능에 좋지 않은 영향을 줄 수 있음 COMMIT 명령어가 실행되기 전이라면 ROLLBACK 명령어를 통해 삭제된 데이터를 복구할 수 있음 데이터를 삭제하더라도 데이터가 담겨있던 STORAGE는 RELEASE .. 공감수 0 댓글수 0 2022. 11. 4.
MYSQL 5.7 특징 JSON 지원 일반적으로 text 컬럼에 json 데이터를 넣으면 나중에 검색할 때 어려움이 많습니다. 데이터를 모두 읽어서 다시 파싱하고, 특정 항목을 찾아서 테이블의 별도 컬럼에 저장한 다음에 그 컬럼으로 인덱스 생성하는 등 작업할게 많습니다. 하지만 이제 native json 데이터 타입 컬럼에 넣어두면 이 모든 작업을 간편하게 진행할 수 있습니다. 쿼리 성능 향상 임시 테이블 엔진 변경 기존에는 sub query를 사용할 때 만들어지는 임시 테이블이 MyISAM이었습니다. 그런데 MYSQL 5.7부터는 INNODB 엔진으로 바꾸면서 성능이 더 좋아졌습니다. UNION ALL 수정 더 이상 UNION ALL을 진행할 때, 임시 테이블을 생성하지 않습니다. Optimizer Hint 수정 Optimi.. 공감수 0 댓글수 0 2022. 4. 23.
Clustering Factor Clustering Factor란 Clustering Factor란 Index의 테이블에 대한 정렬 정도를 의미합니다. 정렬 정도를 측정하기 위해 DB는 Index를 scan하는 동안 방문하게 되는 Table의 데이터 블록의 갯수로 나타냅니다. 이는 Clustering Factor가 높아지면 읽어들이는 Data Block의 갯수가 많아지기 때문에 Physical Read가 높게 나온다는 것을 의미합니다. Physical Read는 성능과 밀접한 관련이 있기 때문에 Clustering Factor를 최소화하는 것이 튜닝의 중요 요소 중 하나라고 할 수 있습니다. Good Clustering Factor Good Clustering Factor란 Index 순서와 Table의 순서가 거의 완벽하게 일치하는 .. 공감수 0 댓글수 0 2022. 4. 17.
Optimizer Optimizer의 개념 Optimizer란 SQL 개발자가 SQL을 작성하고 실행할 때, Optimizer는 SQL을 어떻게 실행할 것인지를 계획합니다. Optimizer는 SQL 실행 계획을 수립하고 SQL을 실행하는 DBMS의 소프트웨어입니다. 동일한 결과가 나오는 SQL도 어떻게 실행하느냐에 따라 설능이 달라집니다. Optimizer 특징 Optimizer는 데이터 딕셔너리에 있는 오브젝트 통계, 시스템 통계 등의 정보를 사용해서 예상되는 비용을 산정합니다. Optimizer는 여러 개의 실행 계획 중에서 최저 비용을 가지고 있는 계획을 선택해서 SQL을 실행합니다. Optimizer의 필요성 개발자가 작성한 SQL문을 어떻게 실행하느냐에 따라 성능이 달라집니다. Optimizer가 비효율적으로 .. 공감수 0 댓글수 0 2022. 4. 3.
Index Scan 종류 Index Range Scan B-tree 인덱스의 가장 일반적이고 정상적인 형태의 액세스 방식입니다. 인덱스 루트에서 리프 블록까지 수직적 탐색을 하고 필요한 범위만큼 수평정 탐색하는 스캔 방식입니다. Index Range Scan을 하려면 선두 컬럼을 가공하지 않은 상태로 조건절에 사용해야 합니다. Index Full Scan Index Full Scan은 수직적 탐색 없이 인덱스 리프 블록 처음부터 끝까지 수평적으로 탐색하는 방식입니다. 데이터 검색을 위한 최적의 인덱스가 없을 때 차선으로 선택됩니다. 만약, 인덱스 선두 컬럼이 조건절에 없으면 옵티마이저는 먼저 Table Full Scan 방식을 고려합니다. 그런데 대용량 테이블인 경우에 Table Full Scan 방식이 부담된다면 옵티마이저는 .. 공감수 0 댓글수 0 2022. 3. 31.
MySQL 8 버전 특징 NoSQL MySQL Document Store는 개발자가 전통적인 SQL 관계형 응용 프로그램과 NoSQL, schema-free document 데이터 베이스 응용 프로그램일 개발하는데 최대한의 유연성을 제공합니다. 따라서 별도의 NoSQL document 데이터베이스가 필요하지 않습니다. MySQL Document Store는 multi-document 트랜젝션 지원과 schema-less JSON 문서를 위한 완전한 ACID 준수를 지원합니다. JSON MySQL 8은 NoSQL에 사용되는 JSON 데이터에 대한 다양한 함수들을 제공합니다. JSON Table Funciton: https://dev.mysql.com/doc/refman/8.0/en/json-table-functions.html J.. 공감수 0 댓글수 0 2022. 2. 23.
MySQL MySQL 아키텍처 MySQL의 전체 구조 MySQL 엔진 클라이언트로부터 접속 및 쿼리 요청을 처리하는 커넥션 핸들러와 SQL 파서 및 전처리기, 쿼리의 최적화된 실행을 위한 옵티마이저가 중심을 이룹니다. 요청된 SQL 문장을 분석하거나 최적화하는 등 DBMS 두뇌에 해당하는 처리를 수행합니다. 스토리지 엔진 실제 데이터를 디스크 스토리지에 저장하거나 디스크 스토리지로부터 데이터를 읽어오는 부분을 전담합니다. MySQL 서버에서 MySQL 엔진은 하나지만 스토리지 엔진은 동시에 여러 개를 사용할 수 있습니다. 핸들러 API MySQL 엔진의 쿼리 실행기에서 데이터를 쓰거나 읽어야 할 때는 각 스토리지 엔진에게 쓰기 또는 읽기를 요청하는데, 이러한 요청을 핸들러 요청이라고 하고 여기서 사용되는 API를 .. 공감수 0 댓글수 0 2022. 2. 21.
Elastic Search Elastic Search의 개념 Elasticsearch란 아파치 루씬(Lucene) 기반의 오픈소스 실시간 분산 검색 엔진으로 JSON 기반의 비정형 데이터 분산 검색 및 분석을 지원합니다. 설치와 서버 확장이 매우 편리하며, 실시간 검색 서비스 지원, 분산 및 병렬처리, 그리고 멀티테넌시 기능을 제공하고 다양한 기능을 플러그인 형태로 구현하여 적용할 수 있는 것이 큰 특징입니다. 또한 클러스터로 구성할 수 있기 때문에 검색 대상의 용량이 증가했을 때 대응하기가 매우 수월합니다. Elastic Search의 검색이 빠른 이유 Elastic Search와 RDB의 비교 Elastic Search는 기존의 RDBMS와 데이터를 저장하는 방식이 다릅니다. 각 text들이 포함된 document들을 나열된 .. 공감수 0 댓글수 0 2021. 7. 14.
Dinstinct와 Group by의 차이 Distinct와 Group by의 차이 Distinct는 주로 Unique한 컬럼이나 레코드를 조회하는 경우에 사용됩니다. Group by는 주로 데이터를 그룹핑해서 결과를 가져오는 경우에 사용됩니다. 두 작업은 조금만 생각해보면 동일한 형태의 작업입니다. 일부 작업의 경우 Distinct로 Group by로도 처리할 수 있는 쿼리들이 있습니다. select distinct(fd1) from tab; => select fd1 from tab group by fd1위의 예시처럼 두 개의 쿼리는 바꿔서 실행할 수 있습니다. 그리고 이런 형태의 Distinct는 내부적으로 Group by와 동일한 코드를 사용합니다. 하지만 Distint는 정렬된 결과를 반환하지 않지만, Group by는 정렬된 결과를 보내.. 공감수 0 댓글수 0 2021. 5. 3.
SQL 작성 7거지악 좌변을 가공하지 않기 DB 인덱스를 사용할 수 없는 경우 인덱스 컬럼이 비교되기 전에 변형이 일어나는 경우 부정형으로 조건을 기술(not)한 경우 인덱스 컬럼이 NULL로 비교되는 경우 옵티마이저가 필요에 다라 상기 적용원칙을 준수했음에도 불구하고 특정 인덱스의 사용을 취사선택함으로써 사용되지 않는 경우 위와 같은 경우에 인덱스를 사용할 수 없습니다. 그렇기 때문에 DB 컬럼을 가공하지 말고 상수 부분을 가공해서 사용하도록 작성합니다. 잘못된 경우 -- 인덱스 컬럼에 변형이 일어났기 때문에 인덱스 사용이 불가 SELECT dept , ename , sal FROM emp WHERE SUBSTR(job, 1, 4) = 'SALE' 바람직한 경우 SELECT dept , ename , sal FROM emp.. 공감수 0 댓글수 0 2021. 4. 1.
MySQL Storage Engine Storage Engine이란 Storage Engine의 개념 Storage Engine은 DBMS가 데이터베이스에 대해 데이터를 삽입, 추출, 업데이트 및 삭제하는데 사용하는 기본 소프트웨어 컴포넌트입니다. MySQL의 스토리지 엔진은 데이터베이스 엔진을 조작할 때, 실제 데이터를 디스크 스토리지에 저장하거나 디스크 스토리지부터 데이터를 읽어오는 부분을 DBMS 고유의 사용자 인턴페이스를 이용하는 방법과 포트 번호를 통해 하는 방법을 제공합니다. MySQL Storage Engine의 종류 MyISAM 특징 데이터 저장에 실직적인 제한이 없음 데이터를 매우 효율적으로 저장 빈번한 데이터 사용의 부하를 잘 소화함 B-tree, R-tree 그리고 Full-text Index를 지원 특정 Index에 대.. 공감수 0 댓글수 0 2020. 11. 25.
DB Cluster DB Cluster란 DB Cluster의 개념 DB Cluster란 디스크로부터 데이터를 읽어오는 시간을 줄이기 위해서 조인이나 자주 사용되는 테이블의 데이터를 디스크 내부에 같은 위치에 저장시키는 방법입니다. DB Cluster의 특징 그룹된 컬럼 데이터 행들이 같은 데이터 블록에 저장되기 때문에 디스크 I/O를 줄여줍니다. 클러스터된 테이블 사이에 조인이 발생할 경우 그 처리 시간이 단축 됩니다. 클러스터 키 열을 공유하여 한 번만 저장하므로 저장 영역의 사용을 줄입니다. 데이터 조회 성능을 향상 시키지만 데이터 저장, 수정, 삭제 또는 한 테이블 전체 Scan의 성능을 감소시킵니다. 클러스터 인덱스와 논 클러스터 인덱스 참조: https://brownbears.tistory.com/183 공감수 0 댓글수 0 2020. 11. 20.
MySQL Stored Procedure의 장단점 장점 DB의 보안이 향상됩니다. Stored Procedure는 자체적인 보안 설정 기능을 가지고 있으며, Stored program 단위로 실행 권한을 부여할 수 있습니다. 권한 제어가 가능하며, SQL 인젝션과 같은 기본적인 보안 사고를 피할 수 있습니다. 절차적 기능을 구현할 수 있습니다. SQL 문장에 IF/WHILE과 같은 제어 문장을 사용할 수 있습니다. 어떠한 어플리케이션을 사용하더라도 Stored Procedure를 이용한다면 값을 추출하는데 용이합니다. 개발 업무를 구분하여 진행할 수 있습니다. 순수하게 어플리케이션을 개발하는 조직과 DMBS 관련 코드를 개발하는 조직을 구분해 진행할 수 있습니다. DBMS 코드를 개발하는 조직은 트랜잭션 단위로 데이터베이스 관련 처리를 하는 Stored.. 공감수 0 댓글수 0 2020. 9. 17.
SQL IN과 OR의 비교 OR 어떠한 논리합 관계도 표현이 가능합니다. IN 하나의 컬럼이 여러개의 =조건을 가지는 경우에만 가능합니다. IN -> OR(가능) IN SELECT * FROM TAB1 WHERE COL IN (1, 5, 7)OR SELECT * FROM TAB1 WHERE (COL = 1 OR COL = 5 OR COL = 7)OR -> IN(불가능) OR SELECT * FROM TAB1 WHERE (COL1 = 1 OR COL = 2 OR NAME LIKE '3%')IN을 사용할 수 있는 경우라면 OR보다 IN을 사용하는 것이 좋습니다. IN은 경우에 따라서 서브쿼리를 이용하여 보다 유연한 확장이 가능합니다. IN은 반드시 하나의 컬럼이 비교되어야 하지만 OR는 여러 개의 컬럼이 올 수 있으므로.. 공감수 1 댓글수 0 2020. 9. 11.
MVCC 동시성 제어 동시성 제어란 DBMS가 다수의 사용자 사이에서 동시에 작용하는 다중 트랜잭션의 상호간섭 작용에서 Database를 보호하는 것을 의미합니다. 일반적으로 동시성을 허용하면 일관성이 낮아지게 되며 이를 그래프로 나타내면 아래와 같습니다. 다수 사용자의 동시 접속을 위해 DBMS는 동시성 제어를 할 수 있도록 Lock 기능과 SET TRANSACTION 명령어를 이용해 트랜잭션의 격리성 수준을 조정할 수 있는 기능도 제공합니다. 이렇게 동시성을 제어하는 방법에는 비관적 동시성 제어와 낙관적 동시성 제어가 있습니다. 비관적 동시성 제어 사용자들이 같은 데이터를 동시에 수정할 것이라고 가정 데이터를 읽는 시점에 Lock을 걸고, 트랜잭션이 완료될 때까지 이를 유지 SELECT 시점에 Lock을 거는.. 공감수 1 댓글수 0 2020. 6. 26.
DB Index DB Index란 DB Index는 데이터베이스 분야에 있어서 테이블에 대한 동작 속도를 높여주는 자료 구조를 말합니다. 인덱스는 테이블 내 1개 이상의 컬럼을 이용하여 생성할 수 있습니다. 인덱스는 주로 특정 값을 가지고 있는 컬럼 혹은 값을 빠르게 찾기 위해서 사용됩니다. 인덱스가 이용되지 않은 데이터베이스는 데이터를 검색할 때 전체 테이블에 걸쳐서 검색하기 때문에 테이블이 크면 클 수록 비용이 엄청나게 늘어납니다. 만약 테이블이 특정 컬럼에 대한 인덱스를 가지고 있다면, 모든 데이터를 조사하지 않고도 데이터 파일의 중간에서 검색 위치를 빠르게 잡아낼 수 있습니다. 이러한 Index는 Tree 구조로 이루어져 있습니다. 일반적으로 RDBMS에서 사용하는 Index는 B+ Tree라는 구조를 사용하고 .. 공감수 0 댓글수 0 2020. 6. 19.
Trigger Trigger는 데이터베이스 내부의 특정 테이블에 INSERT, DELETE, UPDATE와 같은 DML 문이 수행되었을 때, 데이터베이스에서 자동으로 수행되는 저장프로시져입니다. 즉, 사용자가 직접 호출하는 것이 아니라, 데이터베이스에서 자동적으로 호출하는 것이 가장 큰 특징입니다. 예를 들어, [사원]테이블에 새로운 데이터가 들어오면 [급여]테이블에 새로운 데이터를 자동으로 생성하고 싶을 경우, [사원] 테이블에 트리거를 설정하여 구현할 수 있습니다. Trigger의 성능 오버헤드가 적음 Trigger를 실행하는데 걸리는 대부분의 시간은 다른 테이블을 참조하는데 사용 Trigger에 의해 참조되는 다른 테이블의 위치가 작업 시간을 결정 지음 Trigger의 제한 Trigger는 트래잭션 제어문을 사용.. 공감수 0 댓글수 0 2020. 6. 18.
Sharding 1. Sharding이란 Sharding이란 단일의 데이터를 다수의 데이터베이스로 분산시키는 것을 말합니다. 이렇게 데이터를 분산시킴으로써 인덱스의 크기를 줄이고 작업 동시성을 늘릴 수 있습니다. Sharding은 Application Level에서도 가능하지만 Database Level에서도 가능합니다. 데이터베이스를 Sharding하게 되면 기존에 하나로 구성될 스키마를 다수의 복제본으로 구성하고 각각의 Shard에 어떤 데이터가 저장될지를 Shard Key를 기준으로 분리합니다. 2. Sharding 방법 Algorithm Sharding 데이터베이스 ID를 단순하게 나누어 샤딩하는 방식입니다. Sharding Key는 hash(key) % NUM_DB 같은 방식입니다. 장점 같은 값을 가지는 ke.. 공감수 0 댓글수 0 2020. 5. 8.
Scala Subquery vs Left Outer Join Subquery란 Subquery란 다른 하나의 SQL문장의 절에 중첩된 select 문장입니다. Select, update, delete, insert와 같은 DML 문과 create table 또는 view에서 이용 가능합니다. Subquery는 알려지지 않은 조건에 근거한 값들을 검색하는 select 문장을 작성하는데 유용합니다. Subquery는 Main Query가 실행되기 이전에 한번 실행되고 SubQuery의 결과는 Main Query에 의해 사용됩니다. Outer Join이란 Outer Join이란 Join하는 여러 테이블에서 한 쪽에는 데이터가 있고, 한 쪽에는 데이터가 없는 경우, 데이터가 있는 쪽 테이블의 내용을 모두 출력하는 것입니다. 즉, 조건에 맞지 않아도 해당하는 행을 출력하고.. 공감수 1 댓글수 0 2020. 3. 30.
Join 연산 Join이란 SQL 명령문에 의해서 여러 테이블에 저장된 데이터를 한 번에 조회할 수 있게 하는 DBMS의 기능입니다. 두 테이블 간의 곱으로 데이터를 연결하는 가장 대표적인 데이터 연결 방법입니다. 대표적인 종류로 Nested-Loop Join, Sort-Merge Join, Hash Join 등이 존재합니다. 참고로 Join 연산은 Optimizer의 성능 및 DMBS 고유의 성능 그리고 Join 연산의 알고리즘에 의해서 속도 등의 차이가 있을 수 있습니다. Nested Loop Join Nested Loop의 개념 Nested Loop란 2개 이상의 테이블에서 하나의 집합을 기준으로 순차적으로 상대방 Row를 결합하여 원하는 결과를 조합하는 방식입니다. 먼저 선행 테이블의 처리 범위를 하나씩 액세스.. 공감수 0 댓글수 0 2020. 3. 30.

728x90

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.