[Linux] 리눅스 텍스트 처리의 핵심, awk와 sed 실무 가이드 📑

리눅스 텍스트 처리 awk sed 활용법을 한 번에 정리한 실무 가이드. 로그 분석, 설정 파일 자동 치환, CSV 집계 등 개발·운영 환경에서 바로 적용할 수 있는 핵심 패턴을 예제로 설명합니다.

1. 리눅스 텍스트 처리의 핵심, awk와 sed를 실무 관점

grep/sed/awk 기능 비교

리눅스에서 시스템을 개발하거나 서버를 운영하는 사람이라면 텍스트 파일을 다루는 일은 피할 수 없다.
특히 로그 분석, 설정 파일 자동화, CSV 데이터 가공 같은 작업은 매일 반복되는 업무에 가깝다.

하지만 문제는 이렇다.

• 매번 텍스트 에디터로 열어서 편집하면 느리다.
• 복잡한 로그는 패턴이 눈에 잘 안 들어온다.
• 반복 작업은 실수 위험이 높다.

그래서 현업 엔지니어들이 가장 많이 사용하는 도구가 바로 awk / sed다.
이 두 도구는 단순한 문자열 치환을 넘어서 조건 필터링, 숫자 계산, 집계, 데이터 포맷팅, 자동화 스크립트 작성까지 모두 커버한다.

따라서 이 글에서는 다음 순서로 실무에서 바로 쓰는 리눅스 텍스트 처리 awk sed 기술을 정리한다:

1. grep / sed / awk 역할 분리
2. sed 기본 → 확장 패턴
3. awk 기본 → 실무 집계 사례
4. 로그·CSV·설정 자동화 패턴 정리
5. 실무자가 가장 많이 쓰는 조합 패턴
6. FAQ + 관련 키워드

이 구조만 알고 있어도 대부분의 로그 처리 작업을 원라이너 수준으로 해결할 수 있다.

---

2. grep / sed / awk 역할 한 번에 구분하기

grep → sed → awk 데이터 처리 흐름도

리눅스 텍스트 처리의 기본은 grep → sed → awk 세 도구를 정확히 구분하는 것이다.

세 도구는 비슷해 보이지만 역할이 명확히 다릅니다.

✔ grep: 필요한 줄을 찾는다 (필터)

grep "ERROR" app.log

• 특정 패턴을 포함한 줄만 찾는다
• 즉, “라인 선택” 담당

✔ sed: 줄의 내용을 바꾼다 (치환/삭제/삽입)

sed -i 's/debug=1/debug=0/' app.conf

• 특정 문자열을 교체하거나 삭제
• 설정 파일 자동 변환
• “라인 편집” 담당

✔ awk: 각 줄을 필드 단위로 계산/집계

awk '{ cnt[$1]++ } END { for(ip in cnt) print ip, cnt[ip] }'

• 공백/콤마/탭으로 구분된 텍스트를 필드 단위로 분석
• 합계, 평균, 그룹 집계 등 숫자 계산
• “데이터 분석” 담당

🎯 한 줄 요약

줄을 고를 때 → grep  
줄 내용을 바꿀 때 → sed  
줄 안의 데이터를 계산할 때 → awk

 

이 조합이 리눅스 텍스트 처리의 핵심이다.

---

3. sed : 텍스트 스트림 편집기의 핵심 정리

Sed 동작 구조도

sed는 입력 스트림을 한 줄씩 Pattern Space에 적재해 명령을 적용하고, 
가공된 결과를 출력 스트림으로 보내는 구조로 동작합니다.

기본 형태

sed '동작' 파일명

 

1) sed의 가장 기본 — 치환(s)

특정 문자열 치환

sed 's/old/new/' file.txt

 

한 줄에서 모든 old를 대체

sed 's/old/new/g'

 

정규식 적용

숫자로 시작하는 문자열을 XXX로 변경:

sed 's/^[0-9]\+/XXX/'

 

2) 원본 파일 직접 수정하기(-i)

sed -i 's/debug=1/debug=0/' /etc/app.conf

 

백업 파일을 남기고 싶다면:

sed -i.bak 's/debug=1/debug=0/' /etc/app.conf

 

3) 줄 삭제(d) — 번호/패턴 기반

번호로 삭제

sed '5d' file
sed '10,20d' file

 

패턴으로 삭제

sed '/ERROR/d'
sed '/^#/d'
sed '/^$/d'

 

4) 특정 줄만 출력(p)

sed -n '5p'
sed -n '10,20p'
sed -n '/ERROR/p'

 

-n 옵션은 “기본 출력 억제” 역할.

5) 줄 삽입/추가 (i, a)

라인 위에 삽입:

sed '5i 새 줄이 5번째 줄 위에 추가됩니다.'

 

라인 아래 삽입:

sed '5a 새 줄이 5번째 줄 아래에 추가됩니다.'

 

특정 패턴 아래 삽입:

sed '/pattern/a ### 중요 설정 시작 ###'

 

6) 여러 치환을 동시에 실행하기

sed -e 's/foo/bar/g' -e 's/on/off/g'

 

또는 스크립트 블록:

sed '
s/foo/bar/g
s/on/off/g
'

 

7) 실무 sed 패턴 모음

주석 제거

sed '/^#/d'

 

빈 줄 제거

sed '/^$/d'

 

앞뒤 공백 제거

sed 's/^[ \t]*//;s/[ \t]*$//'

 

KEY=VALUE에서 VALUE만 추출

echo "KEY=VALUE" | sed 's/^[^=]*=//'

 

---

4. awk 는 로그·CSV 분석에 좋 도구

awk 필드 구조

awk는 줄을 필드 단위로 나누고 숫자 계산과 조건 필터링까지 가능한 작은 프로그래밍 언어입니다.

기본 문법

awk '{ 동작 }' 파일

 

• $0 : 전체 줄
• $1 : 첫 번째 필드
• $NF : 마지막 필드
• NR : 현재 줄 번호
• NF : 필드 개수

기본 구분자: 공백(스페이스/탭)

1) 필드 출력

awk '{ print $1, $3 }' file

 

CSV에서:

awk -F',' '{ print $1, $3 }'

 

2) 조건 필터링

3열이 30 이상인 줄만:

awk '$3 >= 30'

 

ERROR 포함한 줄만:

awk '$0 ~ /ERROR/'

 

DEBUG 미포함:

awk '$0 !~ /DEBUG/'

 

3) 합계/평균 구하기 (END 블록)

합계:

awk '{ sum += $2 } END { print sum }'

 

평균:

awk '{ sum += $2; cnt++ } END { print sum/cnt }'

 

4) NR/NF 활용

필드 개수 출력:

awk '{ print NF }'

 

헤더 건너뛰기:

awk 'NR>1'

 

---

5. 로그·CSV 실무 예제 모음

1) Nginx 로그에서 IP별 요청 수 집계

awk '{ cnt[$1]++ } END { for(ip in cnt) print cnt[ip], ip }' access.log | sort -nr | head

 

2) ps 결과에서 CPU 사용률 상위 5개

ps aux | awk '{ print $3, $11 }' | sort -nr | head -5

 

3) CSV 특정 컬럼 합계

awk -F',' '{ sum += $3 } END { print sum }'

 

---

6. sed vs awk

구분	sed	awk
역할	문자열 치환/삭제/삽입	필드 기반 분석/계산/집계
기준	정규식·문자열	칼럼(필드)
강점	설정값 변경, 문자열 수정	로그집계, 숫자 계산, CSV
난이도	단순	더 복잡하지만 강력

결론

• 텍스트 자체를 바꾸고 싶으면 sed
• 텍스트 데이터를 분석하고 계산하려면 awk

실무에서는 보통:

grep → sed → awk

 

순으로 파이프를 조합한다.

---

7. 가장 많이 쓰는 실무 조합

1) ERROR 로그에서 에러 코드별 카운트

grep "ERROR" app.log \
| awk '{ cnt[$3]++ } END { for(c in cnt) print c, cnt[c] }'

 

2) 설정 파일의 특정 옵션만 정확히 변경

sed -i 's/^enable_feature_x=.*/enable_feature_x=1/' app.conf

 

3) du 결과 용량 큰 순 정렬

du -sh * | sort -hr

 

---

8. 기본 패턴만 익혀도 실력 70% 완성

1) sed 기본 패턴 5개

sed 's/old/new/' file
sed 's/old/new/g' file
sed -i 's/old/new/g' file
sed '/^#/d'
sed '/^$/d'

 

2) awk 기본 패턴 5개

awk '{ print $1, $2 }'
awk -F',' '{ print $1, $3 }'
awk '$3 > 100'
awk '{ sum += $2 } END { print sum }'
awk '{ cnt[$1]++ } END { for(k in cnt) print k, cnt[k] }'

 

---

9. FAQ (자주 나오는 질문)

Q. sed와 awk 중에 무엇을 먼저 배워야 하나?

A. 문자열 치환이 많다면 sed → 그다음 awk 순서가 좋다.

Q. 로그 분석만 한다면 awk만으로 가능한가?

A. 가능하지만 grep/sed 조합이 훨씬 효율적이다.

Q. Python으로 하면 안 되나?

A. 가능하지만 리눅스 서버에선 원라이너가 더 빠르다.

Q. CSV 수백 MB도 awk로 처리되나?

A. 된다. 매우 빠르다.

---

10. 리눅스 텍스트 처리 awk sed는 어떤 효과를 주는가?

이 글의 내용을 숙지하면 다음 효과가 있다:

• 로그 분석 속도가 비약적으로 빨라진다
• 반복되는 설정 파일 수정 작업을 자동화할 수 있다
• CSV 기준 숫자 계산을 즉석에서 수행할 수 있다
• 엑셀 없이도 원본 데이터를 빠르게 정리할 수 있다
• DevOps / 서버운영 / 임베디드 환경에서 필수 스킬 확보

특히 개발자와 운영자가 함께 보는 환경에서는
“awk/sed 다룰 줄 아는 사람”이 업무 속도 자체가 다르다.

 

 

이전글 보기

[Linux] ln — 심볼릭 링크와 하드 링크 완전 정복 🧩

 

다음글 보기

[Linux] ps / top — 프로세스와 시스템 상태 완전 정복 🧠