자동화로 인턴 한 명의 일자리를 증발시켜 버린 디시인의 썰
![[일반] 내 노가다 업무를 자동화한 경험.experience
116.84) 2024.10.02 15:34
조회수 3329 추천 46 25
특걀 매일 눈팅하는데
글 묻힐게 변하지만 내 경험을 공유해보려 함.
내 업무환경
1. 주기적으로 서류 뭉치 약 500~2000장정도가 1~2주 간격으로 옴. 그 게한 문서가 아니고, 여러 문서 다발임.
*문서 하나는 주로 3~50장정도로 구성됨. 즉, 문서 200-500개가 1-2 주에 한번에 들어옴
2. 검토
3. 현실적으로 200~500장을 따로따로 스캔할 수 없으므로 한번에 스캔, (o cr없는 pdf 파일 1개가 생성됨)
* 즉, A라는 파일 안에
A [1], [2], [3], [4]..... [500]] 와 같이 구성되어 있는 상태.
4. pdf 열고 문서 하나하나 분리
5. 분리된 파일 제목을 문서 번호로 지정해줘야 함.
여기까지 500장 정도에 1시간 45분정도가 걸림.
6. 문서 번호를 보고 어떤 종류의 문서인지 파악한 뒤 양식에 맞추어 이름 변경해줘야 함.
7. 이름 변경하고 올바른 폴더에 넣고, 리스트업(인덱싱) 해야 함.
여기까지 추가로 3시간정도 걸림*****
그래서 500장정도 들어오면 총 4시간 45분정도 소요됨.
자동화 CoT (Chain of Thoughts) 과정
1. 문서 길이에 규칙이 없어서 일괄로 나눌수 없었음. 문서 하나가 2장 이라면 모조리 2장으로 나뉘버리면 되지만 그게 안됨
2. 즉 파일 뭉치 안에 수없이 많이 껴있는 '첫 장' 양식을 인식해야 하는
문제임. 지금까지 ocr 돌리고 텍스트로 읽으면 되지않을까 해서 그쪽으 로 접근했는데 ocr 오류율이 너무 높아서 수기로 해왔던 것임. (파이테 서랙은 개새끼다)
3. chat gpt 01 과 함께 협업해볼 것을 결심. 01이 open cv template
matching 을 써볼것을 제안함. 간단히 말해서 이미지 인식 알고리즘을 써봐라 해서 이쪽으로 접근, 생각치도 못한 접근이었다 (개발자가 아니
라서 테크닉이 떨어지는건 양해바란다)
4. 중간에 구글링으로 알게된 테크닉 등 01과 함께 협업해서 자동화 시 도
5. 예외 설정이 좀 많고 공부해야 할 것도 많아서 총 소요시간은 3일 (하루 5시간 정도, 15시간)
6. 다행히 영어를 할줄 알아서 prompt에 영어로 입력, 한국어로 설명시 g pt 이해력이 떡락함.
자동화 결과
1. 문서 9800장 넣고 백테스트 결과 오류율 0%.
2. 시간이 좀 걸리긴 하는데 사무용 컴퓨터라 gpu도 없고, 나온지 꽤 된
거라 cpu도 안좋아서 좀 걸리는걸로 추정, 평균 1장에 0.05초정도 소요 팀,
3. 개선의 여지는 머신러닝을 돌려야 하는데 이 부분은 아직 공부중이라 부족함, 일단 단순 templatematching으로도 충분히 성능 좋음.
즉 1~2주에 한번씩 의미없이 2-5시간 낭비하던거
500장 feed시 단 18~20초로 "딸깍" 성공,
이 일이 중요도는 높은데, 단순 작업이고, 은근히 시간 많이 잡아먹는데, 자 동화 할 수 없어서 인턴 고용해서 이런 일 시켜 왔었음.
이번에 내가 인턴 자리를 없애버린 것임.
미래에 내 자리도 이렇게 없어질거라 생각하니 마음이 좀 아프다....
그래도 이런 인스턴스 공유해주면 특붕이들 좋아할거라
내 경험 주절주절 써봤다](https://blog.kakaocdn.net/dn/MbbsX/btsJ3G39OvF/0EIRW0PAJjejmY69zu6HLK/img.jpg)
출처 : [일반] 내 노가다 업무를 자동화한 경험.experience - 디시인사이드 특이점이 온다 갤러리
[30년 전 여름으로 시간여행] 청소년 잡지 '학생과학' 1991년 7월호
[30년 전 여름으로 시간여행] 청소년 잡지 '학생과학' 1991년 7월호
[30년 전 여름으로 시간여행] 청소년 잡지 '학생과학' 1991년 7월호" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스" data-ke-type="html">HTML 삽입미리
cutekorean.tistory.com
[드라마 '안나'] 사람의 귀티와 여유는 머릿결과 구두에서 티가 난다
[드라마 '안나'] 사람의 귀티와 여유는 머릿결과 구두에서 티가 난다
[드라마 '안나'] 사람의 귀티와 여유는 머릿결과 구두에서 티가 난다" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스수많은 여성들의 마음에 잔잔한 충격을 준 한마디, '머릿결과 구두를 보면
brilliantkorean.tistory.com
[아인슈타인의 십자가] 세기의 대천재도 예측하지 못했던 천체 현상의 발견
[아인슈타인의 십자가] 세기의 대천재도 예측하지 못했던 천체 현상의 발견
[아인슈타인의 십자가] 세기의 대천재도 예측하지 못했던 천체 현상의 발견인류역사상 최고의 천재 중 한명인알베르트 아인슈타인.그런 아인슈타인도 끝까지 인정하지 않은 것으로알려져있는
luckykorean.tistory.com
[AI 그림] 인공지능이 그려준 초등학생 고양이 냥초딩 하교길.jpg
[AI 그림] 인공지능이 그려준 초등학생 고양이 냥초딩 하교길.jpg
[AI 그림] 인공지능이 그려준 초등학생 고양이 냥초딩 하교길.jpg" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스모든 인류의 어머니, 미토콘드
lovelykorean.tistory.com
[기발한 아이디어] 인터넷에서 벌어진 창작한자 대회 우수작들
[기발한 아이디어] 인터넷에서 벌어진 창작한자 대회 우수작들지방 망할 각달릴 깅이비에 수킥보드 킥양자역학적중첩상태 슈 / 슈뢰딩거의 고양이 슈사랑니 니" data-ke-type="html">HTML 삽입미리보
beautifulkorean.tistory.com
'주식, 증권, 경제 이야기' 카테고리의 다른 글
| 우리나라 사립 대학들의 주식투자 성과 근황 (10) | 2024.10.26 |
|---|---|
| 떨어진 회사 면접 인사 담당자와 사적인 자리에서 마주친 사람.jpg (7) | 2024.10.25 |
| [간호사 만화] IV 정맥주사 꽂는 걸 여러 번 실패해도 화내지 않았던 환자 (5) | 2024.10.24 |
| 과장없이 100% 진심만이 묻어나는 진솔한 구인공고.jpg (6) | 2024.10.24 |
| 우리나라 사람들은 '노동생산성'이라는 말의 의미를 착각하고 있는 듯? (16) | 2024.10.24 |
