영웅은 죽지 않는다

아날로그와 디지털 세대를 넘어, 21세기의 극초반인 지금, AI가 등장하며 아날로그, 디지털을 넘어선 AI 시대가 왔다고 표현하고 있습니다. 단순히 표면적으로 “기술의 시대”가 왔다는 것을 넘어서, 우리의 일상과 생활 방식에 어떤 변화가 있는지, 조금 더 들여다 보았습니다. Teaching claude why에 대하여5월 초 Anthropic research에서 Teaching-claude-why라는 흥미로운 포스팅을 발간했습니다. 간단히 설명하자면, AI 모델들이 가상의 윤리적인 딜레마 상황에서 잘못된 행동을 하는 것을 개선했다는 내용입니다. 이 “윤리적 딜레마”라는 건 우리가 알고 있는 트롤리 딜레마와는 다른 내용입니다. 두 가지의 가치가 충돌하지 않는, 우리는 사실 명확한 정답을 사람은 알고 있지만..

4월 3일경 OpenAI의 공동창업자 Andrej Karpathy가 LLM Knowledge Bases라는 제목으로 하나의 포스팅을 올린게 화제가 되었습니다. 내 모든 탐구와 연구와 데이터와 지식이 LLM 기반으로 자동화되어 축적될 수 있다는 것이 굉장히 흥미로웠는데요. 이 개념을 기반으로 4월경에 나만의 AI 지식그래프를 구축하는 파이프라인을 만들어보았는데, 메모장과 private repo에만 있던 구축 과정을 꺼내어 블로깅을 해보고자 합니다. LLM Knowledge Bases가 무엇인가 간단히 요약하자면, 그는 LLM을 단순한 질문 응답 기계가 아닌 “지식을 스스로 구조화하고 유지하는 제품”으로 정의하였습니다. 크게 Data Ingest, IDE, Q&A, Output Linting, Extra ..

제목 그대로, FastAPI 환경 구성을 위한 글입니다. 오래전에 FastAPI를 활용해 NLP 모델을 서버에 띄워 활용한 적이 있었는데,당시엔 on-prem 물리서버에 접속하여 활용을 했던 터라, VM 구성과 이미지 활용에 집중했던 기억이 있습니다.. (해당 글)그때도 가상환경(venv)을 구성해 의존성 관리를 해주었고, 물리서버 내 이미지를 복제/백업하여 CI에도 힘을 썼습니다. 오랜만에 새로운 개발 프로젝트를 진행하게 되며 다시금 FastAPI를 활용할 기회가 생겼는데이번엔 클라우드를 활용할 계획이었고,회사 프로젝트가 아닌 외부 토이프로젝트인 김에 새로운 프레임워크와 Tool을 활용해 보고자 하였는데요, 그래서 이번 프로젝트에는, 다양한 환경구성 방법 중도커로 이미지를 생성하여 빌드하고 Poetry..

Ubuntu 20.04 버전을 설치하는 과정을 담았습니다. Ubuntu 20.04 다운로드 및 설치 https://ubuntu.com/download/server Get Ubuntu Server | Download | Ubuntu Get Ubuntu Server one of three ways; by using Multipass on your desktop, using MAAS to provision machines in your data centre or installing it directly on a server. ubuntu.com 위 사이트로 접속해 Ubuntu 20.04 버전을 설치합니다 2022년 11월 기준 22.04와 22.10 두 가지 버전이 Release되어 있습니다 우리는 20.04..

우분투 서버에서 PyTorch 학습을 위해 CUDA 세팅을 하는 과정을 담았다 설치 과정에서, 본인의 GPU와 호환되는 CUDA 및 cuDNN 버전을 찾는 것이 중요하고버전 차이로 설치에 에러가 발생하는 경우가 많으므로 주의해야 한다 실제로 나는 우분투 20.04 버전과 GPU 셋업 환경에 호환문제가 너무 많이 발생해결국 우분투를 18.04로 낮추고 처음부터 다시 진행했다 ㅠ    1. Python 3.8 및 가상환경 설치  sudo apt updatesudo apt install python3.8sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.8 1update-alternatives --config python # c..

음성 녹음 파일 속 자연어처리 모델을 구체화하는 단계에서 STT 성능이 우선적으로 우수해야 한다는 생각에 성능 개선 방안을 모색하던 도중 구글 클라우드 내에서 자체적으로 제공하는 기능을 활용하기로 결정했다 가장 먼저 알아보았던 전화 고급 모델(phone_call)을 활용하는 부분은 지원 언어를 알아보니 한국어는 적용이 불가능했다 ㅠ 결국 한국어도 지원이 가능한 Model Adaptation Client라는 기능을 활용하기로 결정 모델 적응으로 텍스트 변환 결과 개선 | Cloud Speech-to-Text 문서 | Google Cloud 의견 보내기 모델 적응으로 텍스트 변환 결과 개선 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 개요 Speech-to-Text가 특정 ..

머신러닝/딥러닝 모델을 활용한 플랫폼 개발 시DB 형상관리가 잘 되어있다면 데이터가 계속해서 쌓여가는 구조일 것이다 그러면 그에 맞추어 모델 또한 반복적인 학습을 통해 성능을 높여 나가야 할 것이고,그 간격은 매일, 혹은 일정 간격을 두고 지속적으로 성능개선과 유지보수를 해야 한다  여기선 CentOS 서버와 Oracle DB로 연결되어 있는 리눅스 환경 서버에서리눅스 자체 라이브러리인 크론탭(crontab) 스케줄러를 통해내가 일일이 매일매일 업데이트하거나 하드코딩 하지 않아도스케줄러가 스스로 학습하고, 에러에 대응하고, 로그를 남겨놓는 쉘 스크립트 코드를 짜보았다   개발 시나리오 구성 스케줄러를 작성하기에 앞서 개발 시나리오를 구체화 했다크론탭은 순차지향형 알고리즘이고 에러가 발생해도 멈추지 않고 ..

[NLP] KoBART Chit-Chat bot(챗봇) 모델링 및 학습 과정 [단독] SK텔레콤, 요약 잘하는 AI모델 공개…'자연어이해' 기술 강화 | 아주경제 [사진=게티이미지뱅크]SK텔레콤 연구진들이 한국어 뉴스나 문서를 읽고 고품질 요약문을 만들어내는 능력이 뛰어 heroeswillnotdie.tistory.com 이전 글에 이어서 포스팅합니다. 1. 기존 학습코드 분석 KoBART github에서 제공하는 레퍼런스대로 학습을 마치고 나면, 클론받은 폴더 하위의 logs / kobart_chitchat-model_chp에 체크포인트 형식의 학습 로그가 아래처럼 저장될 것입니다. 딥알못인 저는, 일반적으로 생각했을 때 체크포인트는 말 그대로 학습 로그로서, 학습이 비정상적으로 종료되거나 중지했을 때..