sawoll의 개발공부기록

자연어 처리 개요자연어 처리 활용 분야와 트렌드Task- Natural Language Understanding(NLU): 컴퓨터가 주어진 단어, 문단을 이해하는 것- Natural Language Generation(NLG): 자연어를 상황에 따라 적절히 생성하는 것활발하게 연구되고 있는 분야. 분야- NLP: 딥러닝 분야 발전 선도학회: ACL, EMNLP, NAACL- NLP task: low-level parsing(문장을 토큰 단위로 나누고 단어의 원형을 찾는 것 의미레벨), Word and phrase level(Named entity recognition, part-of-speech tagging품사, noun-phrase chunking, dependency parsing, dorefere..

컴퓨터비전 컴퓨터 비전의 급속한 발전: 딥러닝 덕분에 컴퓨터 비전이 크게 발전하여 자율주행차, 개선된 얼굴 인식, 향상된 사진 앱과 같은 응용 프로그램이 가능해짐새로운 제품 기회: 컴퓨터 비전에 대해 배우면 새로운 제품과 응용 프로그램을 만들 수 있는 기회를 얻을 수 있음. 직접 컴퓨터 비전 작업을 하지 않더라도 음성 인식과 같은 다른 분야에서도 혁신을 유도핵심 컴퓨터 비전 문제: 이 강의에서는 이미지 분류(이미지에서 객체를 인식하는 것), 객체 탐지(객체를 식별하고 위치를 파악하는 것), 신경 스타일 변환(이미지를 다른 스타일로 재페인팅하는 것)과 같은 주요 컴퓨터 비전 문제를 다룸고차원 입력의 도전 과제합성곱 연산의 중요성: 대형 이미지를 효율적으로 처리하려면 합성곱 연산이 필수적. 합성곱 연산은 완..

https://www.boostcourse.org/ai216/lecture/401762?isDesc=false 딥러닝 2단계: 심층 신경망 성능 향상시키기부스트코스 무료 강의www.boostcourse.org 7. 다중 클래스 분류Softmax Regression- 지금까지 보았던 문제들은 이진 분류였다.- multilabel classification의 경우 softmax regression을 사용한다.- 결과값은 각 label에 대한 0에서 1사이의 확률값으로 나오게 된다.- softmax 층에서는 해당 클래스(label)에 속할 확률을 구하게 된다. 마지막 선형 출력값 z들을 각각 지수화시켜 임시변수 t = e^2를 만든다. 그 후 모든 값들의 합이 1이 될 수 있도록 모든 임시 변수값들의 합을 나..

https://sawoll.tistory.com/21 안드로이드 스튜디오에서 yolov8 커스텀 모델로 Object Detection 앱 만들기1. Google Colab에서 Yolov8로 원하는 데이터셋 학습하기 먼저 데이터셋을 준비한다. 나는 Roboflow의 Drowsiness Data를 사용했다. https://universe.roboflow.com/ndthien150-gmail-com/drowsiness-dataset/dataset/2 Drowsiness datasetsawoll.tistory.com지난번에는 yolov8 커스텀 모델을 이용하여 간단히 사진의 객체를 탐지할 수 있는 코드를 완성해 보았다.  이번에는 영상에서 실시간으로 객체를 탐지할 수 있는 앱을 만들어 보자.yolov8 모델은 ..

좋은 하이퍼파라미터를 찾을 수 있는 방법? 튜닝 프로세스- 하이퍼파라미터의 종류+ mini batch size- 무작위 접근 방식: 격자 모양이 아니라, 랜덤하게 하이퍼파라미터를 시도한다.-> 어떤 하이퍼파라미터가 문제 해결에 더 중요한지 미리 알 수 없기 때문이다.- 정밀화 접근: 전체 하이퍼파라미터 공간을 미리 탐색하여 좋은 점을 찾고, 그 근방에서 더 정밀하게 탐색한다. 적절한 척도 선택하기- 은닉 유닛의 수, 은닉층의 수는 무작위로 뽑는 것이 합리적인 파라미터들이다.(1과 0.0001 사이의 값 중에 고른다.)- 학습률의 경우에는 그렇지 않다. 거의 모든(90%) 값이 1과 0.1 사이에 존재하기 때문이다. 따라서 선형척도 대신 로그척도에서 하이퍼파라미터를 찾는 것이 합리적이다.- 지수 가중 이동..

미니 배치 경사하강법- 모든 훈련 샘플을 처리하기 전에 경사 하강법이 진행되도록 하면 알고리즘 속도가 빨라진다.- 미니배치: 작은 훈련 세트- 새로운 표기법) x^{n} : n번째 미니배치. -> Mini batch t: X^{t}, Y^{t}- 배치 경사 하강법: 모든 훈련 세트를 동시에 학습- 미니 배치 경사 하강법: 전체 훈련 세트를 배치로 나누어 학습. t = 1, ... , 5000까지.(1) X^{t}에 대해 정방향 전파: 벡터화된 코드가 100개의 훈련 샘플 학습을 대신(2) 비용함수 계산(3) 가중치 업데이트-> 경사 하강은 각 배치마다 1번씩- J^{t} 는 X^{t}, Y^{t} 에 대해 계산된 비용함수- 배치의 크기는 매개변수- 두 가지 극단적인 경우: 배치의 크기 = 훈련샘플 전체(..

https://www.boostcourse.org/ai216/joinLectures/132207?isDesc=false 딥러닝 2단계: 심층 신경망 성능 향상시키기부스트코스 무료 강의www.boostcourse.org

https://www.boostcourse.org/ai216/lecture/401734?isDesc=false 딥러닝 2단계: 심층 신경망 성능 향상시키기 부스트코스 무료 강의 www.boostcourse.org 정규화 - high variance -> 제일 먼저 정규화 시도 - 비용함수에 정규화 매개변수 람다λ 추가 - L1 정규화 - L2 정규화 : L1보다 더 많이 사용. weight decay라고 불린다. -> weight에 1보다 작은 값인 1 - a λ/m 이 곱해지기 때문이다. 왜 정규화는 과대적합을 줄일 수 있을까? - λ값을 크게 만들어서 w을 0에 가깝게 설정할 수 있다. -> 신경망 간소화로 과대적합이 줄어든다. - ex) tanh 함수에서 z값을 작게 만들면 선형 함수를 계산하는 것..

https://www.boostcourse.org/ai216/joinLectures/132205?isDesc=false 딥러닝 2단계: 심층 신경망 성능 향상시키기 부스트코스 무료 강의 www.boostcourse.org Train/Dev/Test 세트 신경망의 층의 개수, 히든유닛의 개수, 학습률, 활성화 함수 ... 를 모두 고려해 신경망을 만든다. 이후 결과에 기반해 아이디어를 개선한다. 어떤 분야의 애플리케이션의 직관이 다른 분야에 잘 적용되지 않는다. 따라서 다른 분야를 첫 시도했을 때, 첫 시도에 하이퍼파라미터튜닝을 잘 하는 것은 어렵다. Train/Dev/Test 세트를 잘 만드는 것은 중요하다. 전체 데이터셋을 트레이닝셋, 테스트셋, dev셋으로 나눈다. 보통 60/20/20 퍼센트로 나누..

더 많은 층의 심층 신경망 * 로지스틱 회귀는 얕은(shallow) 신경망이다. - 대개 은닉층의 개수를 파라미터로 삼아, 점점 은닉층의 개수를 늘려가며 성능을 최적화한다. - notation - n^[1]: 1번째 은닉층의 히든 유닛의 수. 정방향 전파와 역방향 전파 - 역방향 전파에서 역함수를 구현하는 방법. - 정방향 반복은 입력데이터 x로 초기화 - 역방향은 da^[l]로 초기화 - 붉은색 화살표: 왼쪽으로 그 단계의 da값을 전달한다. - 아래의 세 개의 사각형은 역방향 함수이다. 각각 dw와 db를 계산한다. - 위의 세 개의 사각형으로부터 각각의 z값을 넘겨받는다. * 학습 알고리즘의 복잡성은 데이터에서 온다. 심층 신경망에서의 정방향전파 - 이전 층에서의 a^[1]가 다음 층의 x가 된다...