47-51일차 내일배움캠프 개발일지

 

하루에 한번은 아니지만,

일주일에 한번 정도 시간을 내어서

이렇게 공부한 내용을 정리해볼 수 있는 것도

다행이라고 생각합니다.

 

글을 읽다보면 존대말을 했다가 반말도 했다가 그러는데

어쩌면 제 기분이 글에 담기는... 그런게 있는 것 같습니다.

 

사실 이번주는 정말 개발을 하면서

기분이 좋았습니다.

오늘까지 어떤 일들이 있었을까요?

tmate 활용방법
degub github action
1.ssh 는 비밀~
2.ctrl+c
3.ls
4.sudo systemctl status mysql
5.sudo systemctl start mysql
6.mysql -uroot -proot
7.use mysql;
8.FLUSH PRIVILEGES;
9.ALTER USER 'root'@'localhost' IDENTIFIED BY '비밀!';
10.exit;
11.mysql -uroot -p비밀!
12.SELECT NOW();
13.exit;
14.sudo rm /etc/localtime
sudo ln -s /usr/share/zoneinfo/Asia/Seoul /etc/localtime
15.sudo systemctl restart mysql
16. CREATE DATABASE sparta;
17. ls, cd ..
poetry run python3 manage.py runserver

장고 강의 중 tmate 관련 메모를 하게 되었다.

메모잇에 저장을 하니 정말 편리했다.

 

첫번째는 한 달 전부터 해결할 수 없었던

Anaconda3 설치 및 경로 문제를 해결하게 되었습니다.

 

이제 제 컴퓨터에서도 Anaconda 가상환경을 사용할 수 있다니

정말 꿈인 것 같습니다.

 

한 달 전에 설치를 진행했을 때는 PATH와 관련된 설정에

주의를 기울이지 않았습니다.

 

이러한 행동의 결과로 PATH가 꼬이게 되었고,

저는 컴퓨터를 Reset하면서 눈물을 흘렸던 기억이 나는군요.

 

그래서 이번에 설치를 할 때 또는 코드를 입력할 때에

정말 조심하며 진행했습니다.

 

이미 파이썬이 설치되어 PATH가 있으므로 설치 후 시스템 환경변수를 사용하자

하단의 Register만 클릭하여 설치를 시도했으나 경고메시지 출력

이미 register 되어있기 때문에

하단의 체크박스 역시 체크하지 않고 넘어가면 되겠다.

 

이 부분은 조금 헷갈렸지만 튜터님의 도움을 받아 해결할 수 있었다.

이렇게 기존 파이썬과 아나콘다를 따로 쓸 수 있게 되었다.

 

그리고 몰랐던 부분에 대해 알게 되었는데

conda env list를 사용한 모습

처음 실행해서 나오는 base는 설치시 경로를 지정한 base가 다를 수 있다는 것이다.

그래서 경로를 굳이 cd .. 를 사용하여 밖에 나갔다가

다시 자신이 지정한 base에 cd로 들어가서

가상환경을 부를 필요가 없다.

 

콘다는 폴더에다가 가상환경을 만드는 것이 아니기 때문이다.

 

 

CPU로도 머신러닝 충분히 공부할 수 있다

gpu가 없다는 에러

 

이 에러는 사실 cpu로도 실행이 가능하기 때문에 gpu로 사용하지 않을거면

굳이 CUDA관련 세팅을 할 필요가 없었습니다.

 

그런데 코드 실행이 되지 않아서

(작성한 코드 자체 문제였지만)

CUDA를 설치 안해서 그런 것인줄 알고 이런저런 방법을 찾아보았다.

(keras에 빨간불이 들어오니 무서웠다)

 

아래 두 링크를 참고하며 CUDA에 대한 내용을 간략히 익히게 되었다.

 

https://doitgrow.com/28
https://www.nvidia.com/download/index.aspx?lang=en-us

Download the latest official NVIDIA drivers

[환경 설정] 텐서플로우(Tensorflow) 2.x GPU 설정 및 사용하는 법 (윈도우10 기준)

 

어쨋든 지금 나는 대학원생도 아니고 관련 개발자도 아니며

그렇게 많은 데이터셋을 읽을 필요가 없었기 때문에

나의 i3-5500 CPU를 믿고 수업을 계속 진행했다.

(심지어 NIVIDIA 그래픽카드도 없다는 건 유죄)

 

https://github.com/tensorflow/tensorflow/issues/44683

Not creating XLA devices, tf_xla_enable_xla_devices not set · Issue #44683 · tensorflow/tensorflow

 

드라이버나 다른 것들을 설치하지 않고 CUDA만을 설치한 채 재시작하면

Not creating XLA devices 오류를 볼 수 있다.

오류를 없애려다 오류를 늘리게 된 것이다.

위 링크를 보면서 

 

'To verify that TensorFlow has detected the GPU on you machine,

please run the below code and check the number of GPUs available'

 

를 확인하게 되었고,

 

import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))

 

해당코드를 입력하여 확인하니

실행가능한 GPU가 0이라는 것을 확인했다.

 

https://blog.naver.com/haanoon/221811007221
https://science3m.tistory.com/343
https://docs.microsoft.com/en-us/sysinternals/downloads/coreinfo

AVX 지원 CPU 확인 방법(MS 사이트 링크)

아나콘다 텐서플로우 설치 오류 경우의 수 총정리

 

어쨌든 해당하는 그래픽카드도 없는데 CUDA를 설치한다는 것은 시간낭비이다.

설치를 하는데 3시간이 넘게 걸렸는데,

노트북에 호환되는 그래픽카드가 없다는 것을 깨닫고 바로 지워버렸다.

지우는데는 5분도 걸리지 않았다 젠장

 

그리고 노트북에 있는 내장그래픽카드를 사용해 GPU를 사용해볼 수 없을까하는

생각이 들게 되었다.

 

위 링크를 참고해보며 현재 컴퓨터에서
AVX를 사용할 수 없으면 이 오류가 난다는 것을 보았다.

'Coreinfo'를 사용하면 현재 컴퓨터에서 CPU 정보를 탐색하는 것이
지원이 되는지 확인가능하다고 하여 실행해보았다.

제 컴퓨터는 AVX 지원이 된다는 것을 확인했다.

 

https://quasarzone.com/bbs/qc_plan/views/21504
https://fakecan.tistory.com/22

[Warning] Successfully opened dynamic library(TensorFlow2)

놀지 말고 일해! 인텔 내장 그래픽을 120% 활용해보자

 

그래서 위 링크를 참고해보며 GPU 설정을 계속해보았다.

그래서 두 번째는 위 오류를 해결하면서 얻었던 지식이다.

다음에 gpu를 사용하게 된다면 좀 더 손쉽게 사용이 가능할 것이라 생각한다.

(원해요... M1 노트북)

 

더하여 처음 Anaconda3를 실행할 때 관리자 권한으로 실행하지 않았는데

관리자 권한으로 진행해야 한다고 한다.

 

conda create conda create -n spata_project python=3.9

pip install tensorflow
pip install opencv-python
conda install -c conda-forge dlib

conda install scipy pillow

 

이런식으로 패키지를 설치하고 코드를 실행하고 나니 왠지 뿌듯했다.

 

다음으로 세 번째는 실시간줌 강의를 들으면서 개념을 보충하는 것으로

실력 향상을 할 수 있었다.

 

머신러닝과 관련하여

Epoch, Batch, Weight, Train & Test, Shuffle 등

개념을 복습하면서

Kaggle의 데이터 셋을 활용했다.

 

https://www.kaggle.com/rodolfomendes/abalone-dataset

Abalone Dataset

 

설계도. Colab을 사용했다. 강의자료의 일부분이 코드에 포함되어 있어 사진을 블러처리했고 colab을 공유하진 않았다.

 

학습 데이터를 불러오거나 파라미터를 초기화하여 함수를 만들고 실행해보았고

데이터의 인덱싱을 통해 데이터를 뒤섞고 변수를 생성해보았다.

내일은 정확도를 연산하고

손실함수 연산 및 미분, 경사하강법에 대해 공부해볼 예정이다.

 

https://dacon.io/

데이터사이언티스트 AI 컴피티션

한국판 캐글이랄까.

 

https://poiemaweb.com/

웹 프로그래밍 튜토리얼 | PoiemaWeb

같은 동기가 알려준 프로그래밍 공부 사이트.

 

그리고 마지막으로 딥러닝을 통한 이미지처리 구현 강의를 가장 빠르게 완강하게 되었다.

강의를 듣다보니 정말 재밌었는데,

특히 opencv를 활용하는 것이 정말 인상깊었다.

 

패키지의 경우 cv2, dlib, numpy, tensorflow 등을 사용했다.

 

진행내용은 저작권 문제로 공유가 불가능하다!

(나만 간직)

 

오늘은 이만 줄인다.

그럼 다음에 또 볼 수 있도록 하자!