행렬간 차원의 개수와 수식이 쪼~금 이해가 되네요 Exercise 2 - layer_sizes 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 # GRADED FUNCTION: layer_sizes def layer_sizes(X, Y): """ Arguments: X -- input dataset of shape (input size, number of examples) Y -- labels of shape (output size, number of examples) Returns: n_x -- the size of the input layer n_h -- the size of the hidden layer n_y -- the size of the output layer """ #(≈ 3 lines of code) # n_x = ... # n_h = ... # n_y = ... # YOUR CODE STARTS HERE n_x = X.shape[0] n_h = 4 n_y = Y.shape[0] # YOUR CODE ENDS HERE return (n_x, n_h, n_y) Exercise 3 - initialize_parameters 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 # GRADED FUNCTION: initialize_parameters def initialize_parameters(n_x, n_h, n_y): """ Argument: n_x -- size of the input layer n_h -- size of the hidden layer n_y -- size of the output layer Returns: params -- python dictionary containing your parameters: W1 -- weight matrix of shape (n_h, n_x) b1 -- bias vector of shape (n_h, 1) W2 -- weight matrix of shape (n_y, n_h) b2 -- bias vector of shape (n_y, 1) """ #(≈ 4 lines of code) # W1 = ... # b1 = ... # W2 = ... # b2 = ... # YOUR CODE STARTS HERE W1 = np.random.randn(n_h, n_x) * 0.01 b1 = np.zeros((n_h, 1)) W2 = np.random.randn(n_y, n_h) * 0.01 b2 = np.zeros((n_y, 1)) # YOUR CODE ENDS HERE parameters = {"W1": W1, "b1": b1, "W2": W2, "b2": b2} return parameters Exercise 4 - forward_propagation 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 # GRADED FUNCTION:forward_propagation def forward_propagation(X, parameters): """ Argument: X -- input data of size (n_x, m) parameters -- python dictionary containing your parameters (output of initialization function) Returns: A2 -- The sigmoid output of the second activation cache -- a dictionary containing "Z1", "A1", "Z2" and "A2" """ # Retrieve each parameter from the dictionary "parameters" #(≈ 4 lines of code) # W1 = ... # b1 = ... # W2 = ... # b2 = ... # YOUR CODE STARTS HERE W1 = parameters["W1"] b1 = parameters["b1"] W2 = parameters["W2"] b2 = parameters["b2"] # YOUR CODE ENDS HERE # Implement Forward Propagation to calculate A2 (probabilities) # (≈ 4 lines of code) # Z1 = ... # A1 = ... # Z2 = ... # A2 = ... # YOUR CODE STARTS HERE Z1 = np.dot(W1, X) + b1 A1 = np.tanh(Z1) Z2 = np.dot(W2, A1) + b2 A2 = sigmoid(Z2) # YOUR CODE ENDS HERE assert(A2.shape == (1, X.shape[1])) cache = {"Z1": Z1, "A1": A1, "Z2": Z2, "A2": A2} return A2, cache

단순하지만 기본이 되는 매우 중요한 과제입니다. 원래 기본이 가장 중요한 것 로지스틱 회귀 모델을 구축하여 고양이 이미지를 인식하는 시스템을 만드는 과제입니다. 기본적인 로지스틱 회귀 모델의 구현과 평가 방법을 익히며, 딥러닝의 기초적인 개념을 이해하고, 실질적인 머신러닝 모델을 만들어 봅니다. Exercise 1 shape를 통해 길이관련 정보에 접근할 수 있다는 것을 알아야 합니다. output을 보면 아시겠지만 트레이닝 이미지가 4차원 배열입니다.. 숫자로 적혀있으니 별 것 아닌것 같지만, 우리가 현실세계에서 4차원 공간을 마주할 일을 없습니다. 그것을 잘 표현해 놓은것이 인터스텔라의 테서렉트입니다(제 인생영화중에 하나라서 괜히 말함) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 # YOUR CODE STARTS HERE m_train = train_set_x_orig.shape[0] m_test = test_set_x_orig.shape[0] num_px = train_set_x_orig.shape[1] # YOUR CODE ENDS HERE print ("Number of training examples: m_train = " + str(m_train)) print ("Number of testing examples: m_test = " + str(m_test)) print ("Height/Width of each image: num_px = " + str(num_px)) print ("Each image is of size: (" + str(num_px) + ", " + str(num_px) + ", 3)") print ("train_set_x shape: " + str(train_set_x_orig.shape)) print ("train_set_y shape: " + str(train_set_y.shape)) print ("test_set_x shape: " + str(test_set_x_orig.shape)) print ("test_set_y shape: " + str(test_set_y.shape)) ## output Number of training examples: m_train = 209 Number of testing examples: m_test = 50 Height/Width of each image: num_px = 64 Each image is of size: (64, 64, 3) train_set_x shape: (209, 64, 64, 3) train_set_y shape: (1, 209) test_set_x shape: (50, 64, 64, 3) test_set_y shape: (1, 50) Exercise 2 reshape에서 -1의 의미를 알아야 합니다. 하나의 인자만 -1로 넘길 수 있는데, -1인 부분은 나머지 값을 통해 추론하겠다라는 의미입니다. 1 2 train_set_x_flatten = train_set_x_orig.reshape(train_set_x_orig.shape[0], -1).T test_set_x_flatten = test_set_x_orig.reshape(test_set_x_orig.shape[0], -1).T Exercise 3 - sigmoid 1 2 3 def sigmoid(z): s = 1/(1+np.exp(-z)) return s Exercise 4 - initialize_with_zeros 1 2 3 4 def initialize_with_zeros(dim): w = np.zeros((dim, 1)) b = 0.0 return w, b Exercise 5 - propagate 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 def propagate(w, b, X, Y): m = X.shape[1] A = cost = dw = db = cost = np.squeeze(np.array(cost)) grads = {"dw": dw, "db": db} return grads, cost Exercise 6 - optimize 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 def optimize(w, b, X, Y, num_iterations=100, learning_rate=0.009, print_cost=False): w = copy.deepcopy(w) b = copy.deepcopy(b) costs = [] for i in range(num_iterations): grads, cost = propagate(w, b, X, Y) dw = grads["dw"] db = grads["db"] w = w - learning_rate*dw b = b - learning_rate*db # Record the costs if i % 100 == 0: costs.append(cost) if print_cost: print ("Cost after iteration %i: %f" %(i, cost)) params = {"w": w, "b": b} grads = {"dw": dw, "db": db} return params, grads, costs Exercise 7 - predict 1 2 3 4 5 6 7 8 9 10 11 12 13 14 def predict(w, b, X): m = X.shape[1] Y_prediction = np.zeros((1, m)) w = w.reshape(X.shape[0], 1) Z = np.dot(w.T, X) + b A = 1 / (1 + np.exp(-Z)) for i in range(A.shape[1]): if A[0, i] > 0.5 : Y_prediction[0,i] = 1 else: Y_prediction[0,i] = 0 return Y_prediction Exercise 8 - model 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 def model(X_train, Y_train, X_test, Y_test, num_iterations=2000, learning_rate=0.5, print_cost=False): w, b = initialize_with_zeros(X_train.shape[0]) params, grads, costs = optimize(w, b, X_train, Y_train, num_iterations, learning_rate, True) w = params["w"] b = params["b"] Y_prediction_test = predict(w, b, X_test) Y_prediction_train = predict(w, b, X_train) if print_cost: print("train accuracy: {} %".format(100 - np.mean(np.abs(Y_prediction_train - Y_train)) * 100)) print("test accuracy: {} %".format(100 - np.mean(np.abs(Y_prediction_test - Y_test)) * 100)) d = {"costs": costs, "Y_prediction_test": Y_prediction_test, "Y_prediction_train" : Y_prediction_train, "w" : w, "b" : b, "learning_rate" : learning_rate, "num_iterations": num_iterations} return d

기본적인 Python과 Numpy 라이브러리 사용법을 익히고, 머신 러닝 모델의 기본적인 수학적 구성 요소를 작성해보는 과제입니다. Exercise 2 - basic_sigmoid 시그모이드 함수를 math 라이브러리를 이용하여 구현한 것입니다. 일반적으로 행열을 처리할 수 있는 np를 쓰는데, 그 반대의 경우(math)를 보여줌으로써 np를 강조하는건가 봐요. 1 2 3 4 5 import math def basic_sigmoid(x): s = 1/(1+math.exp(-x)) return s Exercise 3 - sigmoid np를 이용해 구현합니다. 1 2 3 def sigmoid(x): s = 1/(1+np.exp(-x)) return s Exercise 4 - sigmoid_derivative 1 2 3 4 def sigmoid(x): s = 1/(1+np.exp(-x)) ds = s*(1-s) return ds Exercise 5 - image2vector reshape() 차원인자에 한개의 -1을 전달할 수 있습니다. -1로 전달하면 나머지 차원인자로 부터 차원을 추론하여 동작합니다. 1 2 3 4 5 def image2vector(image): v = image.reshape(image.shape[0] * image.shape[1] * image.shape[2], 1) # v = image.reshape(-1, 1) # v = np.reshape(image, (image.shape[0] * image.shape[1] * image.shape[2], 1)) return v Exercise 6 - normalize_rows 1 2 3 4 def normalize_rows(x): x_norm = np.linalg.norm(x, axis=1, keepdims = True) x = np.divide(x, x_norm) return x Exercise 7 - softmax axis는 0과 1에 따라 행으로 동작(column-wise)할건지 열(row-wise)로 동작할것인지, keepdims는 브로드캐스팅 유무입니다 1 2 3 4 5 def softmax(x): x_exp = np.exp(x) x_sum = np.sum(x_exp, axis=1, keepdims = True) s = np.divide(x_exp, x_sum) return s Exercise 8 - L1 1 2 3 def L1(yhat, y): loss = np.sum(abs(np.subtract(yhat, y))) return loss Exercise 9 - L2 1 2 3 def L2(yhat, y): loss = np.sum(np.dot(np.subtract(yhat, y),np.subtract(yhat, y))) return loss

1. Vectorization 벡터화가 무엇인지 프로그래밍 관점에서 설명하고 있습니다. 벡터화하지 않으면 반복문을 돌아야 하지만, 백터화하면 반복문없이 수행할 수 있습니다. SIMD(Single instruction, multiple data)가 GPU에서만 수행되는 것은 아닙니다. CPU에서도 수행됩니다. (저는 GPU에서만 되는줄 알고 있었뜸..) 벡터화와 SIMD가 연결되는 것은 자연스러운 전개입니다. n개의 w와 x가 한번의 명령에 의해 처리(SIMD)되니까요. 2. More vectorization examples ...

1. Binary Classification y가 0, 1일 때 사용하는 분류입니다. 로지스틱 회귀(Logistic regression)는 이진 분류를 위한 알고리즘 중 하나입니다. 2. Notation ...

1. 단일 신경망의 예 집의 크기를 특징으로 가격을 예층하는 단일 신경망이라고 볼 수 있습니다. 그래프를 보아하니 Relu 함수로 표현할 수 있습니다. 2. 댜중 신경망의 예 ...

1. layouts/partials/extend_head.html 수정하기 1 2 3 4 5 6 7 8 9 {{- /* Insert any custom code (web-analytics, resources, etc.) - it will appear in the <head></head> section of every page. */ -}} {{- /* Can be overwritten by partial with the same name in the global layouts. */ -}} {{- /* Head custom content area end */ -}} + {{ if or .Params.math .Site.Params.math }} + <link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/katex@0.12.0/dist/katex.min.css" integrity="sha384-AfEj0r4/OFrOo5t7NnNe46zW/tFgW6x/bCJG8FqQCEo3+Aro6EYUG4+cU+KJWu/X" crossorigin="anonymous"> + <script defer src="https://cdn.jsdelivr.net/npm/katex@0.12.0/dist/katex.min.js" integrity="sha384-g7c+Jr9ZivxKLnZTDUhnkOnsh30B4H0rpLUpJ4jAIKs4fnJI+sEnkvrMWph2EDg4" crossorigin="anonymous"></script> + <script defer src="https://cdn.jsdelivr.net/npm/katex@0.12.0/dist/contrib/auto-render.min.js" integrity="sha384-mll67QQFJfxn0IYznZYonOWZ644AWYC+Pt2cHqMaRhXVrursRwvLnLaebdGIlYNa" crossorigin="anonymous" + onload="renderMathInElement(document.body);"></script> + {{ end }} 2. math config 수정하기 1의 코드를 보시면 아시겠지만 params 하위에 math가 위치되어야 합니다. 1 2 3 4 5 6 7 [params] version = "4.x" # Used to give a friendly message when you have an incompatible update debug = false # If true, load `eruda.min.js`. See https://github.com/liriliri/eruda + math = true since = "2017" # Site creation time # 站点建立时间 3. 참고 https://github.com/adityatelange/hugo-PaperMod/issues/236 ...

건강을 위해서 몇 가지 영양제를 챙겨 먹습니다. 이번 주 화요일에 처음으로 마그네슘 영양제를 먹어봤는데, 효과가 너무 잘 나타나네요. “몸이 너무 좋아졌다.” 그런 게 아니라 익히 마그네슘의 효능이라고 알려져 있는 근육 이완, 신경 이완이 너무 체감돼요. ...

vscode는 ctrl-p 를 누르면 quick open 메뉴가 뜨는데요. 몇 달 전부터 정상동작하지 않는 이슈가 있었습니다(탭이 하나도 열려있지 않을 때만 동작). 완전히 안 되는 것은 아니라서 되는대로 쓰다가 어제 수정을 했습니다. vim 익스텐션이랑 충돌이 나서 그런 건데, 수정을 하려면 Preferences->Keyboard Shortcuts 에서 ctrl-p에 해당되는 것들을 수정해도 되지만 그러면 아무 죄? 없는 단축키들을 다른 것으로 매핑시키거나 삭제해야 되기 때문에 조금 찝찝합니다(저만 그런 걸 수도..). ...

하는 일마다 잘되리라, 전승환, 북로망스 (1월) 2024년에 하는 일이 잘되기를 바라는 마음에 새해 첫 책으로 고름 달러구트 꿈 백화점, 이미예, 팩토리나인 (1월) 추천받아서 읽음. 기대와 달리 잘 맞아서 놀람 프로젝트 헤일메리, 앤디 위어, 알에이치코리아 (3월) 추천받아서 읽음, 스토리는 좋은데 과학적 지식이 너무 많아~ 진짜 좋아하는 일만 하고 사는 법, 데릭 시버스, 현대지성 (3월) 제목이 도발적이어서 고름. 뒤는게 알았지만 영어 제목은 “Hell Yeah or No: what’s worth doing” 으로 한국어 제목이랑 완전 딴판. 마케팅에 낚였다 낙였어. 그냥 읽어볼 만한 자기 계발서 달러구트 꿈 백화점 2, 이미예, 팩토리나인 (4월) 1편을 읽었고 나쁘지 않았기에 이어서 읽음. Not Bad 나는 현명하게 나이 들고 싶다, 장성숙, 비타북스 (4월) 제목 그대로 “나"가 중심인 책 본인의 자아성찰이 주를 이룸. 침묵이라는 무기, 코르넬리아 토프, 가나출판사 (4월) 급하게 읽게 됐는데, 제목은 무거워 보이나 쉽게 금방 읽혔음 내용도 괜찮고 좋은 문장도 많음 말 많은 사람들이 읽었으면 하는 책 ㅎㅎ 프로이트의 의자, 정도언, 웅진지식하우스 (4월) 추천받아서 읽은 책 한 개인의 심리(마음)기전을 이해할 수 있는 유용한 책이었습니다. 사람의 정신을 분석하는 여러 방법들이 있겠지만 읽으면서 자연스레 수긍되고 ‘아 그래서 그렇구나’라고 깨닫게 될 정도로 거부감 없는 내용이었습니다. 학문이 밑바탕인 책이라서 자칫 어렵게 적을 수도 있었을 텐데 쉽게 잘 적었고, 그러기 위해 저자가 노력을 많이 했지 않을까 싶어요. 나 또한 내 마음을 모르겠을 때 다시 한번 꺼내게 될 책! 바리데기, 황석영, 창비(5월) 추천받아서 읽은 책 중고등학교 국어책에 나올법한 글과 내용 비극적인 삶임에도 어떻게 살아온, 버텨온 것이 대단함 열린결말로 끝이나는데 이후에는 조금 더 행복했기를 바람 인생은 순간이다, 김성근, 다산북스(6월) 읽었는데 기억에 남는게 없네요 ㅎㅎ 로기완을 만났다, 조해진, 창비(6월) 초반부는 조금 지루합니다. 그 부분만 지나면 술술 읽혀요. 나름 재밌음~ 비건한 미식가, 초식마녀, 한겨레출판(7월) 비건은 아니지만 지인이 쓴 책이라 한번 읽어봤습니다. 고기빼고 할 수 있는 요리 들이 정말 많네요 ㅎㅎ 읽다보면 그냥 배고파요. 침묵이라는 무기, 코르넬리아 토프, 가나출판사(8월) 사람을 안다는 것, 데이비드 브룩스, 웅진지식하우스(9월) 탤런트 코드, 대니얼 코일, 웅진지식하우스(10월) 제가 좋아하는 종류의 책입니다. 과학적이고 정량적인 서술! 노력또한 중요하지만 방향성! 참을 수 없는 존재의 가벼움, 밀란 쿤데라, 민음사(10월) 유명한 고전, 한국 소설에서는 접할 수 없었던 내용들이자 심리상태?