ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 2024-03-03
    스파르타/WIL(Weekly I Learned) 2024. 3. 3. 23:01
    • **FACTS(사실, 객관)** : 이번 일주일 동안 있었던 일, 내가 한 일
      태블로 강의 마저 듣기 & 개인과제, pandas로 SQL 문제 풀기, 프로젝트 관련해서 주제 선정, 사전준비, 그외 부분(프로젝트 관련해서)
    • **FEELINGS(느낌, 주관)** : 나의 감정적인 반응, 느낌
      우선 태블로 관련해서 말하자면 나름 UI?를 통해 마우스로 드래그 하는 방식으로 대부분을 시각화할 수 있다는 것에 대해 좋은 점은 알겠지만, 개인적으로 느낀바로는 cloud로 작업해서 그런지 할 수 없는 기능이 많았던 것 같고, 뭔가 잘 안되는 부분이 굉장히 많았다(간단히 범례 등을 숨겼는데 다시 표시하는 방법이라던지) 그래서 현재 개인적으로는 DE쪽에도 굉장히 관심이 많이 가기 때문에 BI하는 쪽은 간단히만 익히고 다른 부분들 하듯이 깊이 파고들어 공부해보지는 않을 것 같다(공부하려해도 제약이 굉장히 많을 것으로 예상된다, 현재는 태블로 유료라이선스를 이용할 기회가 있어 사용해보겠지만 끝난다면 그냥 다른 streamit?같은 다른 방식의 BI를 쓸 듯하다), 과제에 대해서도 덧붙이면 조금 아직 낯설고 안 익숙하며 처음 써보는 것이라 할 줄 몰라 헤매는 부분이 다소 있기는 했지만 그리 어렵지는 않았다고 생각하며, t-value와 p-value구하는 부분을 직접 계산하는 것은 다소 어려웠으나 솔직한 생각으로는 태블로에서 그것을 굳이 계산하기 보다는 파이썬 등에서 계산하는 것이 더 나을 것 같다는 생각이 들어 과제도 그렇게 진행하였고 앞으로도 미리 계산을 해둘 것 같다
      Pandas로 SQL문제 푸는 것은 기대보다 효과가 별로 였던 것 같았다 우선 시작하고 다음날인가 그 다음날인가 바로 프로젝트를 시작하게 되어 정신이 없어 못 풀었던 것도 있지만 깃허브에 수동으로 파일을 새로 만들어서 추가해주어야하고, 뭔가 세세한 부분은 pandas로 하지만 많은 데이터를 한번에 간단한 작업을 할 경우에는 SQL을 사용할 줄 아니 그냥 SQL쓰는 것이 나은 것 같다는 생각도 들며 동시에 지금 어느정도 무난하게 쓰는 SQL과 Pandas보다는 다른 어색한 부분을 좀더 공부해야하지 않는가라는 생각과 동시에 오랫동안 또 안쓰게 되면 잊어먹을 것 같으니 꾸준히 써주는게 좋지 않을까라는 생각과 대립중이라 여유될 때 좀더 고민하고 정할 것 같다. 프로젝트동안은 여유가 있다면 골라서 1,2문제정도 풀어볼듯하며 여유가 없다면 그날은 그냥 패스할 것 같다
      프로젝트 주제 관련해서 처음에는 음악 플랫폼 유저 분석을 할려했으나 데이터가 너무 적게 포함되어있어 난항이 예상되기도 했고, 매니저님이 너무 음악 플랫폼 유저 분석관련 주제에 사람들이 몰렸다고 이러면 불편함이 발생할 것으로 예상되 주제를 변경해주실 분들은 변경을 해주시길 요청하셔서 바꾸게 되었는데 뭔가 주식관련해서 예측하고 그것을 통해서 의사결정을 하도록 BI로 시각화하는데 이 과정의 파이프라인을 구축하는 것을 하는데 우선 대략적인 파이프라인은 어느정도 윤곽을 잡아두었긴하나 나머지 예측하는 부분이나 어떻게 의사결정하도록 지표를 설정하여 보여줄지 등은 주식에 대하여 아예 모르기 때문에 추가적으로 찾아보고 공부를 하면서 고민을 해봐야할 것 같다
      그리고 프로젝트 관련해서 파이썬을 이용하여 주식 데이터를 가져오고, 그 데이터를 google bigquery에 적재하는 것 등을 했는데 가져오는 것은 그리 어렵지 않았지만, GBQ에 적재하는 건 뭔가 잘못해서 요금이 청구되지는 않을까 걱정되는 부분도 있고, 또 이것 저것 세팅해줘야하는 부분이 많아서 처음 보는 내용이 상세한 설명없이 되어있어 이해하는데 힘들었지만 어떻게 어떻게 AI봇과 구글링을 통해 어느정도 용도에 맞게 사용할 정도는 할 수 있게 되었던 것 같다. 이 작업이 파이프라인 구축에 크게 관련있는 부분이기 때문에 힘들었지만 뭔가 이런 일을 해볼 수 있어서 좋은 기회라고 생각하였다
      그리고 추가적으로 프로젝트 본격적 주제 선정 및 진행에 앞서 미리 계획 등을 미리 정하려고 노력봤는데 주제가 정해지지 않다보니 뭔가 하기가 매우 어렵다는 것을 느꼈다
    • **FINDINGS(배운 것)** : 그 상황으로부터 내가 배운 것, 얻은 것
      tableau에 대한 대략적인 사용법과 특징, Pandas로 SQL문제 풀면 어떤 점이 어렵고, 어떤 점이 간단하며 차이나 장단점 같은 부분을 하면서 배운 것 같다, 프로젝트 주제가 바뀐 부분은 그냥 임기응변력?을 조금 기른 느낌외에는 크게 배웠다고 생각하는 부분이 떠오르지 않으며, 파이프라인 구축하는 기본적인 단계인 데이터 가져오고 그것을 DB에 적재하는 방식을 배웠다
      주제를 미리 정해야 계획 등 앞으로 어떻게 해나갈지 정하는 것도 수월하게 정할 수 있다는 사실을 몸소 다시 깨달았다
    • **FUTURE(미래)** : 배운 것을 미래에는 어떻게 적용할 지
      BI를 쓸 때 tableau를 고려할 수도 있고 다른 방식을 공부하여 쓸 수 있도록 할 수 있을 것 같고,
      Pandas로도 SQL로 할만한 부분들을 좀 더 능숙히 할 수 있을 것으로 예상되고,
      갑자기 주제가 바뀌어도 어느정도 좀 더 빠르게 적응하여 진행할 수 있을 것 같고, 
      앞으로 파이프 라인 구축하는 작업을 복잡하게는 못하더라도 간단히는 할 수 있을 것 같다
      그리고 마지막으로 주제를 신중히, 빠르게 정하는 것의 중요성을 알고 빠르고 신중하게 정하는 데 더 노력하여 좋은 진행을 이끌어 낼 수 있을 것 같다

    '스파르타 > WIL(Weekly I Learned)' 카테고리의 다른 글

    2024-03-17  (0) 2024.03.17
    2024-03-10  (0) 2024.03.10
    2024-02-25(수정필요)  (0) 2024.02.25
    2024-02-18  (0) 2024.02.19
    2024-02-11  (0) 2024.02.11
Designed by Tistory.