기타
-
[데이터사이언스] 빅데이터 관련 과제기타/과제 2021. 4. 19. 14:06
1. 빅데이터 플랫폼 요구사항 분석 플랫폼 구축의 목적을 달성하기 위해 요구사항을 수집하고 수집된 자료로 요구사항을 도출 및 분석하여 빅데이터 플랫폼 범위를 명세하고 검증하는 능력이다 2. 빅데이터 플랫폼 아키텍쳐 설계 빅데이터 시스템 아키텍처 기술 요구 사항 분석 → 참조 데이터 확보 → 공유 보안 체계 → 시스템 개념 설계 → 규모 산정 검토 → 시스템 상세 설계 → 시험 시스템 구현 → 타당성 검증 보안 아키텍처 역량 구분 내용 저장 관리 HDFS (Hardoop Distributed File System) 아파치 재단의 오픈소스 분산파일 시스템 일반 하드웨어에서 고성능 저장 관리 제공 높은 확장성과 장애 극복을 위해 3개의 노드에 자동으로 데이터 복제 자동 데이터 복제로 백업이 필요 없음 한 번의..
-
Spring MVC 개인프로젝트 - #2 이클립스 프로젝트와 깃허브 연동기타/Spring MVC 2021. 3. 18. 17:22
프로젝트 목록 #1 프로로젝트 생성과 마이바티스+오라클 연동 나는 깃허브를 아직 사용한지 얼마되지 않았다 처음에 터미널로 커밋 풀 푸쉬를 하다가 난리도 나고 안되고 며칠을 그렇게 끙끙 앓다가 소스트리라는 툴을 알게되고 조금씩 배워나가는 중! 타 프로젝트를 fork해와서 소스트와 이클립스에 연동해 사용하는 법은 아래 포스팅을 보면 나와있다 2021.03.03 - [분류 전체보기] - 깃허브 저장소 이클립스와 소스트리 연동해 프로젝트 관리하기 깃허브 저장소 이클립스와 소스트리 연동해 프로젝트 관리하기 깃허브를 이용해 처음 팀프로젝트를 해보는데 용어와 사용법이 많아 낯설어서 상당히 삽질을 많이 했다 ㅠㅠ 그래서 가장 많이 사용하는 fork(저장소 카피), pull request(업데이트 확인받기), remot..
-
Spring MVC 개인프로젝트 - #1 프로로젝트 생성과 마이바티스+오라클 연동기타/Spring MVC 2021. 3. 18. 16:39
위 게시글은 아래 글을 참고해서 만들었습니다 kuzuro.blogspot.com/2018/04/blog-post_7.html 스프링에 오라클과 마이바티스 연동 개발자, 웹개발, PC앱개발, Java, C#, HTML/CSS, JavaScript, Spring, ASP, .NET kuzuro.blogspot.com 할 때 마다 연결하는 것에 애를 먹어 한 번 정리하기로 했다 ㅠㅠ 디비 연결하는 게 아직도 헷갈려서 할 때마다 찾아보는데 할때마다 오류와 만남 ㅋㅋ 1. Spring Legacy Project를 만든다 (프로젝트 만들고 이름 설정하는 건 쉬우니까 건너 뛰기할 때 마다 연결하는 것에 애를 먹어 한 번 정리하기로 했다 ㅠㅠ 디비 연결하는 게 아직도 헷갈려서 할 때마다 찾아보는데 할때마다 오류와 만남..
-
다양한 정형데이터 분석 기법들기타/R(아르) 2021. 2. 19. 14:22
패키지를 설치해야 아래 함수를 사용 할 수 있다 install.packages("dplyr") library("dplyr") 원하는 조건의 행만 출력하기 filter() 타율이 0.35가 넘는 사람만 출력 a = filter(data1, 타율>0.35) 홈럼이 30개 초과, 타점이 홈런이 30개 초과하고 타점이 115점 이상인 선수 (and연산) b= filter(data1, 홈런>30 & 타점>=115) #홈런이 30개 초화하거나 타점이 115점 이상인 선수 정보(or연산) c=filter(data1, 홈런>30 | 타점>=115) 행으로 잘라주는 slice() 1~5행만 출력 slice(data1,1:5) 1,3,5,6,7 행만 출력 slice(data1, 1, 3, 5,6,7) 백터로 묶어서 출력 ..
-
빅데이터의 3v기타/빅테이터 2021. 2. 19. 11:15
빅데이터의 3V 1. 크기(Volume) 큰 데이터 데이터의 개념을 넘어선 비정형 데이터 (sns에 올라오는 사진 및 영상 등)들이 다양한 플랫폼에서 저장되어 활용되고 있다 사람이 입력한 텍스트만 관리하던 과거와는 달라진 개념의 데이터 처리를 한다 2. 속도(Velocity) 수집되는 속도과 빠르다 빠른속도로 수집되어 가공될 수 있는 실시간 데이터가 중요하다 3. 다양성(Variety) 데이터의 종류가 다양해졌다. 추가적인 특징 진실성 (Veracity) 빅데이터를 구성하는 데이터들을 얼마나 신뢰할 수 있는가 가치(Value) 해당 데이터는 가치있는 정보를 가져야 한다. 정확성(Validity) 빠르게 수집한 데이터가 타당하고 정확한지 확인한다 휘발성(Volatility) 데이터가 얼마나 오래 저장될 수..
-
연습문제 - 함수만들기 while, if, for 문기타/R(아르) 2021. 2. 18. 09:55
사용자 정의 함수 만들기 my_fun = function(a,b){ return (a+b) //리턴시킬 값은 반드시 ()로 둘러싸야한다 } my_fun2 = function(a,b){ a+b } 조건문 만들기 뭘먹을까 =10000){ print("갈비탕 먹고 라떼먹자") }else{ print("김밥먹고 커피믹스 마시자") } } 뭘먹을까(12000) "갈비탕 먹고 라떼먹자" ifelse 조건문 => 자바의 3항 연산자랑 비슷 (조건)? 참:거짓 my_fun4 = 90){ grade = "a" }else if(score >= 80){ grade = "b" }else if(score >= 70){ grade = "c" } else if(score >= 60){ grade = "d" }else { grade..
-
연습문제2 다양한 자료 불러오기기타/R(아르) 2021. 2. 17. 11:05
정형데이터 가져오기 먼저 파일을 불러오고 저장할 위치를 정해준다 setwd("c:/Temp") 그러면 그 폴더의 파일명으로 찾을 수 있다 인코딩은 한글깨짐 방지용 txt1 = readLines("구매후기.txt", encoding="UTF-8") 테이블 형식으로도 불러올 수 있다 단 header=T를 통해 컬럼명을 정해줘야한다 그렇지 않으면 컬럼명도 데이터화 된다 txt2 = read.table("전공.txt", header=T, fileEncoding="UTF-8") 스페이스나 탭으로 분리한게 아닌 특수 기호로 분리한 테이블을 가져올 땐 sep=""을 사용한다 txt3 = read.table("전공2.txt", header=T, sep=",", fileEncoding="UTF-8") read.csv는 ..