빅데이터란?


- 데이터 규모에 맞춘 정의 : 기존 데이터베이스 관리 도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 데이터

- 업무 수행 방식에 맞춘 정의 : '다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐' 라고 하는데 가트너 발표 2015년에 빅데이터 항목이 사라졌다. ( 병각이 형이 늘 말씀하셨지)

그 이유로 가트너에서는 '빅데이터는 하나의 기술 트랜드나 프로젝트가 아닌 IT전체에 녹아 있는 공기와 같은 기술이기 때문' 이라고 했다. 

빅데이터를 공부하고 여러 자료를 읽어보면서 생각한건 엄청나게 데이터가 발생하고 그 데이터를 분석하는 것은 좋지만 이를 어떻게 활용할 것인가가 중요한 이슈라고 생각한다. 사업에 있어 choice가 몇몇의 가능성을 더한 것이 었다면 이젠 뒷받침할 근거를 제공할 수 있도록 데이터를 활용할 수 있다는 것이다.

Data Scientist는 Data Engineer와 Data Analysis로 분화되어 가고 있다. 
어떻게 준비할 것인가에 대해 조금 더 고민해 볼 가치가 있는 듯 하다.

'Data Engineer > Hadoop' 카테고리의 다른 글

하둡 2.0 구성요소 and 동작방식  (0) 2016.05.04
하둡 1.0 vs 하둡 2.0  (0) 2016.05.04
하둡(Hadoop)이란?  (0) 2016.05.04

백준 알고리즘 9935번 문제 - 문자열 폭발



사실 이 문제는 틀렸다. 문제 유출을 위해서 문제를 밝힐 순 없지만 제니퍼 소프트 문제와 약간 비슷한 측면이 있어서 풀어보았다. 물론 제니퍼는 DP를 썼어야 했지만 이건 아니다.

결론적으로 코드는 작성했지만 틀렸다.

그 이유는 시간초과였다. 이 모든 과정을 1초 내에 끝내야 하는데 DP를 사용하지 않은 탓인지 1,000,000의 문자열을 주었을 때 수행시간이 오버가 된다.


틀린 코드지만 올려보았다.


접근 방식

- 해당 문자열로 split을 한 후, join을 통해 새로운 문자열을 만든다.

- 해당 문자열이 있는 동안 loop를 돌린다.

- 남아 있는 문자열이 있는지 없는지를 체크한다.



코드 (python v2)

1
2
3
4
5
6
7
8
9
10
iStr = map(list, raw_input('input the first String : '))
fStr = map(list, raw_input('input the first String : '))
 
while fStr in iStr:
    iStr = "".join(iStr.split(fStr))
 
if iStr:
    print iStr
else:
    print "FRULA"
cs


백준 알고리즘 1924번 2007년


알고리즘을 이제는 슬슬 공부해보자고 결심했고 백준 알고리즘 사이트에서 쉬운 문제들만 가지고 풀어보기 시작했다.
왜 공부하게 됐냐면 제니퍼소프트 인턴문제를 풀면서 뭘 써서 풀면 될지는 알았는데 코딩이 안된다는 사실에..
또한, 개발자로써 알고리즘에 대한 자부심을 갖추어야 한다고 생각했기 때문에
또한, 내 학점을 커버하기 위해서!?ㅠㅠ 


무튼 그 시작으로 쉬운 문제들을 연습삼아 풀어보았다.

개발 언어는 python으로 풀었는데 그 이유는 언어도 공부할 겸 굉장히 코드가 짧아진다는 것. (사실 Java를 안한지 좀 되어서 기억이 잘 안나...)

이 문제는 2007년 1월1일 월요일이 주어지고 두 정수를 받아 해당 월 일이 무슨 요일인지를 구하는 문제이다.

이 문제 되게 쉽다.....근데 업로드 하는 이유는 그냥... 어쨌든 심심풀이로 풀었자나..


코드 (python v2)

1
2
3
4
5
6
7
mList = [0,31,28,31,30,31,30,31,31,30,31,30,31]
wDay = {1 : 'MON'2 : 'TUE'3 : 'WED',4 : 'THU',5 : 'FRI',6 : 'SAT',0 : 'SUN'}
sum =0
month, day = map(intraw_input().split(" "))
 
for i in range(month):
    sum += mList[i]sum += dayprint wDay.get(sum%7)
cs


+ Recent posts