ΣΜ

데이터 프레임을 만들기 위해 피클로 저장한 데이터를 가져오려고 했는데

50개 단위로 피클 저장했기 때문에 1700여개가 되는 것들을 일일히 한개씩 적고싶지 않았다.

찾아보니 globals() 라는 함수가 있었다.

간단하게 사용방법은 이렇다.

for 변수 in range(1,5):
    원하는 변수명 = globals()['변수명{}'.format(변수)]

이렇게 변수를 반복해서 생성하게끔 해주면

<결과>

변수명1
변수명2
변수명3
변수명4
변수명5

이렇듯이 여러개로 나눠서 생성이 가능하다.

globals()는 이외에도 다양한 변수들이 있는데

고것은 내일 마저 쓰도록 하겠다! (당당)

프로젝트 하다보니 기록과 동시에 하기에는 버거운 감이 있는 것 같다.

그래도 이런 함수들이 있구나 찾아보면서 도움이 많이 되어서 공유하는 글을 좀 더 자주 작성해보도록 노력하겠습니다!

Pickle

• 데이터 저장 및 불러올때 사용하는 라이브러리
• 파이썬 객체 자체를 파일/바이너리로 저장
  • ex) Dic, List, Tuple등
  • 객체는 파일에 쓸 수 없어서 유용함

Pickle 장점

• Pickle의 특성(객체 자체 저장)으로 인해 속도가 빠름

Pickle 사용법

import pickle

# 파일 저장하는 법
pickle.dump('객체', '저장하고자 하는 파일')

# 파일 불러오는 법
pickle.load('파일')

실사용 예시

import pickle

data = {
    'a': [1, 2.0, 3, 4+6j],
    'b': ("character string", b"byte string"),
    'c': {None, True, False}
}

# save
with open('data.pickle', 'wb') as f:
    pickle.dump(data, f, pickle.HIGHEST_PROTOCOL)

# load
with open('data.pickle', 'rb') as f:
    data = pickle.load(f)

먼저 이 글은 개인적인 공부를 위해 구글링한 내용들 기반으로 정리한 글입니다. (출처는 하단에)

다소 낮은 눈높이와 이해력을 가지고 있기때문에 틀리거나 다른 부분이 있을 수 있습니다.(없는 부분마저 존재!)

그렇기때문에 지속적인 업데이트와 피드백 수용하니 많은 지원 바랍니다(?) 넓은 마음으로 봐주세요

아래 내용은 제가 기억을 잃고 다시 읽게 되었을때 무슨 글인지 알 수 있도록 풀어서 쓸 예정입니다.

TextRank

"텍스트 요약"

텍스트 요약(Text summarization)을 하는 이유가 뭘까?

다른 이유도 많겠지만 복잡도를 줄이면서 필요한 정보 제공 및 유지에 용이합니다.

텍스트 요약(Text summarization)에는 크게 두가지 방법이 있습니다.

1. 추출 요약(Extract)

추출 요약은 간단하게 문서에 존재하는 단어나 구문, 문장등을 그대로 "추출"

그래서 쉽게 접근 할 수 있지만, 가독성이 부족해 질 수 있습니다.

2. 생성 요약(Abstract)

생성 요약은 문서의 내용을 압축, 새로운 문서를 작성합니다.

해서 자연어 생성에 대한 기술과 지식이 필수적입니다. + 특정 도메인의 충분한 학습 데이터 필요

다른 방법도 무수히 많습니다.

포괄적 요약 / 질의기반 요약

지시적 요약 / 정보적 요약

단일문서 요약 / 다중문서 요약

하지만 지금 우리가 공부할 것은 추출 요약의 대표주자, TextRank 에 대해서 알아봅시다.

더 궁금하신 분은 2001년 자료지만 여기 들어가셔서 읽어보시면 도움 될 것 같습니다

TextRank 알고리즘은 Rada Mihalcea, Paul Tarau 컴-공 교수님들께서

작성한 Graph-Based Ranking Model 논문을 기반으로 한 알고리즘입니다.

이는 Google의(래리 페이지, 세르게이 브린. 구글 대빵 맞슴다.) PageRank를 활용한 알고리즘인데 간단하게 말해서

하이퍼링크(바로 위처럼 링크 달린 문장!)를 가진 웹 문서에 "상대적 중요도"에 따라 가중치를 부여하는 방법.

서로 인용, 참조로 연결된 임의의 묶음에 적용할 수 있습니다.

(나무위키)

PageRank가 높은 웹페이지는 다른 사이트가 참조를 많이 한 것으로 해석할 수 있습니다.

예시) 페이지 A가 페이지 B,C,D 총 3개의 링크를 걸었다면 페이지 B는 페이지 A 랭크 값의 1/3 만큼 가져온다는 뜻

무슨말이지?

나무위키에서 잘생긴 Westlife 형님들 사이트에 들어갔다고 치자, 웨스트 라이프 항목을 쭉 읽다가

존잘 셰인 필란의 항목이 눈에 띄여 들어갔다. 이후 그의 동료가 궁금하여 키안 이건 항목으로 들어간다.다시 Westlife의 항목을 살펴보게 되었다.

그러면 순서가 Westlife >> 셰인 필란 >> 키안 이건 >> Westlife이 됩니다.여기서 Rank가 가장 높은 페이지는 Westlfie가 될 것입니다.

-출처 (위키피디아 - PageRank) - << 자세한 내용은 여기서!

참고 - 세르게이 브린의 PageRank 논문 번역본

다시 돌아와서, 이 PageRank 알고리즘을 활용한 것이 바로 TextRank !

PageRank가 다른 여러 웹 사이트들로 링크를 받아 중요도를 판단한다는 점을 응용해

문서내의 문장, 단어를 이용해 문장의 Rank를 계산하는 알고리즘입니다. 

논문에 따르면 voting 또는 recommendation의 아이디어를 생각해냈다고 하는데,

한 A 꼭짓점(vertex)과 B 꼭지점이 연결되고 이를 연결한 꼭지점에 투표(vote)했다고 봤을때

투표수가 많아질 수록 특정 꼭지점의 중요도는 점점 커지게 된다.

이 투표수에 따라 Rank가 매겨지는 것!

몬가.. PageRank가 내용이 더 많아 보이는건 착각이 아닙니다..

수식은 조금 더 공부하고 수정, 업데이트 하도록 하겠습니다.

수학 넘모 어려워..

출처 및 참고 :

EXCELSIOR-JH

JOO's LIBRARY

seolini.log

Lovit.github.io

위키피디아

서론.

처음 블로그를 개설하고

처음 글을 작성하면서 드는 생각은

시작이 정말 중요하구나, 였다.

사실 이 블로그를 작성하기까지 오랜 시간이 걸렸다.

어떤 사이트에서 개설할지,

어떤 내용을 올려야할지,

어떤 방식으로 정리하고 공유할지

사소한 것부터 하나하나 고민이 되었다.

고민의 시작은 또 다른 고민을 불러오게 되었다.

이대로라면 나는 고민밖에 하지 않고 말만 번지르한

가벼운 사람이 될까 걱정이 되어 무작정 만들어버렸다.

만들어버리니까 어떤 주제를 시작하고 끝맺음을 할지 윤곽선이 잡혔다.

물론 뚜렷하고 확실한 선을 긋진 못했지만 아무렴 어떤가

선착장의 배를 묶어주는 홋줄은 강하게 묶으면 터지지만

적절하게 묶어준다면 수십만톤이 넘는 배도 고정시켜준다!

라는 생각으로 어느정도의 유함을 가지기로 했다.

하지만 작성하는 글은 확실하고 정확하게, 그리고 내가 다시 봐도 이해되게끔 작성하고자 한다.

혹여 잘못된 정보, 변경이 된 내용이 있다면 언제든지 댓글을 달아주시면 감사할 것 같다.

만나서 반갑습니다.

안녕하세요.

IT 업계에 첫 발걸음을 떼면서 새로운 세상을 알게 되었습니다.

이곳은 일기와 같이, 배워가는 것들과 제가 느끼는 것들에 대해 기록해보려고 합니다.

함께 공부하고 많은 것들을 배워갔으면 좋겠습니다.

이후에 나오는 어투는 개인적인 공부를 위해 자신에게 되말하듯 작성하는 것이다보니

다소 직설적이고 가벼이 느껴질 수 있음을 말씀드립니다.

같이 봐주신다면 정말 감사하겠습니다.

만나서 반갑습니다.