'Grid'에 해당되는 글 1건

  1. 2012.09.21 Why grid of webhard is so bad? (3)

2012.09.21 17:23 Web

[+] Introduction



토렌트가 이 땅에 널리 퍼지기 전에 


태초에 와레즈, 당나귀, 프루나가 있었다. 


모든 남성들의 벗이었던 그들이 빛을 잃어갈 무렵


웹하드라는 자가 나타났으니 사람들은 지금까지 경험하지 못해본 그의 속도에 감탄을 금치 못했다.


이에 사람들은 너도 나도 웹하드를 사용하여 세상은 곧 대 웹하드 시대를 열게 되었다고 한다.




는 몇년 전 이야기


하지만 토렌트는 시드 유지가 안될 경우 전송 속도가 급격히 떨어지는 관계로


업로더만 자료를 가지고 있더라도 항상 풀 속도를 유지하는 웹하드는 그 메리트가 있습니다.


그래서 아직도 수많은 웹하드가 명줄을 유지하고 있죠.


아, 잘못 말했네요. '돈을 쓸고 담고 있죠' 


어쨌든..  웹하드에 올라오는 자료가 많고 사용자가 많아질 수록 서버는 그 부하가 커지게 됩니다.


그래서 웹하드 업체에서 생각해낸 것이 분산 컴퓨팅 , 그리드 시스템 입니다.


이 그리드 프로그램은 설치된 pc의 리소스 일부를 사용하여 서버 부담을 덜어준다고 하죠.


이 그리드가 얼마나 욕심 많은 프로그램인지는 차차 설명드리겠습니다. 


사실 그리드 컴퓨팅의 그리드는 grid, 욕심은 greed 입니다만 웹하드 그리드는 후자에 가깝다고 할 수 있겠네요.




[+] Procedure


 

1. IE to Download program


B 모사의 그리드 프로그램을 기준으로 말씀드리겠습니다.



만.. 웹하드 프로그램은 다 거기서 거깁니다.


앞글자 하나 바꾸고 다른 이름으로 서비스 하는게 태반이에요.


웹 페이지 소스 보시면 다른 사이트 이름이 떡하니 찍혀있는 일은 태반이고


프로그램 뜯어보면 더 장관이죠.


대부분의 웹하드 프로그램은 아래와 비슷한 동작 방식을 가진다고 말씀드릴 수 있습니다.


먼저 다운로드 프로그램은 IE에서 설치한 active X로부터 인자로 id와 pw를 받습니다.

 

pw가 hash 로 가질 않네요.

 

pc에 웹하드 프로그램이 켜져 있을 때 다른 사람이 인자 값을 보면   

 

아 encoding 이라도 된다는 점에서 감사해야 했었나요?

 

로그인할때는 평문으로 가는데 ..

 

엉엉, 내가 미안해

 

 

 

프로그램이 실행되면 Message 를 보냅니다.

 

받을 파일의 이름, hash , 결제 정보 등..

 

한자리에 전부 모이는군요

 

빵.긋

 


2. Downloader

 

사실 Downloader 는  단순히 Reciver 역할을 하기 때문에 별건 없습니다만

 

서버에서 전송되는 Data이외에

 

다른 PC의 Grid Service 에서 날아오는 Data를 받아 하나의 파일로 만드는 작업을 합니다.

 

Data 분산 전송 및 통합 과정은 사실 꽤 그럴듯 합니다.

 

 서버 측과 다른 Client 간의 상호 통신이 잘 되어야 하니까요.

 

 

 

3. Grid Service

 

대망하던 욕심쟁이 서비스입니다.

 

한장의 그림으로 설명하자면 Grid Service는 아래와 같은 작업을 합니다.

 

 

<Fig. Grid Service를 이용한 서버 부하 감소>

 

 

Client 1에서 Grid Service가 동작하고 Client2가 파일 전송을 요청했을 때 상황을

 

좀 더 자세히 나타내면 아래와 같습니다.

 

<Fig. Client-Server 간의 세부 동작 모습>

 

정보를 관리하는 Server와 파일을 전송하는 Server는 다를 수 있겠죠.

 

알고 보면 꽤 효율적인 시스템입니다. [ 업주 입장에서는 ]

 

"많은 부하를 거는 특정 파일을 분산 컴퓨팅을 이용해서 그 부담을 줄인다."

 

Server에서는 Client2가 파일을 받을 때 . 항상 일정한 전송 속도를 보장해주어야 합니다.

 

이때 같은 파일을 가진 Client 들이 많으면 많을 수록 Server가 부담하는 양은 줄어들겠죠.

 

바로 이 부분이 Grid Service에서 사용한다고 하는 사용자 PC의 Resource 입니다.

 

 

[+] Hit!


 

아 ㅎㅎ 여기까지는 이해할 수 있습니다. 다만 조금 넘겨 짚고 가야 할 부분들이 보이는군요.

 

1. 그 분은 항상 내 PC에서 상주한다.

 

 - Torrent 처럼 켰을 때만 공유하고 그런거 아닙니다.

 

 - 업로드 하는 상황 보이는 거 그런거 아닙니다.

 

 - PC 켰을 때 부터 종료할 때 까지 그는 우리와 함께 합니다.

 

 

2. 그는 내 PC에서 '다운로드 받은 파일' 외에 다른 파일들의 정보도 수집한다. [ 상위 폴더, 하위 폴더 몽땅 수집 ]

 

 - 나는 웹하드에서 무한도전을 받았는데 , 다른 상위 폴더에 있는 응슷응.avi 를 수집합니다.

 

 - 이에 해당하는 파일 확장자는 Server에서 받아 필터링 처리 합니다. 확인해보면 대부분 동영상 파일이며, exe , zip 파일도 이에 해당합니다.

 

 

3. 이 녀석은 이 수집한 정보를 다른 Remote PC에 전달한다.

 

 - 모은 정보 List를 Server에 전달합니다.

 

 - 전송할 파일 정보가 오면 그 파일을 읽어 다른 PC에 전달합니다.

 

 

 

4. 이 바보같은 녀석은 쓸데 없는 Query를 너무 많이 날린다.

 

 - File , Directory Query 를 날립니다.

 

 - Network Query 도 날립니다.

 

 - Registry  Query 도 날립니다.

 

 - 각자 다른 Thread에서 쉴 새 없이 날립니다.

 

 - 수집이 끝났다고, 전송할 게 없다고 안심하지 마세요. 그들은 쉬지 않습니다.


 - 저사양 PC에서는 성능 저하 체감이 더더욱 심하겠죠.





 

5. 이 멍청이는 File 정보 수집을 매우 비 효율적으로 한다.

 

 - Linear File Scan을 합니다.

 

 - 한 번 더 합니다.

 

 - 스캔 머겅, 두번 머겅

 

 - 파일 이름 , Hash , Buffer 중 일부를 저장합니다.

 

 [ 웹하드 설치 폴더 가셔서 최신순으로 정렬하시면 dat 파일이 하나 있을껀데 , 그 파일의 사이즈가 Grid 프로그램의 결실입니다.


파일 위치, Size, Hash , Buffer 값이 저장됩니다. 


영화, 영상을 수집하는 분들은 [ 혹은 대부분의 건장한 대한민국 남성들은 ]  크고 아름다운 dat 파일 size를 확인 할 수 있습니다.


PC를 혹사한 흔적이죠. 아아, 크고 아름다워 ]


 

 

여기까지 보면

 

 

 

<Fig. 헐 >

 

 

 

 

약관 어디 구석지에 있는 Resource 들이 이런것들이었군요

 

아 , 이제야 알았다.

 

 

또 하나,

 

Grid Service 는 업데이트가 되면 특정 url 에서 파일을 받아 대체합니다.

 

아마 , 대부분 웹하드가 같은 제조사를 쓰겠죠

 

대한민국 내의 많은 유저들이 쓰겠죠.

 

서버 상태가 좋아보이지 않네요.

 

악의를 품은 검은 그림자가 서버에 접근합니다.

 

한번에 몇 십만 군세를 부리는 군주가 됩니다.

 

 

 

 

 

[+]Conclusion


 

<Fig. 그걸 내 입으로 말하라고?>

 

 

 

 

'Web' 카테고리의 다른 글

Why grid of webhard is so bad?  (3) 2012.09.21
What is Tor?  (2) 2011.02.27
ASP.NET Padding Oracle Attack!  (2) 2010.10.13
I`m on a Chrome!  (0) 2010.09.13
웹브라우저의 춘추전국시대?  (0) 2010.09.13
Catching temporary I.E Files -IE 임시 파일 가로 채기  (5) 2010.08.24
Posted by LinkC
이전버튼 1 이전버튼

블로그 이미지
LinkC

태그목록

Tistory Cumulus Flash tag cloud by BLUEnLIVE requires Flash Player 9 or better.

공지사항

Yesterday52
Today19
Total322,198

달력

 « |  » 2018.11
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30  

최근에 받은 트랙백

글 보관함


. .