Скачивание музыки из Вконтакте по альбомам — VKontakte Music Backuper

Те, кому интересно конечное приложение для скачивания музыки из Вконтакте по альбомам, могут скачать его по ссылке. Для запуска требуется .Net Framework 3.5 — можно скачать с сайта Microsoft.com. Пользоваться очень просто — ввести электронную почту, пароль, авторизоваться. Если нужно, изменить ID пользователя для которого показан список аудио. Далее поставить галочки на альбомах, которые нужно скачать и нажать кнопку «скачать альбомы». Можно качать отдельные композиции. С теми же, кого интересуют буквы и реализация, продолжаем. Пользователи Linux и Mac Os могут воспользоваться приложением с помощью проекта Mono, в Ubuntu мне было достаточно выполнить полную установку Mono командой sudo apt-get install mono-complete. Далее можно запускать программу из консоли командой mono VkontakteMusicBackuper.exe либо обычным двойным кликом. Кроме того,можно воспользоваться сервисом Muzico.biz, чтобы слушать и скачивать и записи прямо с сайта.

Великая и могучая социальная сеть Вконтакте давно приобрела славу хостинга аудио-записей. Судя по количеству людей, у которых список музыки составляют сотни и тысячи композиций, выкачивание музыки является довольно насущной проблемой.

Конечно же, ссылки на mp3-файлы доступны в исходном коде страницы. Кроме того, есть расширения в виде букмарклетов, такие как savefrom.net, которые отображают ссылку на скачивание прямо при воспроизведении музыки или видео. Существует очень удобное приложение для поиска и скачивания музыки из вконтакте под названием VKMusic. Хоть там и заявлена поддержка альбомов, те альбомы, что создает сам пользователь скачать нельзя.

Поэтому пишем свой велосипед. Знания о том на C# сделать скачивание файлов по http, парсить html рано или поздно пригодятся. Правильнее было бы использовать Вконтакте API, но там все равно тоже нет возможности получения альбомов.

1. Авторизация

При авторизации пользователя в ответе возвращается ID пользователя, а так же remixsid — ключ, хранящийся в cookies браузера и передаваемый при последующих запросах к сайту. Повторяем авторизацию Вконтакте:


 public class VKUserInfo
  {
    public String SID { get; set; }
    public int UserID { get; set; }
  }

  public static class VKUtils
  {
    /// <summary> Авторизация к Vkontakte.ru с получением id и SID пользователя </summary>
    public static VKUserInfo LoginToVkontakte(String email, String password)
    {
      //создаем запрос
      HttpWebRequest wrGETURL = (HttpWebRequest)WebRequest.Create("http://vkontakte.ru/login.php?m=1&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;email=" + email + ";pass=" + password);

      //Запрещаем редирект
      wrGETURL.AllowAutoRedirect = false;
      //Выставляем таймаут
      wrGETURL.Timeout = 100000;

      //получаем весь ответ
      HttpWebResponse myHttpWebResponse = (HttpWebResponse)wrGETURL.GetResponse();

      //получаем Headers,пришедшие в ответе
      string headers = myHttpWebResponse.Headers.ToString();

      //записываем ответ в поток
      StreamReader myStreamReadermy = new StreamReader(myHttpWebResponse.GetResponseStream(), Encoding.GetEncoding(1251));
      //получаем строку с ответом
      string page = myStreamReadermy.ReadToEnd();

      //это регулярное выражение,которое выдирает из переменной headers(а ее мы получили выше) значение sid
      Regex sidregex = new Regex("sid=([a-z0-9]+); exp");
      Match ssid = sidregex.Match(headers);
      String sid = ssid.Groups[1].Value;

      //Получение ID пользователя
      int id = 0;
      String location = myHttpWebResponse.Headers["Location"];
      if ( (location != null ) &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp; (location.Length>3))
      {
        location = location.Substring(3);
        Int32.TryParse(location, out id);
      }

      VKUserInfo info = new VKUserInfo(){ SID =  sid, UserID  = id};
      return info;
    }
}

2.Получение списка аудио-записей

2.1 Прямой разбор HTML-страниц

Первая мысль была парсить непосредственно страницу с аудио. Все было бы хорошо, если бы повсеместно внедренное изобилие AJAX и просто JavaScript. При просмотре страницы с аудио есть список аудио-записей, хранящийся в объекте cur.audioList, по которому формируется вывод. Записи в этом объекте, конечно хранятся удобно по альбомам, но без интерпретации JavaScript способов получить такой же список я не знаю. Поэтому переходим к следующему пункту.

2.2 Разбор специальных запросов

Выбираем вкладку «Сеть» в FireBug и открываем страницу с аудиозаписями. В глаза бросается POST запрос к адресу vk.com/audio c примерно таким содержимым (в конце id пользователя)

act=load_audios_silent&al=1&edit=0&gid=0&id=1


 public static String PostRequest(String url, Cookie sidCookie)
    {
      //создаем запрос
      HttpWebRequest wrPOSTURL = (HttpWebRequest)System.Net.WebRequest.Create(url);
      wrPOSTURL.Method = "Post";
      //wrGETURL.Headers.Add(cook.ToString());
      wrPOSTURL.Headers["Cookie"] = sidCookie.ToString();

      HttpWebResponse myHttpWebResponse = (HttpWebResponse)wrPOSTURL.GetResponse();

      StreamReader myStreamReadermy = new StreamReader(myHttpWebResponse.GetResponseStream(), Encoding.GetEncoding(1251));
      string page = myStreamReadermy.ReadToEnd();

      return page;
    }

В ответе есть кусок с примерно таким содержанием:
{«all»:[

[‘1′,’111975538′,’http://cs4606.vk.com/u86478002/audio/9a974e71ebce.mp3′,’177′,’2:57′,’The Daydream’,’Wedding Day’,’0′,’16634864′,’0′],
[‘1′,’111975520′,’http://cs4523.vk.com/u715254/audio/45f926acea24.mp3′,’263′,’4:23′,’Radio Monte Carlo (105.9 fm)’,’And I just want you’,’0′,’16634867′,’0′]
]}

Здесь первая единичка — id пользователя, числа 16634864 и 16634867 — идентификаторы альбомов, которые описаны после аудиозаписей.

По поводу альбомов есть один момент, который стоит упомянуть. По простоте душевной, думал, что можно одну и ту же песню класть в несколько альбомов. На самом же деле, при добавлении песни в альбом, она удаляется из предыдущего. Каждая песня хранится только в одном альбоме.

3. Скачивание mp3-файлов

Осталось сделать скачивание mp3-файлов из Вконтакте по уже полученным ссылкам. Очень простое решение без возобновления загрузки, при ошибке скачивания файла он просто пропускается. Ниже — обработчик DoWork для BackGroundWorker


 private void backgroundWorker1_DoWork(object sender, DoWorkEventArgs e)
    {

      try
      {
        List<song> current_list = songs_to_download.ToList();
        Song current = null;
        for (int i = 0; i < current_list.Count; i++)
        {
          try
          {
            current = current_list&#91;i&#93;;
            // the URL to download the file from
            string sUrlToReadFileFrom = current.DownloadURL;

            // the path to write the file to
            string sFilePathToWriteFileTo = MusicDownloader.GetPath(current, albums, txtDirOut.Text, cbAlbumCatalog.Checked, cbAuthorCatalogs.Checked, CbTranslit.Checked);


            // first, we need to get the exact size (in bytes) of the file we are downloading
            Uri url = new Uri(sUrlToReadFileFrom);
            System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);
            //
            if (cook != null)
            {
              request.Headers&#91;"Cookie"&#93; = cook.ToString();
            }

            //
            System.Net.HttpWebResponse response = (System.Net.HttpWebResponse)request.GetResponse();
            response.Close();
            // gets the size of the file in bytes
            Int64 iSize = response.ContentLength;

            // keeps track of the total bytes downloaded so we can update the progress bar
            Int64 iRunningByteTotal = 0;

            // use the webclient object to download the file
            using (System.Net.WebClient client = new System.Net.WebClient())
            {
              // open the file at the remote URL for reading
              using (System.IO.Stream streamRemote = client.OpenRead(new Uri(sUrlToReadFileFrom)))
              {
                // using the FileStream object, we can write the downloaded bytes to the file system
                using (Stream streamLocal = new FileStream(sFilePathToWriteFileTo, FileMode.Create, FileAccess.Write, FileShare.None))
                {
                  // loop the stream and get the file into the byte buffer
                  int iByteSize = 0;
                  byte&#91;&#93; byteBuffer = new byte&#91;iSize&#93;;
                  while ((iByteSize = streamRemote.Read(byteBuffer, 0, byteBuffer.Length)) > 0)
                  {
                    // write the bytes to the file system at the file path specified
                    streamLocal.Write(byteBuffer, 0, iByteSize);
                    streamLocal.Flush();//
                    iRunningByteTotal += iByteSize;

                    // calculate the progress out of a base "100"
                    double dIndex = (double)(iRunningByteTotal);
                    double dTotal = (double)byteBuffer.Length;
                    double dProgressPercentage = (dIndex / dTotal);
                    int iProgressPercentage = (int)(dProgressPercentage * 100);

                    // update the progress bar
                    int iTotalPercentage = (int)((double)i / current_list.Count * 100);
                    backgroundWorker1.ReportProgress(iTotalPercentage, new DownloadState()
                    {
                      SongName = current.FileNameForSave,
                      SongPercent = iProgressPercentage,
                      TotalCount = current_list.Count,
                      index = i
                    });
                  }

                  // clean up the file stream
                  streamLocal.Close();
                }

                // close the connection to the remote server
                streamRemote.Close();
              }
            }
          }
          catch (Exception exc)
          {
            AddLog("Файл "+ current.FileNameForSave + " Ошибка:" + exc.Message);
          }

        }
        backgroundWorker1.ReportProgress(100, new DownloadState() { SongName = "Скачивание завершено", SongPercent = 100 });
      }
      catch (Exception exc)
      {
        ShowException(exc);
        backgroundWorker1.ReportProgress(0, new DownloadState() { SongName = "Ошибка при скачивании", SongPercent = 0 });
      }
    }

4. Необходимые мелочи

Если сохранять файлы просто образуя путь по имени альбома, исполнителю и названию композиции, возникают следующие проблемы:

4.1. Устранение недопустимых символов в именах файлов

Не все символы одинаково полезны, поэтому при генерации имени файла, кавычки я заменяю на апострофы, а все остальные недопустимые символы — на символ подчеркивания.

4.2.Транслитерация имен файлов

Галочка в приложении по умолчанию отключена, но если кто-то не хочет, имена файлов могут транслитерироваться в латиницу.

4.3.Пропуск закачанных файлов

Если опция включена, то если есть файл на диске уже есть и его размер совпадает с размером файла на сервере, файл скачиваться еще раз не будет.

Заключение

Все, таким инструментом уже можно пользоваться. Конечно же, необходим полноценный менеджер загрузки, здесь нет поддержки proxy-серверов и много-много других кошерных вещей. Если приложение будет востребовано, можно и дописать, пока же этих возможностей хватает.

Следует помнить, что использование подобных инструментов приводит к нарушению пользовательского соглашения ВКонтакте.

Пункт 5.3.9(запрещается). использовать без специального на то разрешения Администрации Сайта автоматизированные скрипты (программы) для сбора информации на Сайте и(или) взаимодействия с Сайтом и его сервисами

Приятного прослушивания!

[audio:http://yahnev.ru/music/Radio%20MonteCarlo%20(105.9%20fm)%20-%20And%20I%20just%20want%20you.mp3]

Скачать исходный код приложения
Ссылки по теме: