カテゴリー: 雑談

YouTube Data API(v3)の「Videos: insert」に記載されているJava/.Net/PHP/Python/Rubyのサンプルから、とりあえずPythonを選択。

ちょっと前のWeb記述を見ると、10分以上の動画がアップロードできない、的なことを書いているものもあるけれど、このWebの冒頭に「最大ファイルサイズ: 64 GB」とのことなので、大丈夫だろうと判断。

とりあえずそのままコピー

#!/usr/bin/python

import httplib
import httplib2
import os
import random
import sys
import time

from apiclient.discovery import build
from apiclient.errors import HttpError
from apiclient.http import MediaFileUpload
from oauth2client.client import flow_from_clientsecrets
from oauth2client.file import Storage
from oauth2client.tools import argparser, run_flow


# Explicitly tell the underlying HTTP transport library not to retry, since
# we are handling retry logic ourselves.
httplib2.RETRIES = 1

# Maximum number of times to retry before giving up.
MAX_RETRIES = 10

# Always retry when these exceptions are raised.
RETRIABLE_EXCEPTIONS = (httplib2.HttpLib2Error, IOError, httplib.NotConnected,
  httplib.IncompleteRead, httplib.ImproperConnectionState,
  httplib.CannotSendRequest, httplib.CannotSendHeader,
  httplib.ResponseNotReady, httplib.BadStatusLine)

# Always retry when an apiclient.errors.HttpError with one of these status
# codes is raised.
RETRIABLE_STATUS_CODES = [500, 502, 503, 504]

# The CLIENT_SECRETS_FILE variable specifies the name of a file that contains
# the OAuth 2.0 information for this application, including its client_id and
# client_secret. You can acquire an OAuth 2.0 client ID and client secret from
# the Google Developers Console at
# https://console.developers.google.com/.
# Please ensure that you have enabled the YouTube Data API for your project.
# For more information about using OAuth2 to access the YouTube Data API, see:
#   https://developers.google.com/youtube/v3/guides/authentication
# For more information about the client_secrets.json file format, see:
#   https://developers.google.com/api-client-library/python/guide/aaa_client_secrets
CLIENT_SECRETS_FILE = "client_secrets.json"

# This OAuth 2.0 access scope allows an application to upload files to the
# authenticated user's YouTube channel, but doesn't allow other types of access.
YOUTUBE_UPLOAD_SCOPE = "https://www.googleapis.com/auth/youtube.upload"
YOUTUBE_API_SERVICE_NAME = "youtube"
YOUTUBE_API_VERSION = "v3"

# This variable defines a message to display if the CLIENT_SECRETS_FILE is
# missing.
MISSING_CLIENT_SECRETS_MESSAGE = """
WARNING: Please configure OAuth 2.0

To make this sample run you will need to populate the client_secrets.json file
found at:

   %s

with information from the Developers Console
https://console.developers.google.com/

For more information about the client_secrets.json file format, please visit:
https://developers.google.com/api-client-library/python/guide/aaa_client_secrets
""" % os.path.abspath(os.path.join(os.path.dirname(__file__),
                                   CLIENT_SECRETS_FILE))

VALID_PRIVACY_STATUSES = ("public", "private", "unlisted")


def get_authenticated_service(args):
  flow = flow_from_clientsecrets(CLIENT_SECRETS_FILE,
    scope=YOUTUBE_UPLOAD_SCOPE,
    message=MISSING_CLIENT_SECRETS_MESSAGE)

  storage = Storage("%s-oauth2.json" % sys.argv[0])
  credentials = storage.get()

  if credentials is None or credentials.invalid:
    credentials = run_flow(flow, storage, args)

  return build(YOUTUBE_API_SERVICE_NAME, YOUTUBE_API_VERSION,
    http=credentials.authorize(httplib2.Http()))

def initialize_upload(youtube, options):
  tags = None
  if options.keywords:
    tags = options.keywords.split(",")

  body=dict(
    snippet=dict(
      title=options.title,
      description=options.description,
      tags=tags,
      categoryId=options.category
    ),
    status=dict(
      privacyStatus=options.privacyStatus
    )
  )

  # Call the API's videos.insert method to create and upload the video.
  insert_request = youtube.videos().insert(
    part=",".join(body.keys()),
    body=body,
    # The chunksize parameter specifies the size of each chunk of data, in
    # bytes, that will be uploaded at a time. Set a higher value for
    # reliable connections as fewer chunks lead to faster uploads. Set a lower
    # value for better recovery on less reliable connections.
    #
    # Setting "chunksize" equal to -1 in the code below means that the entire
    # file will be uploaded in a single HTTP request. (If the upload fails,
    # it will still be retried where it left off.) This is usually a best
    # practice, but if you're using Python older than 2.6 or if you're
    # running on App Engine, you should set the chunksize to something like
    # 1024 * 1024 (1 megabyte).
    media_body=MediaFileUpload(options.file, chunksize=-1, resumable=True)
  )

  resumable_upload(insert_request)

# This method implements an exponential backoff strategy to resume a
# failed upload.
def resumable_upload(insert_request):
  response = None
  error = None
  retry = 0
  while response is None:
    try:
      print "Uploading file..."
      status, response = insert_request.next_chunk()
      if 'id' in response:
        print "Video id '%s' was successfully uploaded." % response['id']
      else:
        exit("The upload failed with an unexpected response: %s" % response)
    except HttpError, e:
      if e.resp.status in RETRIABLE_STATUS_CODES:
        error = "A retriable HTTP error %d occurred:\n%s" % (e.resp.status,
                                                             e.content)
      else:
        raise
    except RETRIABLE_EXCEPTIONS, e:
      error = "A retriable error occurred: %s" % e

    if error is not None:
      print error
      retry += 1
      if retry > MAX_RETRIES:
        exit("No longer attempting to retry.")

      max_sleep = 2 ** retry
      sleep_seconds = random.random() * max_sleep
      print "Sleeping %f seconds and then retrying..." % sleep_seconds
      time.sleep(sleep_seconds)

if __name__ == '__main__':
  argparser.add_argument("--file", required=True, help="Video file to upload")
  argparser.add_argument("--title", help="Video title", default="Test Title")
  argparser.add_argument("--description", help="Video description",
    default="Test Description")
  argparser.add_argument("--category", default="22",
    help="Numeric video category. " +
      "See https://developers.google.com/youtube/v3/docs/videoCategories/list")
  argparser.add_argument("--keywords", help="Video keywords, comma separated",
    default="")
  argparser.add_argument("--privacyStatus", choices=VALID_PRIVACY_STATUSES,
    default=VALID_PRIVACY_STATUSES[0], help="Video privacy status.")
  args = argparser.parse_args()

  if not os.path.exists(args.file):
    exit("Please specify a valid file using the --file= parameter.")

  youtube = get_authenticated_service(args)
  try:
    initialize_upload(youtube, args)
  except HttpError, e:
    print "An HTTP error %d occurred:\n%s" % (e.resp.status, e.content)

そして実行！

-bash-4.2$ ./youtube-upload
Traceback (most recent call last):
  File "./youtube-upload", line 4, in <module>
    import httplib2
ImportError: No module named httplib2
-bash-4.2$

CentOS7に必要なPythonモジュールが入っていませんでした。もう１つエラーになったoauth2clientとともに「yum install python-httplib2 python2-oauth2client」でインストールして再実行。

-bash-4.2$ ./youtube-upload
Traceback (most recent call last):
  File "./youtube-upload", line 10, in <module>
    from apiclient.discovery import build
ImportError: No module named apiclient.discovery
-bash-4.2$

今度のエラーのapiclientは「YouTube API: Client Libraries」に含まれるもの。

Python用は「https://github.com/googleapis/google-api-python-client」にある手順に従いインストールする。

ドキュメントには「pip install –upgrade google-api-python-client」とあるけど、「pip install google-api-python-client」で実行した。

[root@server ~]# pip install google-api-python-client
Collecting google-api-python-client
  Downloading https://files.pythonhosted.org/packages/5b/ba/c4e47e2fdd945145ddb10db06dd29af19b01f6e6d7452348b9bf10375ee9/google-api-python-client-1.7.9.tar.gz (142kB)
Installing collected packages: pyasn1, pyasn1-modules, cachetools, rsa, google-auth, google-auth-httplib2, uritemplate, google-api-python-client
  Running setup.py install for google-api-python-client ... done
Successfully installed cachetools-3.1.1 google-api-python-client-1.7.9 google-auth-1.6.3 google-auth-httplib2-0.0.3 pyasn1-0.4.5 pyasn1-modules-0.2.5 rsa-4.0 uritemplate-3.0.0
You are using pip version 8.1.2, however version 19.1.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
[root@server ~]#

で、改めてスクリプトを実行してみる。

-bash-4.2$ ./youtube-upload --file /mnt/work/fuuka/223779_20190618-0013_best.mpg
The client secrets were invalid:
('Error opening file', 'client_secrets.json', 'No such file or directory', 2)

WARNING: Please configure OAuth 2.0

To make this sample run you will need to populate the client_secrets.json file
found at:

   /mnt/work/youtube/client_secrets.json

with information from the Developers Console
https://console.developers.google.com/

For more information about the client_secrets.json file format, please visit:
https://developers.google.com/api-client-library/python/guide/aaa_client_secrets

-bash-4.2$

当然のエラー。

client_secrets.json というファイルに認証情報を記載しなければならないようだ。

「Google API Console」にアクセスして、新規プロジェクトを作成。
認証情報タブから「OauthクライアントIDの作成」を選び、「アプリケーションの種類：その他」で作成します。
作成すると、jsonファイルがダウンロードできようになりますので、それをダウンロードし、client_secrets.json という名前で保存します。

「./youtube-upload –file ファイル名 –noauth_local_webserver」と実行すると、URLが表示されます。このURLをブラウザに入力すると、Googleの認証が要求されますので、パスワードを入力します。( –noauth_local_webserver を指定しない場合、そのLinux上でブラウザが開かれます。Oauth認証にはJavaScript対応ブラウザを使う必要があるため、CLIだと無理です。)

認証が完了するとVerification codeがブラウザ上に表示されますので、それをコピーし、コマンドに入力します。

また、下記の様なメールがGoogleアカウントのメールに届きます。(「youtube upload by osakanataro」という文字列は、Google API Consoleで設定したものです）

これで認証が終わると、ファイルアップロードが出来るようになります。

-bash-4.2$ ./youtube-upload --file /mnt/work/fuuka/223779_20190618-0013_best.mpg  --noauth_local_webserver
Uploading file...
Video id 'IAHhZlSXoDk' was successfully uploaded.
-bash-4.2$

Youtube studioにアクセスして状態を確認。

何も設定してなかったので「Test Title」「Test Description」となっていますね。

続いて指定した場合

-bash: ./youtube-upload　--file: そのようなファイルやディレクトリはありません
-bash-4.2$ ./youtube-upload --file /mnt/work/fuuka/223779_20190617-1738_best.mpg --title "紫吹ふうか 2019年06月17日 17:38開始配信" --description "紫吹ふうか さ んによる 2019年06月17日 17:38 に開始された配信の転載です。" --keywords "AVATAR2.0","紫吹ふうか"
Uploading file...
Video id '5-Z0YDv5YCk' was successfully uploaded.
-bash-4.2$

Youtube Studioを確認すると、指定したタイトル、説明、タグ(Keywords)が設定されていることがわかります。

あとはサムネ調整とかが必要という感じですね。

つまりは、これで、配信終わったら即座にyoutubeにアップロードするスクリプトが組めたわけでして・・・

---

2019/06/20追記

まとめて動画をいくつかアップロードしてみたところ、Youtube側のエラーとなりました。

$ ./youtube-upload --file /mnt/work/ramyon/223697_20190614-2028_best.mpg --title 'とみじroooom!!!!!! 2019年06月14日 20:28開始配信' --description "都三代らみょん さんによる showroomにて 2019年06月14日 20:28 に開始された配信の転載です。" --keywords "AVATAR2.0","都三代らみょん"
Uploading file...
An HTTP error 403 occurred:
{
 "error": {
  "errors": [
   {
    "domain": "youtube.quota",
    "reason": "quotaExceeded",
    "message": "The request cannot be completed because you have exceeded your \u003ca href=\"/youtube/v3/getting-started#quota\"\u003equota\u003c/a\u003e."
   }
  ],
  "code": 403,
  "message": "The request cannot be completed because you have exceeded your \u003ca href=\"/youtube/v3/getting-started#quota\"\u003equota\u003c/a\u003e."
 }
}

$ echo $?
0
$

「YouTube DATA APIのquota」を見てみると、Developer Consoleで確認する必要があるようです・・・

スクリプト的には５回実行して、合計で４時間半ぐらいの動画をアップロードしただけなのですが、１回あたり結構な数のAPIが発行されているようです。

１日あたり10000回以上に増やすには申請する必要があるようです。