source: 3DVCSoftware/branches/HTM-14.1-update-dev2/source/Lib/TLibCommon/TComCodingStatistics.h @ 1274

Last change on this file since 1274 was 1274, checked in by tech, 9 years ago

Merged HTM-14.1-update-dev3@1273.
  • Property svn:eol-style set to native
File size: 17.2 KB
Line 
1/* The copyright in this software is being made available under the BSD
2 * License, included below. This software may be subject to other third party
3 * and contributor rights, including patent rights, and no such rights are
4 * granted under this license.
5 *
6 * Copyright (c) 2010-2015, ITU/ISO/IEC
7 * All rights reserved.
8 *
9 * Redistribution and use in source and binary forms, with or without
10 * modification, are permitted provided that the following conditions are met:
11 *
12 *  * Redistributions of source code must retain the above copyright notice,
13 *    this list of conditions and the following disclaimer.
14 *  * Redistributions in binary form must reproduce the above copyright notice,
15 *    this list of conditions and the following disclaimer in the documentation
16 *    and/or other materials provided with the distribution.
17 *  * Neither the name of the ITU/ISO/IEC nor the names of its contributors may
18 *    be used to endorse or promote products derived from this software without
19 *    specific prior written permission.
20 *
21 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
22 * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
23 * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
24 * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS
25 * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
26 * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
27 * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
28 * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
29 * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
30 * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
31 * THE POSSIBILITY OF SUCH DAMAGE.
32 */
33
34#ifndef __TCOMCODINGSTATISTICS__
35#define __TCOMCODINGSTATISTICS__
36
37#include "CommonDef.h"
38#include <stdio.h>
39#include <string>
40#include <map>
41#include <math.h>
42#include "TComChromaFormat.h"
43
44static const Int64 TCOMCODINGSTATISTICS_ENTROPYSCALE=32768;
45
46
47enum TComCodingStatisticsType
48{
49  STATS__NAL_UNIT_TOTAL_BODY,// This is a special case and is not included in the total sums.
50  STATS__NAL_UNIT_PACKING,
51  STATS__EMULATION_PREVENTION_3_BYTES,
52  STATS__NAL_UNIT_HEADER_BITS,
53  STATS__CABAC_INITIALISATION,
54  STATS__CABAC_BITS__TQ_BYPASS_FLAG,
55  STATS__CABAC_BITS__SKIP_FLAG,
56  STATS__CABAC_BITS__MERGE_FLAG,
57  STATS__CABAC_BITS__MERGE_INDEX,
58  STATS__CABAC_BITS__MVP_IDX,
59  STATS__CABAC_BITS__SPLIT_FLAG,
60  STATS__CABAC_BITS__PART_SIZE,
61  STATS__CABAC_BITS__PRED_MODE,
62  STATS__CABAC_BITS__INTRA_DIR_ANG,
63  STATS__CABAC_BITS__INTER_DIR,
64  STATS__CABAC_BITS__REF_FRM_IDX,
65  STATS__CABAC_BITS__MVD,
66  STATS__CABAC_BITS__MVD_EP,
67  STATS__CABAC_BITS__TRANSFORM_SUBDIV_FLAG,
68  STATS__CABAC_BITS__QT_ROOT_CBF,
69  STATS__CABAC_BITS__DELTA_QP_EP,
70  STATS__CABAC_BITS__CHROMA_QP_ADJUSTMENT,
71  STATS__CABAC_BITS__QT_CBF,
72  STATS__CABAC_BITS__CROSS_COMPONENT_PREDICTION,
73  STATS__CABAC_BITS__TRANSFORM_SKIP_FLAGS,
74
75  STATS__CABAC_BITS__LAST_SIG_X_Y,
76  STATS__CABAC_BITS__SIG_COEFF_GROUP_FLAG,
77  STATS__CABAC_BITS__SIG_COEFF_MAP_FLAG,
78  STATS__CABAC_BITS__GT1_FLAG,
79  STATS__CABAC_BITS__GT2_FLAG,
80  STATS__CABAC_BITS__SIGN_BIT,
81  STATS__CABAC_BITS__ESCAPE_BITS,
82
83#if NH_3D_DBBP
84  STATS__CABAC_BITS__DBBP_FLAG,
85#endif
86#if NH_3D_ARP
87  STATS__CABAC_BITS__ARP_FLAG,
88#endif
89  STATS__CABAC_BITS__SAO,
90  STATS__CABAC_TRM_BITS,
91  STATS__CABAC_FIXED_BITS,
92  STATS__CABAC_PCM_ALIGN_BITS,
93  STATS__CABAC_PCM_CODE_BITS,
94  STATS__BYTE_ALIGNMENT_BITS,
95  STATS__TRAILING_BITS,
96  STATS__EXPLICIT_RDPCM_BITS,
97  STATS__CABAC_EP_BIT_ALIGNMENT,
98  STATS__CABAC_BITS__ALIGNED_SIGN_BIT,
99  STATS__CABAC_BITS__ALIGNED_ESCAPE_BITS,
100#if NH_3D_IC
101  STATS__CABAC_BITS__3D_IC,
102#endif
103  STATS__NUM_STATS
104};
105
106static inline const Char* getName(TComCodingStatisticsType name)
107{
108  static const Char *statNames[]=
109  {
110    "NAL_UNIT_TOTAL_BODY", // This is a special case and is not included in the total sums.
111    "NAL_UNIT_PACKING",
112    "EMULATION_PREVENTION_3_BYTES",
113    "NAL_UNIT_HEADER_BITS",
114    "CABAC_INITIALISATION-and-rounding",
115    "CABAC_BITS__TQ_BYPASS_FLAG",
116    "CABAC_BITS__SKIP_FLAG",
117    "CABAC_BITS__MERGE_FLAG",
118    "CABAC_BITS__MERGE_INDEX",
119    "CABAC_BITS__MVP_IDX",
120    "CABAC_BITS__SPLIT_FLAG",
121    "CABAC_BITS__PART_SIZE",
122    "CABAC_BITS__PRED_MODE",
123    "CABAC_BITS__INTRA_DIR_ANG",
124    "CABAC_BITS__INTER_DIR",
125    "CABAC_BITS__REF_FRM_IDX",
126    "CABAC_BITS__MVD",
127    "CABAC_BITS__MVD_EP",
128    "CABAC_BITS__TRANSFORM_SUBDIV_FLAG",
129    "CABAC_BITS__QT_ROOT_CBF",
130    "CABAC_BITS__DELTA_QP_EP",
131    "CABAC_BITS__CHROMA_QP_ADJUSTMENT",
132    "CABAC_BITS__QT_CBF",
133    "CABAC_BITS__CROSS_COMPONENT_PREDICTION",
134    "CABAC_BITS__TRANSFORM_SKIP_FLAGS",
135    "CABAC_BITS__LAST_SIG_X_Y",
136    "CABAC_BITS__SIG_COEFF_GROUP_FLAG",
137    "CABAC_BITS__SIG_COEFF_MAP_FLAG",
138    "CABAC_BITS__GT1_FLAG",
139    "CABAC_BITS__GT2_FLAG",
140    "CABAC_BITS__SIGN_BIT",
141    "CABAC_BITS__ESCAPE_BITS",
142#if NH_3D_DBBP
143    "CABAC_BITS__DBBP_FLAG",
144#endif
145    "CABAC_BITS__SAO",
146    "CABAC_TRM_BITS",
147    "CABAC_FIXED_BITS",
148    "CABAC_PCM_ALIGN_BITS",
149    "CABAC_PCM_CODE_BITS",
150    "BYTE_ALIGNMENT_BITS",
151    "TRAILING_BITS",
152    "EXPLICIT_RDPCM_BITS",
153    "CABAC_EP_BIT_ALIGNMENT",
154    "CABAC_BITS__ALIGNED_SIGN_BIT",
155    "CABAC_BITS__ALIGNED_ESCAPE_BITS"
156#if NH_3D_IC
157    "CABAC_BITS__3D_IC"
158#endif
159  };
160  assert(STATS__NUM_STATS == sizeof(statNames)/sizeof(Char *) && name < STATS__NUM_STATS);
161  return statNames[name];
162}
163
164static inline Bool isAlignedBins(TComCodingStatisticsType statT) { return statT==STATS__CABAC_BITS__ALIGNED_SIGN_BIT || statT==STATS__CABAC_BITS__ALIGNED_ESCAPE_BITS; }
165
166static const UInt CODING_STATS_NUM_WIDTHS=7;
167static const UInt CODING_STATS_NUM_SUBCLASSES=CODING_STATS_NUM_WIDTHS*(1+MAX_NUM_COMPONENT+MAX_NUM_CHANNEL_TYPE);
168
169class TComCodingStatisticsClassType
170{
171public:
172
173  TComCodingStatisticsClassType(const TComCodingStatisticsType t)
174    : type(t), subClass(0)
175  { }
176  TComCodingStatisticsClassType(const TComCodingStatisticsType t, const UInt log2w )
177    : type(t), subClass(log2w)
178  { }
179  TComCodingStatisticsClassType(const TComCodingStatisticsType t, const Int log2w )
180    : type(t), subClass(log2w)
181  { }
182  TComCodingStatisticsClassType(const TComCodingStatisticsType t, const ComponentID cid )
183    : type(t), subClass((cid+1)*CODING_STATS_NUM_WIDTHS)
184  { }
185  TComCodingStatisticsClassType(const TComCodingStatisticsType t, const ChannelType chid )
186    : type(t), subClass((chid+MAX_NUM_COMPONENT+1)*CODING_STATS_NUM_WIDTHS)
187  { }
188  TComCodingStatisticsClassType(const TComCodingStatisticsType t, const UInt log2w, const ComponentID cid )
189    : type(t), subClass((cid+1)*CODING_STATS_NUM_WIDTHS + log2w)
190  { }
191  TComCodingStatisticsClassType(const TComCodingStatisticsType t, const UInt log2w, const ChannelType chid )
192    : type(t), subClass((chid+MAX_NUM_COMPONENT+1)*CODING_STATS_NUM_WIDTHS + log2w)
193  { }
194
195  static UInt GetSubClassWidth(const UInt subClass)
196  {
197    return subClass%CODING_STATS_NUM_WIDTHS;
198  }
199
200  static const Char *GetSubClassString(const UInt subClass)
201  {
202    assert (subClass<CODING_STATS_NUM_SUBCLASSES);
203    static const Char *strings[1+MAX_NUM_COMPONENT+MAX_NUM_CHANNEL_TYPE]={"-", "Y", "Cb", "Cr", "Luma", "Chroma"};
204    return strings[subClass/CODING_STATS_NUM_WIDTHS];
205  }
206
207  TComCodingStatisticsType type;
208  UInt subClass;
209};
210
211
212
213class TComCodingStatistics
214{
215  public:
216
217
218    struct StatLogValue
219    {
220      UInt values[512+1];
221      StatLogValue()
222      {
223        const Double es=Double(TCOMCODINGSTATISTICS_ENTROPYSCALE);
224        values[0]=0;
225        for(UInt i=1; i<sizeof(values)/sizeof(UInt); i++)
226        {
227          values[i]=UInt(    log(Double(i))*es/log(2.0)  );
228        }
229      }
230    };
231
232    struct SStat
233    {
234      SStat() : bits(0), count(0), sum(0) { }
235      Int64 bits;
236      Int64 count;
237      Int64 sum;
238      Void clear() { bits=0; count=0; sum=0; }
239
240      SStat &operator+=(const SStat &src)
241      { bits+=src.bits; count+=src.count; sum+=src.sum; return *this; }
242    };
243
244    class TComCodingStatisticsData
245    {
246      private:
247        SStat statistics[STATS__NUM_STATS+1][CODING_STATS_NUM_SUBCLASSES];
248        SStat statistics_ep[STATS__NUM_STATS+1][CODING_STATS_NUM_SUBCLASSES ];
249        std::map<std::string, SStat> mappings_ep;
250        friend class TComCodingStatistics;
251    };
252
253  private:
254
255    TComCodingStatisticsData data;
256
257    TComCodingStatistics() : data()
258    { }
259
260    static Void OutputLine(const Char *pName, const Char sep, UInt width, const Char *pSubClassStr, const SStat &sCABAC, const SStat &sEP)
261    {
262      if (width==0)
263      {
264        OutputLine(pName, sep, "-", pSubClassStr, sCABAC, sEP);
265      }
266      else
267      {
268        printf("%c%-45s%c  %6d %6s %12lld %12lld %12lld %12lld %12lld %12lld %12lld (%12lld)%c\n",
269          sep=='~'?'[':' ', pName, sep, 1<<width, pSubClassStr,
270              sCABAC.count, sCABAC.sum, sCABAC.bits, sEP.count, sEP.sum, sEP.bits, sCABAC.bits+sEP.bits, (sCABAC.bits+sEP.bits)/8, sep=='~'?']':' ');
271      }
272    }
273    static Void OutputLine(const Char *pName, const Char sep, const Char *pWidthString, const Char *pSubClassStr, const SStat &sCABAC, const SStat &sEP)
274    {
275      printf("%c%-45s%c  %6s %6s %12lld %12lld %12lld %12lld %12lld %12lld %12lld (%12lld)%c\n",
276          sep=='~'?'[':' ', pName, sep, pWidthString, pSubClassStr,
277              sCABAC.count, sCABAC.sum, sCABAC.bits, sEP.count, sEP.sum, sEP.bits, sCABAC.bits+sEP.bits, (sCABAC.bits+sEP.bits)/8, sep=='~'?']':' ');
278    }
279    static Void OutputLine(const Char *pName, const Char sep, const Char *pWidthString, const Char *pSubClassStr,  const SStat &sEP)
280    {
281      printf("%c%-45s%c  %6s %6s %12s %12s %12s %12lld %12lld %12lld %12lld (%12lld)%c\n",
282          sep=='~'?'[':' ', pName, sep, pWidthString, pSubClassStr,
283              "", "", "", sEP.count, sEP.sum, sEP.bits, sEP.bits, (sEP.bits)/8, sep=='~'?']':' ');
284    }
285
286    static Void OutputDashedLine(const Char *pText)
287    {
288      printf("--%s",pText);
289      UInt tot=0;
290      for(;pText[tot]!=0; tot++);
291
292      tot+=2;
293      for (; tot<168; tot++)
294      {
295        printf("-");
296      }
297      printf("\n");
298    }
299
300    ~TComCodingStatistics()
301    {
302      const Int64 es=TCOMCODINGSTATISTICS_ENTROPYSCALE;
303
304      Int64 cr=0; // CABAC remainder, which is added to "STATS__CABAC_INITIALISATION"
305      {
306        Int64 totalCABACbits=0, roundedCABACbits=0;
307        for(Int i=STATS__NAL_UNIT_PACKING; i<STATS__NUM_STATS; i++)
308        {
309          for(UInt c=0; c<CODING_STATS_NUM_SUBCLASSES; c++)
310          {
311            totalCABACbits+=data.statistics[i][c].bits;
312            roundedCABACbits+=data.statistics[i][c].bits/es;
313          }
314        }
315        Int64 remainder=totalCABACbits - roundedCABACbits*es;
316        cr=(remainder+es/2)/es;
317      }
318
319      printf("Note %s will be excluded from the total as it should be the sum of all the other entries (except for %s)\n", getName(STATS__NAL_UNIT_TOTAL_BODY), getName(STATS__NAL_UNIT_PACKING));
320      printf(" %-45s-   Width   Type  CABAC Count    CABAC Sum   CABAC bits     EP Count       EP Sum      EP bits   Total bits ( Total bytes)\n", "Decoder statistics");
321
322      OutputDashedLine("");
323      SStat cabacTotalBits, epTotalBits;
324      SStat statTotals_cabac[CODING_STATS_NUM_SUBCLASSES];
325      SStat statTotals_ep[CODING_STATS_NUM_SUBCLASSES];
326
327      for(Int i=0; i<STATS__NUM_STATS; i++)
328      {
329        SStat cabacSubTotal, epSubTotal;
330        Bool bHadClassifiedEntry=false;
331        const Char *pName=getName(TComCodingStatisticsType(i));
332
333        for(UInt c=0; c<CODING_STATS_NUM_SUBCLASSES; c++)
334        {
335          SStat &sCABACorig=data.statistics[i][c];
336          SStat &sEP=data.statistics_ep[i][c];
337
338          if (sCABACorig.bits==0 && sEP.bits==0)
339          {
340            continue;
341          }
342
343          SStat sCABAC;
344          {
345            Int64 thisCABACbits=sCABACorig.bits/es;
346            if (i==STATS__CABAC_INITIALISATION && sCABACorig.bits!=0)
347            {
348              thisCABACbits+=cr;
349              cr=0;
350            }
351            sCABAC.bits=thisCABACbits;
352            sCABAC.count=sCABACorig.count;
353            sCABAC.sum=sCABACorig.sum;
354          }
355          UInt width=TComCodingStatisticsClassType::GetSubClassWidth(c);
356          OutputLine(pName, ':', width, TComCodingStatisticsClassType::GetSubClassString(c), sCABAC, sEP);
357          cabacSubTotal+=sCABAC;
358          epSubTotal+=sEP;
359          if (i!=STATS__NAL_UNIT_TOTAL_BODY)
360          {
361            cabacTotalBits+=sCABAC;
362            epTotalBits+=sEP;
363            statTotals_cabac[c]+=sCABAC;
364            statTotals_ep[c]+=sEP;
365          }
366          bHadClassifiedEntry=bHadClassifiedEntry||(c!=0);
367        }
368        if (bHadClassifiedEntry)
369        {
370          OutputLine(pName, '~', "~~ST~~", "~~ST~~", cabacSubTotal, epSubTotal);
371        }
372        if (i==STATS__NAL_UNIT_TOTAL_BODY)
373        {
374          OutputDashedLine("");
375        }
376      }
377      OutputDashedLine("");
378      OutputLine("CABAC Sub-total", '~', "~~ST~~", "~~ST~~", cabacTotalBits, epTotalBits);
379
380      OutputDashedLine("CAVLC HEADER BITS");
381      SStat cavlcTotalBits;
382      for(std::map<std::string, SStat>::iterator it=data.mappings_ep.begin(); it!=data.mappings_ep.end(); it++)
383      {
384        SStat s=it->second;
385        cavlcTotalBits+=s;
386        OutputLine(it->first.c_str(), ':', "-", "-", s);
387      }
388
389      OutputDashedLine("");
390      OutputLine("CAVLC Header Sub-total", '~', "~~ST~~", "~~ST~~", cavlcTotalBits);
391
392      // Now output the breakdowns
393      OutputDashedLine("CABAC Break down by size");
394      for(UInt s=0; s<CODING_STATS_NUM_WIDTHS; s++)
395      {
396        SStat subTotalCabac, subTotalEP;
397        for(UInt c=0; c<CODING_STATS_NUM_SUBCLASSES; c+=CODING_STATS_NUM_WIDTHS)
398        {
399          subTotalCabac+=statTotals_cabac[c+s];
400          subTotalEP+=statTotals_ep[c+s];
401        }
402        if (subTotalCabac.bits!=0 || subTotalEP.bits!=0)
403        {
404          OutputLine("CABAC by size Sub-total", '=', s, "All", subTotalCabac, subTotalEP);
405        }
406      }
407      OutputDashedLine("Break down by component/Channel type");
408      for(UInt c=0; c<CODING_STATS_NUM_SUBCLASSES; c+=CODING_STATS_NUM_WIDTHS)
409      {
410        SStat subTotalCabac, subTotalEP;
411        for(UInt s=0; s<CODING_STATS_NUM_WIDTHS; s++)
412        {
413          subTotalCabac+=statTotals_cabac[c+s];
414          subTotalEP+=statTotals_ep[c+s];
415        }
416        if (subTotalCabac.bits!=0 || subTotalEP.bits!=0)
417        {
418          OutputLine("CABAC by type Sub-total", '=', "-", TComCodingStatisticsClassType::GetSubClassString(c), subTotalCabac, subTotalEP);
419        }
420      }
421      OutputDashedLine("Break down by size and component/Channel type");
422      for(UInt c=0; c<CODING_STATS_NUM_SUBCLASSES; c+=CODING_STATS_NUM_WIDTHS)
423      {
424        for(UInt s=0; s<CODING_STATS_NUM_WIDTHS; s++)
425        {
426          SStat subTotalCabac, subTotalEP;
427          subTotalCabac+=statTotals_cabac[c+s];
428          subTotalEP+=statTotals_ep[c+s];
429          if (subTotalCabac.bits!=0 || subTotalEP.bits!=0)
430          {
431            OutputLine("CABAC by size and type Sub-total", '=', s, TComCodingStatisticsClassType::GetSubClassString(c), subTotalCabac, subTotalEP);
432          }
433        }
434      }
435
436      OutputDashedLine("");
437      OutputLine("CABAC Sub-total", '~', "~~ST~~", "~~ST~~", cabacTotalBits, epTotalBits);
438      OutputLine("CAVLC Header Sub-total", '~', "~~ST~~", "~~ST~~", cavlcTotalBits);
439      OutputDashedLine("GRAND TOTAL");
440      epTotalBits+=cavlcTotalBits;
441      OutputLine("TOTAL", '~', "~~GT~~", "~~GT~~", cabacTotalBits, epTotalBits);
442    }
443
444
445  public:
446    static TComCodingStatistics& GetSingletonInstance()
447    {
448      static TComCodingStatistics inst;
449      return inst;
450    }
451
452    static const TComCodingStatisticsData &GetStatistics()         { return GetSingletonInstance().data; }
453    static Void SetStatistics(const TComCodingStatisticsData &src) { GetSingletonInstance().data=src; }
454
455    static SStat &GetStatisticEP(const TComCodingStatisticsClassType &stat) { return GetSingletonInstance().data.statistics_ep[stat.type][stat.subClass]; }
456
457    static SStat &GetStatisticEP(const std::string &str) { return GetSingletonInstance().data.mappings_ep[str]; }
458
459    static SStat &GetStatisticEP(const Char *pKey) {return GetStatisticEP(std::string(pKey)); }
460
461    static Void IncrementStatisticEP(const TComCodingStatisticsClassType &stat, const Int numBits, const Int value)
462    {
463      SStat &s=GetStatisticEP(stat);
464      s.bits+=numBits;
465      s.count++;
466      s.sum+=value;
467    }
468
469    static Void IncrementStatisticEP(const std::string &str, const Int numBits, const Int value)
470    {
471      SStat &s=GetStatisticEP(str);
472      s.bits+=numBits;
473      s.count++;
474      s.sum+=value;
475    }
476
477    static Void IncrementStatisticEP(const Char *pKey, const Int numBits, const Int value)
478    {
479      SStat &s=GetStatisticEP(pKey);
480      s.bits+=numBits;
481      s.count++;
482      s.sum+=value;
483    }
484
485    StatLogValue values;
486
487    static Void UpdateCABACStat(const TComCodingStatisticsClassType &stat, UInt uiRangeBefore, UInt uiRangeAfter, Int val)
488    {
489      TComCodingStatistics &inst=GetSingletonInstance();
490      // doing rangeBefore*p(x)=rangeAfter
491      // p(x)=rangeAfter/rangeBefore
492      // entropy = -log2(p(x))=-log(p(x))/log(2) = -(log rangeAfter - log rangeBefore) / log(2) = (log rangeBefore / log 2 - log rangeAfter / log 2)
493      SStat &s=inst.data.statistics[stat.type][stat.subClass];
494      s.bits+=inst.values.values[uiRangeBefore]-inst.values.values[uiRangeAfter];
495      s.count++;
496      s.sum+=val;
497    }
498};
499
500#endif
Note: See TracBrowser for help on using the repository browser.